[PHP] Скрипт сбора информации с сервиса «Мой Мир». 100 000 контактов в сутки

Тема в разделе "Бизнес и свое дело", создана пользователем instocky, 14 ноя 2017.

Статус обсуждения:
Комментирование ограничено.
  1. 14 ноя 2017
    #1
    instocky
    instocky ЧКЧлен клуба (А)
    [​IMG]

    Скрипт предназначен для сбора информации о пользователях любой группы.

    Какая информация собирается:

    1. Email
    2. Имя Фамилия
    3. Дата последнего входа в «Мой Мир»
    4. Статус – онлайн

    Основные потребители скрипта наверное те кто занимается email маркетингом, но возможно кто-то найдет ему другое применение)

    Устанавливается на любой хостинг, поддерживающий cURL и имеющий планировщик.
    Указанная производительность скрипта проверялась на хостинге евробайт, скрипт запускался раз в минуту.

    Бонус: для тех кто поставит в подпись или прорекламирует в 3-x профильных темах:
    в скрипт будет добавлена функция проверки контактов в mail-agent на статус online

    PS Ищутся три проверяющих
     
    4 пользователям это понравилось.
  2. 14 ноя 2017
    #2
    DreD3D
    DreD3D ОргОрганизатор (А)
    могу проверить
    сам хотел такой парсер написать но всё лень не давала начать процесс
     
  3. 14 ноя 2017
    #3
    Mr-Grey
    Mr-Grey ОргОрганизатор (А)
    Еще бы парсер ссылок на группы)))
    Вещь бомба для баз ретаргета на фейсбук.
     
    1 человеку нравится это.
  4. 14 ноя 2017
    #4
    instocky
    instocky ЧКЧлен клуба (А)
    это как?
    ок, принято)
     
  5. 14 ноя 2017
    #5
    Mr-Grey
    Mr-Grey ОргОрганизатор (А)
    Ну я так понимаю скрипту надо указывать ссылки на группы, верно?
     
  6. 14 ноя 2017
    #6
    tomsk70_RU
    tomsk70_RU ДолжникДолжник
    Интересно, поставил в подпись
     
  7. 14 ноя 2017
    #7
    DreD3D
    DreD3D ОргОрганизатор (А)
    я планировал сделать так
    скрипт сам начинает парсинг по группам
    выбирает группы из поиска , парсит мыльники , потом его друзей и так далее по цепочке
     
  8. 14 ноя 2017
    #8
    instocky
    instocky ЧКЧлен клуба (А)
    это да, а что ты имел ввиду парсер ссылок на группы
    вот эти ссылки парсить?

    это мега круто
     
    1 человеку нравится это.
  9. 14 ноя 2017
    #9
    Jamal Malik
    Jamal Malik ЧКЧлен клуба
    @instocky ,могу стать неоф проверяющим
     
  10. 14 ноя 2017
    #10
    instocky
    instocky ЧКЧлен клуба (А)
    ок, похоже это модно становится)
     
  11. 14 ноя 2017
    #11
    johnyb
    johnyb ЧКЧлен клуба
    Ха...сам не практиковал что ли)))
     
  12. 14 ноя 2017
    #12
    htrmaster
    htrmaster ОргОрганизатор
    Готов поучаствовать в проверке!
     
  13. 14 ноя 2017
    #13
    Аллекс2014
    Аллекс2014 ОргОрганизатор
    Если осталось место - могу проверить.
     
  14. 14 ноя 2017
    #14
    ZevSua
    ZevSua ОргОрганизатор
    :) смотрю проверяющих больше чем участников.
    Автор: 1.Как взнать поддерживает ли хостинг cURL, ведь большинство об этом не пишут даже ?
    2. а планировщик зачем? его нельзя запускать когда хочеш, по требованию.? Тоесть запустил на парсинг парочки груп, пришел через час, снял результат в xls файле.. Обязательно в cron прописывать?
     
    1 человеку нравится это.
  15. 14 ноя 2017
    #15
    instocky
    instocky ЧКЧлен клуба (А)
    1. 99% поддерживают cURL. Самый простой способ узнать до покупки - задать вопрос в онлайн чате или по телефону. Если хостинг уже есть - написать вопрос в техподдержку
    2. На обычном хостинге(не VDS) действует ограничение на время выполнения скрипта - обычно 30 секунд.
      Если скрипт длится дольше - хостер его просто выключает..
     
  16. 14 ноя 2017
    #16
    DreD3D
    DreD3D ОргОрганизатор (А)
    Думаю те кто пользуется парсером и собирает ящики должен уже понимать что хостинг за 15 рублей для такие задачи не подходят
    Можно за 150 рублей купить ВПС и иметь полный доступ без ограничений
     
  17. 14 ноя 2017
    #17
    instocky
    instocky ЧКЧлен клуба (А)
    ну как бы скрипт тестировал именно на обычном хостинге
    • скопировал в папку скрипт
    • запустил планировщик раз в минуту
    • через 24 часа получил 100 000 mails ;)
     
  18. 14 ноя 2017
    #18
    ZevSua
    ZevSua ОргОрганизатор
    Там в настройках php можно изменять время жизни, даже на обычных хостингах.. Но не на всех. главное был бы доступ к php.ini
    А вообще несколько способов есть как его увеличить. Вплоть до указания использовать вначале выполнения скрипта, функции void set_time_limit( int seconds ), которая меняет значение параметра max_execution_time

    p.s. И таки да, ВПС же у всех кажется кто на складчике вертится.. Или есть такие кто собирался работать-зарабатывать, и 150р на хост зажыдить? :)
     
  19. 15 ноя 2017
    #19
    Anyaax
    Anyaax ЧКЧлен клуба
    @instocky
    не совсем поняла, как начинается парсинг, что служит основой для старта. может ли он обойти пользователей определенной группы, или по перечню групп? как решается проблема текущего ограничения, на вывод числа участников группы в 500 ед/еще два года назад было 10000 (и дальше нужно варьировать имя его черех поиск, чтобы еще взять какую то выборку). Что мешает добавить в сбор информации акка еще возраст и город (пусть даже это и не везде есть, но это крайне важно, хотя бы опционально)? Спасибо.
     
  20. 15 ноя 2017
    #20
    instocky
    instocky ЧКЧлен клуба (А)
    Скриптом собираю себе первичную базу для рассылки и делал естественно под себя, чтобы не заморачиваться - беру большие группы. Поставил на 1-5 дней и забыл))
    Теперь думаю сделать, пока есть список групп, с которых не собрана информация - скрипт будет работать.
    скрипт собирает полностью участников из группы
    ничего не мешает - добавлю
     
    2 пользователям это понравилось.
Статус обсуждения:
Комментирование ограничено.