[Для новичков] Пишем мощные парсеры/постеры и API-клиенты на PHP

Было бы идеально, чтобы эти 7 пунктов (и многое другое) чего мы сможем после прохождения курса рассмотреть на практике.
На разных источниках и желательно на каких-нибудь буржуйских и у нас не очень популярных, например - постеры, рассыльщики, лайкеры и т.п. - на Pinterest, Tumblr, Twitter, etc.

И вот этому блоку уделить внимание. Что там сейчас актуально на fiverr и upwork'ках всяких.
Я вот так вижу практическую пользу от курса.

 

Я учу вас парсить данные. В зависимости от метода отдачи данных, в частности с аяксом. Учу эмулировать реального пользователя при отправке заголовков и т.д. Но разумеется, я не буду писать ещё 100 страниц материала, дабы разобрать примеры парсинга всех популярных сайтов. Я даю теорию и понимание принципа парсинга + работу с популярными инструментами. Вы хоть в одном курсе видели пример разбора более чем 4 разных сайтов? Тем более, за 499 рублей

Я растолкую вам принципы парсинга и мы вместе это обкатаем на конкретных примерах, но я добавлю ещё несколько сайтов для парсинга в качестве практики для вас. А свои частные задачи вы должны решать сами. А в процессе поддержки спокойно можете обращаться ко мне по любому вопросу связанному с вашими личными проектами .

То есть, в рамках курса я разберу примеры, регеров, грабберов, парсеров, постеров на примере популярных сайтов. Но разумеется я не буду брать все подряд сайты, т.к. это не рационально.

 

Да, я понимаю, что аппетит неплохой у меня.
Будем считать, что я просто свои личные хотелки написал. Что хотел - я услышал, пусть не в курсе будет, но раз поможете разобраться в рамках поддержки, то устраивает вполне.

 

@Korben можно ли создать с помощью вашего курса постер и парсер для досок обьявлений, а именно Авито / Юла ?
В php не разбираюсь.

 

И постер и парсер можно создать на php. С парсерами практически никогда не возникает проблем. Постер, так как он работает через аккаунты, может подвергаться автопроверкам системы, например на наличие движения мыши или отправления специфических запросов, генерируемых на странице, после запуска JS (php не умеет интерпретировать js-код), поэтому точно не скажу, это нужно тестировать. Но например, аккаунты ВК, дольше живут если работают с софта написанном на запросах, чем с софта на API.

Знаю один успешный сервис, написанный на PHP, который отбирает клиентов у сервисов работающих на АПИ ВК.

Тут всё индивидуально. В рамках поддержки готов лично с каждым разобрать его проект, помочь, подтолкнуть

 

@Korben не подведи людей котгорые к тебе записались)
сделай все максимально качественно и доступно для всех!
Результат здесь не заставит себя ждать

 

Могу вам гарантировать что не буду лениться и при дописывании/корректировке/оформлении материала, и при поддержке. Сделаю всё на что способен, чтобы не запятнать свою репутацию и не подвести пользователей клуба.
Имею огромное желание сделать лучшие материал по данной теме.

 

В общем случае можно сказать, что реализация эмуляции на PHP действий живого человека имеет определенные сложности?
Если конкретный пример, то вот как тут в некоторых темах делают спамер-бота под разные дейтинг-ресурсы на ZP - такое на PHP делать целесообразно, как на ваш взгляд?

 

Если ресурс обладает должной инфраструктурой, то палится и php, и zenno. Но в умелых руках php на мой взгляд выигрывает. По сути, браузер это такая же программа, которая отправляет все http-запросы. Эти запросы можно отправлять и через php-скрипт.

 

Спасибо за подробный ответ, именно вот эти минусы ZP я и имел в виду. В общих чертах суть понял, в технической части, конечно, нет пока, но будем решать вопросы по мере поступления.
А JS, похоже, хотя бы на уровне понимания сейчас надо изучать в связке с php.

 

Было бы неплохо, но не обязательно. Идеальный спец по написания парсеров, это человек, который знает как пишется сам сайт (фронденд/бекенд) и как работает http-протокол. Но сейчас в опенсорсе столько готовых решений, что многое можно писать и без глубокого понимания работы веба. Достаточно изучить как работают готовые инструменты и делать по алгоритму.

 

Да, вы правы, фингерпринты он подделывает. А FullEmulationMouseMove насколько я помню, двигается под прямым углом.

 

Не обязательно. Можно эмулировать и чтение текста(мышкой по тексту водит), можно менять скорость движения. В общем, если заморочится, то можно нормально эмулировать мышь. Но надо заморочится)

 

Вы безусловно правы, но:

 

Здесь, по большому счету, неважно что лучше или хуже .Суть в том, что эти две технологии дополняют друг друга.

И, если мне не изменяет память, для бесперебойной работы php скрипта не надо постоянно держать машину включенной.

 

Вы правы, скрипт можно залить на VPS. Важно уточнить, на виртуальном хостинге парсер скорее всего работать не будет. Дело в том, что парсер работает как правило дольше 30 секунд, а у PHP по умолчанию параметр max_execution_time равен 30 секундам. И на виртуальном хостинге изменить этот параметр не представляется возможным.

Хотя VPS можно купить за 150-200 рублей в месяц как и хостинг. И изменить его конфигурацию не будет сложной задачей.

 

Тем более. Всё на руку.

 

Справедливости ради, можно и ZP запустить на VPS c Windows, тогда машину не надо держать включенной постоянно. Но при прочих равных ZP прожорливый очень, если много потоков надо, то VPS не за 150-200 рублей брать нужно.

 

@skayskan полностью согласен. Но! Насколько мне известно, php более стабилен. Туже зенку приходится перезагружать раз в сутки. А вообще, ребят, давайте отложим сравнение на негативе. Это до добра не доводит.