[Для новичков] Пишем мощные парсеры/постеры и API-клиенты на PHP

Я готов буду ответить на часть нубских вопросов, чтоб автор смог уделить время на теже более сложные вопросы, в том числе и мои))) Так же хотелось бы в это складчине найти людей с которыми можно было бы обмениваться опытом.

 

Отзыв

Свой уровень владения информацией и навыками: в данной области вы: новичок, теоретик либо опытный практик?
Практик, но специфика такова, что, в силу рода деятельности, я больше работаю с чужим кодом. По задачам парсинга было реализовано несколько проектов, один из парсеров работает в складчине на продукты от iSense более 4-х лет.

В каком виде предоставлен материал и насколько удобно он оформлен?
Материал выдан на проверку в виде отдельных html файлов. Участники складчины будут получать материал внутри контейнера (исполняемый файл) – это защита материала.

Сколько времени заняло изучение и выполнение заданий данного инфопродукта?
Сложно сказать, т.к. по сути мы получали материал «из печи», т.е. когда его автор подготавливал. Опять же, я не изучал материал, а проверял и тут сильно сложно оценить затраты времени.
Думаю, что ориентировочно 5 – 7 часов.

Насколько легко усваивается материал, вызвал ли он какие-либо затруднения при проверке?
Автор старается передать материал для участников с нулевым уровнем подготовки. Для меня никаких проблем в изучении не возникло.

Нужны ли специальные навыки и дополнительные материальные вложения?
Вложений никаких не требуется, специальные навыки также не нужны.

Оказывал ли автор должную поддержку в процессе проверки?
Мне дополнительная поддержка не требовалась. Переписка всех проверяющих с автором была общей и на все возникающие вопросы он отвечал оперативно.

Каковы в целом общие впечатления о компетентности автора?
Считаю, что у автора очень высокий уровень и достаточная практика, причем не только в предметной области данного курса.


А теперь в свободной форме:
В данном курсе автор заложил задачу «Как новичку научиться кодить и написать свой первый парсер».
Изучение идет с основ php, до реальных применений. Материал, ессно, не включает в себя полное изучение php, mysql и сопутствующих технологий и инструментов.
Автор постарался в максимально сжатом объеме дать необходимую базу – с полного нуля по шагам приходим к написанию нескольких парсеров.
Сразу скажу, в данном курсе вы получите необходимый минимум и нет никакой речи о том, что «сделаю как тут и у меня все получится» - это вообще неправильная идея в плане программирования.
Тем не менее, если бы мне предложили подобный курс лет 5-6 назад, я бы с руками его оторвал и заплатил значительно дороже, чем текущий взнос в складчине.

Сухой итог:
Перед вами реальный профессионал (автор), который может дать очень достойную базу. Если он еще и в поддержке будет давать ответы, то ценность курса вырастает в разы.
Готовьтесь к тому, что придется изучить очень большой объем материала и мой вам совет – сразу пробуйте применять на практике, т.к. теория без практики не усваивается.
Если реально собираетесь заниматься данной областью, то придется много всего сопутствующего изучить, т.к. профессиональный подход подразумевает высокий уровень подготовки.
Из того, что я бы посоветовал для удобства работы:
- Локальнй сервер:
openserver – универсальность, удобство
xampp – практически все руками, но удобен когда нужна тонкая настройка vhost
- IDE
Для простого редактирования ессно Notepad++ с плагинами
Для нормальной работы мой выбор – JetBrains PhpStorm
(Для студентов бесплатно, остальные могут найти решение на всем известном заблокированном торренте) .

Итог проверки: Материал полностью соответствует описанию и пригоден для проведения складчины.

 

@Korben
Мои поздравления,с получением статуса!!

 

Хорошим продолжением этой темы, стала бы аналогичная складчины по JavaScript, так как именно на нём приходиться общаться с сайтами, которые не любят, чтобы их парсили.

 

JavaScript это веб, а парсер на вебе это отстой.
Можно мутить JavaScript и на запросах, но это уже профи.

 

Я бы избегал на вашем месте таких фраз, так как надо обладать компетенцией, чтобы что-то сравнивать.
Вот для общего развития, что может javascript (а то есть категория разработчиков, которые не знают про серверный javascript)



И вторая большая ошибка про рассуждения о запросах, так как это не основной и не сложный момент в случае "web scraping"

И третья большая ошибка начать это сравнивать с Zennoposter (что так часто здесь делают). Мол а как же куки, прокси, юзерагенты иммитация клавиатуры,и мышки....многопоточность и опять здесь всё есть. Ну про потребляемые ресурсы вообще бессмысленно спорить
Для общего развития читаем документацию

Код:

https://pptr.dev/

п.с. Автору складчины успехов...была мысль побыть в привате -посмотреть как прививается язык PHP....но ужасный дефицит времени. Складчина уникальная для автоматизации наполнения сайтов и получения поискового трафика - всем успехов.

 

Есть Phantom JS, Selenium и еще куча всего.
Я не дождавшись складчины понемногу изучаю вопрос, тут на самом деле очень много подходов для парсинга сайтов различной сложности

 

На node.js вроде из коробки можно рендерить страницы как в браузере.

 

Можно, но не все.

 

Хочу обучиться чему то, чтобы зарабатывать нормальные деньги дома. Этот курс для меня?)

 

Немного информации по курсу. Материал будет поставляться только под windows, т.к. при сборке под linux получаются проблемы с защитой.
В защищённом виде, материал будет весить 713 мегабайт.

@Hydropericardium

 

Под виртуалкой же запуститься? Виртуалку поставить не проблема, но если надо параллельно ставить винду, то не смогу

 

Вот скрин с раздела парсинг, с одной биржи где я работаю - Скрытая ссылка . 100грн = ~240рублей.
После года работы на бирже, могу сказать что биржа отлично подходит для новичков. 99% заказчиков хотят все сделать за 3 коп. Как результат - биржа отлично подойдет для начинающего, чтоб набрать портфолио.

Так же, могу сразу предупредить, что больше половины проектов, подразумевает что ваш парсер будет сразу складывать товары, либо другую информацию в их CMS. Т.е. вам надо будет знать структуру, либо как добавить в WordPress\OpenCart\Bitrix.
Но все программирование в целом, это не кнопка бабло, и чтоб стать специалистом в узком направление как парсинг надо будет развиваться дальше

P.S. Как видно из скрина, этот курс окупиться после первого выполненного проекта, так что все в ваших руках

 

Как старт судя по описанию - именно то, что надо. На практике посмотрим. Но в любом случае без самостоятельной работы одного курса мало будет.

 

@Hydropericardium
Реанимировал свой старый аккаунт на fl, посмотрел - есть заказы на парсинг. Была идея\предложение к автору - взять и разобрать реальный заказ с фрилансерской биржи. Но не хочется уж сильно наглеть.)

 

Да, но на слабом железе будет подтормаживать.

Это тема для отдельного курса В данном случае, я учу основам (и чуть сверх этого) программирования + методикам парсинга данных.

 

будет ли в курсе рассмотрен вопрос по скрещиванию парсера и апи вордпресса? автопостинг спаршеного на сайты

 

В данном курсе этот вопрос не рассматривается, т.к. это уже по части сайтостроения. Но, следующий курс как раз раскроет эту тему.

 

Да ноут достаточно мощный, да и там же текстовая информация, ну будет страница дольше грузится, не страшно )

Если вы умеете гуглить, то разместить пост для вас не составит труда. Но скорей всего простого поста будет мало, надо будет передавать в вуккомерс, кастомные поля и т.д.

Лично я, для себя решил, 500 руб за хорошую информацию по парсингу - это копейки. Если информация будет годная, то очень буду ждать что-то интересное для более продвинутых

 

После получения курса, при переустановки ОС курс будит работать или придется у Вас просить новую версию?