Доступно

[Повтор] [Udemy] Парсеры, роботы, автоматизация, Selenium, PhantomJS на PHP

Тема в разделе "Курсы по программированию", создана пользователем htrmaster, 19 ноя 2018.

Цена: 660р.-87%
Взнос: 80р.
100%

Основной список: 42 участников

Резервный список: 1 участников

Статус обсуждения:
Комментирование ограничено.
  1. 19 ноя 2018
    #1
    htrmaster
    htrmaster ОргОрганизатор

    Складчина: [Повтор] [Udemy] Парсеры, роботы, автоматизация, Selenium, PhantomJS на PHP

    Станьте профессиональным разработчиком парсеров, роботов. Научитесь работать с Selenium, PhantomJS и cURL с PHP
    2018-11-19_12-46-22.png
    Чему вы научитесь
    Вы сможете создавать парсеры и роботы
    Вы сможете парсить любые сайты
    Вы сможете писать автоматизированные тесты веб-приложений
    Вы сможете создавать копии сайтов

    Материалы курса: 22 лекции, общее время: 03:12:52

    –Введение 04:59
    Что будет рассмотрено в курсе 04:59

    –Простой парсинг 53:14
    Подключаем библиотеку для парсинга 05:00
    Тест. Получаем исходный код страницы 02:30
    Получаем ссылки на каждую из статей со страницы каталога 04:28
    Работа с паджинацией (когда каталог, контент разбит на страницы). Рекурсия 04:44
    Парсинг каждой отдельной статьи 04:41
    Создаем таблицу articles для хранения данных парсинга 04:19
    Добавляем ссылки на каждую статью в таблицу БД 04:48
    Парсим и сохраняем каждую статью в БД 03:11
    Переносим парсер вчистовик. CLI 04:51
    Сохранение статей в БД. Парсер готов 04:54
    Как параллельно запустить много потоков парсера? Часть 1 04:57
    Как параллельно запустить много потоков парсера? Часть 2 04:51

    –PhantomJS и PHP. Парсим сайты. Создаем живую копию сайта Zappos.com 01:58:07
    Знакомимся с PhantomJS. Командная строка. Скриншоты сайтов. Исходный код сайта 16:20
    Работа PhantomJS и PHP. Приложение-генератор скриншотов сайтов. Меняем UserAgent 34:29
    Парсим Zappos.com. Часть 1: пишем JS код для получения ссылок категорий товаров 11:43
    Парсим Zappos.com. Часть 2: получаем JSON со ссылками. Внедрение кода с evaluate 07:04
    Парсим Zappos.com. Часть 3: пишем JSON в файл из PhantomJS. Читаем его из PHP 08:32
    Парсим Zappos.com. Часть 4: Рекурсия в PhantomJS - берем страницы из педжинации 23:27
    Парсим Zappos.com. Часть 5: Получаем ссылки на все товары со страницы каталога 08:43
    Парсим Zappos.com. Часть 6: пишем ссылки на все товары категории в JSON файл 07:49

    –Бонус. Безлимитный Google Translate без ключа API. Парсинг Google Translate 16:32
    Парсим Google Translate с PhantomJS. Передача аргументов из командной строки 16:32
    Добавить размер окна через viewportSize и установить userAgent, как будто Chrome 1 вопрос
    Перевод больших текстов с переносами строк 1 вопрос

    папка на яндекс.диск


    Предыдущая складчина (описание отличается, непонятно насколько актуально)

    Продажник
     
    Последнее редактирование: 19 ноя 2018
    2 пользователям это понравилось.
  2. Последние события

    1. Krikona
      Krikona оставил отзыв "Средне".
      8 окт 2019
    2. Tans
      Tans оставил отзыв "Средне".
      24 ноя 2018
    3. skladchik.com
      Складчина доступна.
      22 ноя 2018
    4. Марица Федоровна
      Марица Федоровна участвует.
      22 ноя 2018

    Последние важные события

    1. skladchik.com
      Складчина доступна.
      22 ноя 2018
    2. skladchik.com
      Взнос составляет 40р.
      22 ноя 2018
    3. skladchik.com
      Складчина активна.
      22 ноя 2018
    4. skladchik.com
      Сбор взносов начинается 22.11.2018.
      20 ноя 2018
  3. Отзывы участников

    3/5,
    • 3/5,
      Работой организатора доволен
      Нет существенной части материала, который должен был быть. Автор начал парсить сайт интернет-магазина и остановился ровно после того, как получил всего-лишь ссылки на страницы товаров, дальше должен был показать большой фронт работы, но ничего не показал, конец. Для меня было очень неожиданно найти конец в самом начале пути. Курс мог бы претендовать на хорошую оценку, если бы это был полный курс, а тут только отрывок курса :-/
      8 окт 2019
      2 пользователям это понравилось.
    • 3/5,
      Работой организатора доволен
      И половины того что заявлено в баннере нету, возможно это какая то первая часть. Про селениум, curl (прокси+куки), ничего не сказано, кроме как в водном курсе (сказано только что это будет в курсе). Также ничего нет про тему с прокси-сервисом магазина (копии сайтов). Нет автоматизации браузера, нет ничего про тесты.
      Насчет любых сайтов он конечно погорячился, варианты показаны довольно простые, для сложных сайтов все может быть сильно сложнее.
      У меня большой опыт в данной теме, было скучно (хотя смотрел x2). Новичкам возможно будет интересно, база про парсинг есть. Инструменты хоть и устарели и имеют уже лучшие аналоги, но в целом надо признать еще актуальны. Поэтому тройку наверное заслужил.
      24 ноя 2018
      9 пользователям это понравилось.
  4. Обсуждение
  5. 20 ноя 2018
    #2
    Tans
    Tans ЧКЧлен клуба
    зачем они только с фантомом связались, для новичков это погибель, там же не видно что происходит в этом браузере. и есть же нормальный пупетир.
    селениум тоже тот еще диназаврик - в нем есть смысл разве что в тестах, тк поддерживает несколько браузеров.
    имхо курс походу отстал на пару тройку лет по технологиям, но посмотрим.
     
Статус обсуждения:
Комментирование ограничено.