PHP парсеры

PHP парсеры
​

Дорогие друзья, предлагаю вашему вниманию полный курс по PHP-парсерам в записи! За два месяца мы разобрали множество полезных и увлекательных тем.

Вот ключевые из них:

• CURL: основы и хитрые приёмы
• Куки, авторизация, антикапча
• Правильная организация стадий парсинга
• PHPJqueryDOM и нативный класс-парсер
• Ускорение работы строковых ключей в БД (целочисленная хеш-техника)
• JS-морда — динамическая статистика вместо зависшего надолго PHP-скрипта
• Парсинг картинок с bing по ключевикам
• Модуль уникализации скачанных изображений

Спойлер: Программа курса

Урок 1
Умный CURL

1. CURL — принципы работы
2. Создание класса обёртки
3. GET и POST запросы
4. Работа с HTTPS
5. Работа с куками
6. Эмуляция всех заголовков браузера
7. Фокусы keep alive
8. Проксирование в теории
9. Анализ заголовков
10. Следование за редиректами

Урок 2
Организация парсинга

1. Конфигурационные файлы для CURL
2. Нативный парсинг
3. MoveTo
4. ReadTo
5. ReadFrom
6. Другие полезные функции
7. Работа с PHPJqueryDOM
8. Объекты и их свойства
9. Селекторы и функции
10. Сохранение результатов

Урок 3
Комбинированный парсинг

1. Проблемы PHPJqueryDOM
2. Доработка нативного класса
3. Subtag
4. Общая схема парсинга
5. Разбор этапов парсинга
6. Сохранение результатов в БД
7. Класс-обёртка для PDO

Урок 4
Хранение скачанных данных

1. Перенос данных в БД
2. Таблица урлов: хорошее SEO + высокая скорость
3. Нереальное ускорение - замыкаем урлы в кольцо чисел
4. БД: хэш-таблица и коллизии
5. Доработка класса БД
6. Архитектурные изыски
7. sender vs viewer

Урок 5
Фреймворк

1. Организация PHP-классов
2. Создание js-морды
3. Две схемы: sender и viewer
4. JS для ajax-парсинга
5. JS для отображения статистики
6. Плюсы и минусы каждой схемы
7. Общая идея организации пауков

Урок 6
Противостояние

1. Принцип работы капчи-картинки
2. Пример создания простой капчи
3. Антикапча
4. Антикапча API
5. Сохранение и передача изображения
6. Ожидание и обработка результата
7. Создание класса для антикапчи

Урок 7
Парсинг изображений

1. Настройка парсера на bing
2. Скачивание изображений
3. Создание библиотеки для уникализации
4. Работа с изображениями в PHP
5. Освещение, обсцвечивание, сепия
6. Отражение, повороты

Урок 8
Подведение итогов

1. Доработка библиотеки для уникализации
2. Приёмы уникализации
3. Подведение итогов по темам
4. Теория оценки рекламы
5. Посетители * просмотры * CTR * стоимость
6. Курс ещё не окончен