[Для новичков] Пишем мощные парсеры/постеры и API-клиенты на PHP

Скорее всего придётся менять лицензию. Но это не проблема, я всегда на связи.

 

По рекомендации от аналитика

 

По рекомендации от аналитика

 

По рекомендации от аналитика

 

По рекомендации от аналитика

 

Что можно достигнуть с помощью данной складчины (даже если вы полный новичёк)?
Я бы предложил следующий порядок действий (пишу сейчас так как потом не будет возможности)

1. Изучаем теорию (парсинг, база данных)
2. Ищем донора.
3. Создаём и запускаем парсер (направляющая - sitemap.xml сайта донора) через крон. Информацию складываем в базу данных. При этом складываем такие поля как заголовок статьи, тело статьи, дату создания статьи (потом добавите смещение), description, keywords
4. Собрав первую базу с разных источников в формате sql - уникализируем информацию через
например

Код:

https://github.com/Stichoza/google-translate-php

Получаем вторую базу sql
5. Находим красивый шаблон html и создаём сайт, чтобы информация грузилась из базы № 2
6. Через крон делаем переодически foreach базы № 2 и получаем обновляемый sitemap.xml
7. Добавляем в гугл вебмастера ждём 3-9 месяца....(тут можно пробывать и дропы ).
Ближайшее время -сайт будет находится в "песочнице"...вместе с гуглом вебмастером - мы можете анализировать поисковые запросы и ваши позиции по ним.
8. Если сделано всё правильно то на выходе будете получать тематический поисковый трафик

Спойлер: Мотивация

Индексация и трафик спустя 6-9 месяцев

Имеет значение подбор качественных доноров и тематик - это гарантирует индексацию. Далее имеет значение поведенческий фактор - если он есть сайт начинает массово индексироваться.

Да программирование не для всех....ожидания в поисковом трафике большие....но по мне это интересней чем делать монотонную работу в соц сетях с целью спама...а главное это наработка PHP навыка.

 

Курс еще не смотрел и в парсинге еще ноль, но я бы сделал так:
С донора в сайтмапе бы парсил урлы, сохранял бы их + сохранял бы всю страницу в БД. Так бы можно было проверять спарсена ли уже страница или нет, и при повторном старте парсера, у нас бы не дублировались бы страницы.
А дальше уже из БД, с нашей страницы распарсивал бы и забирал бы нужные данные.
Получается так бы не парсили бы повторно страницы + в случае дополнения какой-либо страницы тянули бы из нашей БД, а не парсили бы донора заново (Например решили сделать еще комментарии).

Только для реализации надо знать не только парсинг и БД, а либо какую-нибуть CMS, либо php на уровне написания своего блога.
Хотя без этой же информации, вы не сможете нормально с фриланса брать заказы...она вам нужна будет в любом случае

P.S. Не в коем случае не говорю что мои слова являются правдой и что Аналитик сказал что-то не так... Это просто как бы сделал я И возможно что в курсе об этом будет рассказано, возможно что я не прав )

 

Сохранять всю страницу крайне глупо -ради проверки дублей....достаточно проверить наличие поля содержащего url страницы донора.

 

Так я и не говорил что страница сохраняется ради проверки дубля
Я написал что парсил бы урлы и сохранял бы их + сохранял всю страницу.
Проверка на дубли осуществляется именно по урлу, а не по контенту
Сохранять страницу, для того чтобы если понадобится какая-то информация, не обращаться к донору, а можно было бы достать из своей БД.
Плюс такой подход позволит разделить парсинг и постинг, что в дальнейшем поможет при отладке, когда у вас будет вся логика разбита на более мелкие куски

 

Я чувствую себя тупым...

 

это нормально, значит мозг еще функционирует

 

@Ragnar Lodbrok возможность оплаты через баланс будет или только на кошелек?

 

По рекомендации от аналитика