4.88889/5, Отзывов: 9
Закрыто

[Для новичков] Пишем мощные парсеры/постеры и API-клиенты на PHP

Тема в разделе "Бизнес и свое дело", создана пользователем Korben, 9 фев 2019.

Цена: 117420р.
Взнос: 499р.
91%

Основной список: 296 участников

Резервный список: 11 участников

Статус обсуждения:
Комментирование ограничено.
  1. 17 май 2019
    #221
    Korben
    Korben ШтрафникШтрафник
    Скорее всего придётся менять лицензию. Но это не проблема, я всегда на связи.
     
    1 человеку нравится это.
  2. 17 май 2019
    #222
    Leyureg5
    Leyureg5 ЧКЧлен клуба
    По рекомендации от аналитика
     
    1 человеку нравится это.
  3. 19 май 2019
    #223
    Lord_Woland
    Lord_Woland ЧКЧлен клуба
    По рекомендации от аналитика
     
    1 человеку нравится это.
  4. 20 май 2019
    #224
    stomp
    stomp ЧКЧлен клуба
    По рекомендации от аналитика
     
    1 человеку нравится это.
  5. 20 май 2019
    #225
    PKultura
    PKultura ОргОрганизатор
    По рекомендации от аналитика
     
    2 пользователям это понравилось.
  6. 20 май 2019
    #226
    analytic
    analytic ОргОрганизатор (А)
    Что можно достигнуть с помощью данной складчины (даже если вы полный новичёк)?
    Я бы предложил следующий порядок действий (пишу сейчас так как потом не будет возможности)

    1. Изучаем теорию (парсинг, база данных)
    2. Ищем донора.
    3. Создаём и запускаем парсер (направляющая - sitemap.xml сайта донора) через крон. Информацию складываем в базу данных. При этом складываем такие поля как заголовок статьи, тело статьи, дату создания статьи (потом добавите смещение), description, keywords
    4. Собрав первую базу с разных источников в формате sql - уникализируем информацию через
    например
    Код:
    https://github.com/Stichoza/google-translate-php
    Получаем вторую базу sql
    5. Находим красивый шаблон html и создаём сайт, чтобы информация грузилась из базы № 2
    6. Через крон делаем переодически foreach базы № 2 и получаем обновляемый sitemap.xml
    7. Добавляем в гугл вебмастера ждём 3-9 месяца....(тут можно пробывать и дропы ).
    Ближайшее время -сайт будет находится в "песочнице"...вместе с гуглом вебмастером - мы можете анализировать поисковые запросы и ваши позиции по ним.
    8. Если сделано всё правильно то на выходе будете получать тематический поисковый трафик

    Индексация и трафик спустя 6-9 месяцев


    zag-1.png zag-2.png zag-3.png zag-4.png

    Имеет значение подбор качественных доноров и тематик - это гарантирует индексацию. Далее имеет значение поведенческий фактор - если он есть сайт начинает массово индексироваться.

    Да программирование не для всех....ожидания в поисковом трафике большие....но по мне это интересней чем делать монотонную работу в соц сетях с целью спама...а главное это наработка PHP навыка.
     
    Последнее редактирование модератором: 20 май 2019
    18 пользователям это понравилось.
  7. 20 май 2019
    #227
    Hydropericardium
    Hydropericardium ЧКЧлен клуба
    Курс еще не смотрел и в парсинге еще ноль, но я бы сделал так:
    С донора в сайтмапе бы парсил урлы, сохранял бы их + сохранял бы всю страницу в БД. Так бы можно было проверять спарсена ли уже страница или нет, и при повторном старте парсера, у нас бы не дублировались бы страницы.
    А дальше уже из БД, с нашей страницы распарсивал бы и забирал бы нужные данные.
    Получается так бы не парсили бы повторно страницы + в случае дополнения какой-либо страницы тянули бы из нашей БД, а не парсили бы донора заново (Например решили сделать еще комментарии).

    Только для реализации надо знать не только парсинг и БД, а либо какую-нибуть CMS, либо php на уровне написания своего блога. :)
    Хотя без этой же информации, вы не сможете нормально с фриланса брать заказы...она вам нужна будет в любом случае :)

    P.S. Не в коем случае не говорю что мои слова являются правдой и что Аналитик сказал что-то не так... Это просто как бы сделал я :) И возможно что в курсе об этом будет рассказано, возможно что я не прав :))
     
  8. 20 май 2019
    #228
    analytic
    analytic ОргОрганизатор (А)
    Сохранять всю страницу крайне глупо -ради проверки дублей....достаточно проверить наличие поля содержащего url страницы донора.
     
  9. 20 май 2019
    #229
    Hydropericardium
    Hydropericardium ЧКЧлен клуба
    Так я и не говорил что страница сохраняется ради проверки дубля :)
    Я написал что парсил бы урлы и сохранял бы их + сохранял всю страницу.
    Проверка на дубли осуществляется именно по урлу, а не по контенту :)
    Сохранять страницу, для того чтобы если понадобится какая-то информация, не обращаться к донору, а можно было бы достать из своей БД.
    Плюс такой подход позволит разделить парсинг и постинг, что в дальнейшем поможет при отладке, когда у вас будет вся логика разбита на более мелкие куски :)
     
    1 человеку нравится это.
  10. 20 май 2019
    #230
    InoGram
    InoGram ЧКЧлен клуба
    Я чувствую себя тупым...:confused:
     
    2 пользователям это понравилось.
  11. 20 май 2019
    #231
    Carri
    Carri ДолжникДолжник
    это нормально, значит мозг еще функционирует :)
     
    2 пользователям это понравилось.
  12. 20 май 2019
    #232
    ivansparta
    ivansparta БанЗабанен
    @Ragnar Lodbrok возможность оплаты через баланс будет или только на кошелек?
     
  13. 20 май 2019
    #233
    Ragnar Lodbrok
    Ragnar Lodbrok АдминАдминистратор Команда форума
    Не будет.
     
  14. 20 май 2019
    #234
    Растаман
    Растаман ЧКЧлен клуба
    По рекомендации от аналитика
     
    1 человеку нравится это.
Статус обсуждения:
Комментирование ограничено.