[ZennoPoster] Парсинг/публикация новостей на свои сайты

Тема в разделе "Бизнес и свое дело", создана пользователем a10ne, 12 ноя 2017.

?

Какую cms добавить следующей?

  1. Joomla

    26 голосов
    50,0%
  2. Drupal

    6 голосов
    11,5%
  3. Modx

    11 голосов
    21,2%
  4. InstantCMS

    5 голосов
    9,6%
  5. UCOZ?

    4 голосов
    7,7%
Статус обсуждения:
Комментирование ограничено.
  1. 12 ноя 2017
    #1
    a10ne
    a10ne ПартнерПартнер (А)
    Начнем с небольшого предисловия :)
    На протяжении всего времени работы в интернете ко мне обращаются люди с просьбой настроить парсинг и публикацию новостей с донора на свой сайт. Надеюсь, эта задача будет актуальна всегда.

    Я постарался сделать удобный инструмент для парсинга любых сайтов с простой настройкой на ZennoPoster.

    Кому это может быть нужно? Как на этом заработать?
    • Всем, кто ведет новостные сайты, блоги
    • Всем, кто сливает трафик с социальных сетей на прокладки, блоги, рекламу.
    • Всем, кто накручивает партнерские программы, контекст
    • Всем, кто умеет извлекать прибыль из копипаста
    Почему этот шаблон стоит своих денег?
    1. Управление ботом происходит внутри ZennoPoster, нет необходимости устанавливать и настраивать плагин на каждый сайт. При разработке не использовались супер новые методы, так что будет работать начиная с 5.9.9.1 по умолчанию.
    2. В лицензии нет ограничения на количество своих сайтов/доноров.
    3. Уже сейчас реализована поддержка добавления новостей на cms Wordpress и DLE. При должном интересе со стороны пользователей список может быть расширен даже до старта складчины. Прикрепил голосование в шапке)
    4. Расписание работы
    5. Многопоточность.
    По какому принципу работает парсер?
    На основе данных из входной таблицы и входных настроек с доноров собираются ссылки на интересующие записи. По шаблонам для сайтов они разбираются на составные части:
    • название
    • категория
    • текст
    • картинки
    Далее шаблон вычищает лишние html теги, свойства, оставляя только те, которые участвуют в оформлении на вашем сайте. Далее через админку вашего сайта все добавляется с учетом категории, миниатюры и т.д.
    Все картинки выкачиваются на ваш сайт. Первая картинка из тела статьи становится миниатюрой, остальные загружаются по фтп в указанную папку с всегда уникальным названием.

    Какие есть дополнительные функции?
    1. Очистка текста от скриптов, лишних тегов и т.д. Если начальной было недостаточно, вы можете добавить свои регулярные выражения для очистки.
    2. Для картинок остаются параметры alt и title
    3. На картинки можно наложить водяной знак - картинку/текст. Пока только в правый нижний угол отступ справа 100px, снизу 30px. В будущем вынесу параметры в отдельную вкладку входных настроек.
    4. Для новостей можно добавить источник с параметром nofollow.
    5. Все добавленные новости могут попадать на модерацию/черновик.
    6. Перевод текстов через гугл переводчик. Вы можете легко парсить сайты на любых языках.
    7. Для каждой новости можно указать категорию. Есть 2 варианта:
    • Вы добавляете в таблицу каждый раздел с сайта донора и указываете в какую категорию добавлять новости.
    • Вы добавляете в таблице ссылку на главную донора, где есть ротация новостей, и регулярное выражение для парсинга категории со страницы новости (во всех остальных случаях оставляете этот столбец пустым).
    • И в том, и в другом случае категория может быть либо найдена в списке на вашем сайте, либо добавлена.
    В будущем я добавлю текстовый алгоритм совпадения категорий, чтобы шаблон понимал общие по смыслу категории и сам искал нужную из уже добавленных на вашем сайте.

    Скрин входных настроек
    [​IMG]



    Есть крутые бонусы?
    Бонус для клиентов.
    1. Подготовлю 30 примеров шаблонов парсинга для наглядности. Их вы сможете сразу использовать в работе.
    2. За каждые 50 участников буду добавлять по 1 cms на импорт из популярных в голосовании!

    Бонус для всех пользователей. Разыграю 1 БЕСПЛАТНУЮ лицензию среди всех, кто выполнит условия рекламы! Результат запишу на видео!

    Условия.
    • Для ЧК поставить приятную подпись на складчину.
    • Для остальных оставить 3 рекламных поста в складчинах по теме. Клиентам достаточно отписаться в ЛС/топике по желанию, остальным обязательно отписаться в топике!

    Что я еще собираюсь добавить?
    1. Поддержку пагинации. Сейчас новости могут браться только с первой страницы. Соответственно, нужно запускать шаблон по расписанию, чтобы не пропустить новые записи на донорах.
    2. Больше настроек для водяных знаковв
    3. Больше поддерживаемых CMS. Чем больше спрос, тем больше CMS.
    4. Синонимайзер текста ? Если найдется достойный инструмент с поддержкой языков, почему нет.
    5. Другие крутые штуки необходимые нам всем в работе.


    Цена шаблона 2500 рублей.
    Доп. информация
    1. Шаблон полностью готов в описанном виде. Соответственно, ищу офф проверяющих!
    2. Для тех, кому нужен ZennoBox сделаю отдельную складчину на него. Можно записываться.
    3. В шаблоне в принципе нечему ломаться, но поддержка в рабочем состоянии все равно будет, а так в основном по новым фичам.
     
    3 пользователям это понравилось.
  2. 12 ноя 2017
    #2
    a10ne
    a10ne ПартнерПартнер (А)
    Резерв.
     
  3. 12 ноя 2017
    #3
    Belendex
    Belendex БанЗабанен
    @a10ne, привет. Могу выступить проверяющей. Обращайся!
     
    1 человеку нравится это.
  4. 12 ноя 2017
    #4
    spbalexpiter
    spbalexpiter ЧКЧлен клуба
    В подписи
     
    1 человеку нравится это.
  5. 12 ноя 2017
    #5
    spbalexpiter
    spbalexpiter ЧКЧлен клуба
  6. 12 ноя 2017
    #6
    maspan
    maspan ЧКЧлен клуба
    Приветствую! А есть в настройке парсера проверки на дубли (ссылки, названия), чтобы не брал документ, который уже есть?
     
  7. 12 ноя 2017
    #7
    a10ne
    a10ne ПартнерПартнер (А)
    Логика шаблона построена так, что с одного и того же сайта не может быть взят дубль в любом случае, так как идет отсчет от последней взятой новости. Вы имеете в виду учет названий относительно разных источников?
     
  8. 12 ноя 2017
    #8
    maspan
    maspan ЧКЧлен клуба
    Нет, одного донора. По заданию: зашел, сравнил, если есть новая, то спарсил else до следующего захода.
     
  9. 12 ноя 2017
    #9
    a10ne
    a10ne ПартнерПартнер (А)
    Да, так и работает. В этом и есть суть расписания. Хоть каждые 5 минут, может заходить и смотреть появилась ли новая инфа. Вот тут можно посмотреть формат таблицы на вход
    Скрытая ссылка
     
    1 человеку нравится это.
  10. 12 ноя 2017
    #10
    Владдд
    Владдд ЧКЧлен клуба
    Подскажите такой момент. Есть ли возможность, чтобы шаблон форматировал статьи по заданной маске. Поясню. Это особенно актуально, когда источник не один, а n кол-во. У каждого донора свой формат статей (у одного сайта абзацы слишком большие, у другого содержание выведено в середину статьи и тому подобное), обусловленный шаблоном темы и стратегией монетизации. Если парсить один к одному (формат) статьи, то основной сайт будет выглядеть не очень органично. Можно ли реализовать, чтобы содержание выводилось в указанное место в статье и размер абзаца был, к примеру не более 3-х предложений?
     
    2 пользователям это понравилось.
  11. 12 ноя 2017
    #11
    RDmitri4
    RDmitri4 ЧКЧлен клуба
  12. 12 ноя 2017
    #12
    Alehandro7
    Alehandro7 ЧКЧлен клуба
    Новости - это условное название? Могут быть статьи любых типов и тематик?

    Поставил в подпись.
     
  13. 12 ноя 2017
    #13
    Far North
    Far North ЧКЧлен клуба
    В подписи... ............................................
     
    1 человеку нравится это.
  14. 12 ноя 2017
    #14
    tiish
    tiish ЧКЧлен клуба
    да и пример работы шаба не помешал бы, кратенько-демонстрационно от и до, видео на нескл минут?
     
    2 пользователям это понравилось.
  15. 12 ноя 2017
    #15
    c8marta
    c8marta ЧКЧлен клуба
    Поставил в подпись
     
    1 человеку нравится это.
  16. 12 ноя 2017
    #16
    lingvarik
    lingvarik БанЗабанен
    1 человеку нравится это.
  17. 12 ноя 2017
    #17
    sibia
    sibia ЧКЧлен клуба
    Вопросы от "непродвинутого" пользователя:
    - подскажите, пожалуйста, достаточной ли будет квалификация пользователя на уровне умения установить движок WР и публиковать записи на сайте для того, чтобы разобраться и применить предлагаемый шаблон?
    - нужно ли будет приобретать еще какое-то обеспечение для работы этого шаблона? Правильно ли я понимаю, что ZennoPoster — это отдельная программа, которую надо будет приобретать для работы шаблона?
     
  18. 12 ноя 2017
    #18
    seoslo-net
    seoslo-net ДолжникДолжник
    Уважаемый назрело пару вопросов
    1. Как такие сайты индексируются
    2. Уникальность таких сайтов близка к 0
    3. Как долго живут такие сайты
    4.Сколько приносят трафика
     
  19. 13 ноя 2017
    #19
    pijonz
    pijonz ЧКЧлен клуба
    Тоже созрел вопрос.Почему шаблон работает через админку, а не заливает сразу в БД сайта?
     
  20. 13 ноя 2017
    #20
    a10ne
    a10ne ПартнерПартнер (А)
    Извиняюсь, за долгий ответ.
    В данный момент такого функционала нет. Можно подумать над этим и сделать в отдельной вкладке настроек. Напишите пожалуйста, чтобы вы хотели видеть.
    Новости действительно условное название. Подходят все сайты формата запись/пост.
    Видео сделаю, не вопрос.
    Для работы действительно потребуется либо собственный ZennoPoster, либо я сделаю отдельную складчину для желающих на ZennoBox по моему шаблону. Стоить это дело будет +10$. Из доп знаний нужно понимать html код сайта, который вы собираетесь парсить и уметь составлять регулярные выражения. Благодаря ним бот понимает, в каком месте искать заголовок, текст и тд. Если с html знакомы, то разобраться в остальном в принципе не составит труда (3-4 часов теории и практики вполне хватит) Для всех клиентов я выложу пример 30 сайтов, которые уже готовы к работе, в них будут и необходимые регулярки для понимания.
    Шаблон - инструмент, каждый сам решает, как будет его применять. В каких направлениях шаблон точно пригодится я уже написал. Конкретно по вашему вопросу. 1) Можно делать сайт не только на копипасте, а разбавлять контент.
    2) Если статьи тянутся с разных источников, то сайт получается не совсем неуникальным и полной копией. Слышал поисковики также смотрят на верстку и еще кучу факторов. Раз люди просят настроить парсинг с каких-то сайтов, то как-то все-таки можно извлекать из них прибыль;)
     
Статус обсуждения:
Комментирование ограничено.