Twitter-bot parser [для работы с баунти и не только][ZennoPoster]

Тема в разделе "Бизнес и свое дело", создана пользователем lifecoder, 24 май 2018.

Статус обсуждения:
Комментирование ограничено.
  1. 24 май 2018
    #1
    lifecoder
    lifecoder ЧКЧлен клуба (А)
    Привет, друзья.

    Увлечение баунти не прошло и мимо меня. Сделал шаблон, значительно экономящий время при работе с твиттером.

    [​IMG]

    Не буду разукрашивать тему, подбивая огромные суммы, которые сможете заработать, поездки и покупки, уход с официальной работы. Наверное уши и так уже побаливают от подобных описаний. Предлагаю перейти сразу к делу.

    Суть

    К примеру, есть цель - в 40 баунти компаниях использовать твиттер.
    Что обычно делаете?

    Берете ссылку на твиттер рекламодателя, заходите, смотрите даты постов, сверяетесь с условиями, копируете по одному нужные куда-нибудь в файлик. Закрываете.

    Заходите во второй аккаунт, смотрите, сверяете, копируете, закрываете. В третий, четвертый...
    Проходит время. Надо проверить - а не появились ли новые твиты у нашего донора? Опять... заходите =>
    смотрите => копируете.... И так по кругу.

    Тоже развлекался так первое время. Появилось стойкое ощущение, что занимаюсь тем-же, что и мальчики подростки - только без получения удовольствия.

    Перебрал этапы, требующие автоматизации и закрыл часть из них (в дальнейшем буду закрывать и другие).

    Что изменилось

    Беру список аккаунтов-доноров. Копирую в обычный txt, клацаю пару раз по параметрам шаблона.
    Запускаю медленный парсинг и иду пить чай.

    Вернувшись, вижу 40 файлов с заполненными таблицами и один с текстом.
    Все имеют название как у доноров.

    Открываю с помощью Microsoft exсel один из них.
    Первая колонка - ссылки на посты, вторая - время публикации.

    Ссылки чистые, без мусора, только того донора, который мне нужен.
    Беру свежие или, к примеру, последние 60 - на месяц постинга.

    Если не важна дата, и 38 из 40 компаний не ставят ограничение на давность - копирую линки только у 2-х, придирчивых.

    Открываю файлик .txt. Вот они, родные! Все здесь. По названиям удаляю лишние 2 донора (что не сложно - идут блоками).

    Готово!

    Через пару дней или неделю надо допарсить свежие посты - запускаю в режиме "быстрый парсинг", поставив глубину 1-2 страницы.

    Отворачиваюсь, поворачиваюсь, открываю тот-же файлик txt. Ниже первоначально спарсенных постов вижу отдельно лежащий свежачок, словно говорящий мне - "Бери и делай".

    Функционал

    Есть выбор работы с прокси и без (обычно, не нужен, но вдруг что-то поменяется).

    Выбор скорости парсинга и количества итоговых данных - медленно, с заполнением отдельной таблицы, для каждой компании с датами публикаций, или быстро - в один файл.

    Возможность допарсить. Свежие посты располагаются ниже старых (оставшихся с прошлого прохода) и отделены от них, чтобы не нужно было копаться в тексте.

    Выбор что парсить - только твиты донора, или все публикации, размещенные на аккаунте.

    Настройка глубины парсинга (одна страница нужна, или 10...).

    Сделал так, чтобы было максимально удобно и постарался убрать лишние телодвижения закрыв один из этапов работы.

    Темой занимаюсь = без поддержки не оставлю. Не знаю, что можно еще здесь улучшить, но если есть мысли -
    пишите...

    За помощь с рекламой буду благодарен. Быстрее стартуем, ну и, при случае, подкину что-нибудь стоящее по автоматизации как будет возможность (сейчас в приоритете твиттер - дорабатываю ферму).


    Нужны 4-5 официальных проверяющих.
     
    1 человеку нравится это.
  2. 24 май 2018
    #2
    lifecoder
    lifecoder ЧКЧлен клуба (А)
    Файл с входными данными (перечень аккаунтов для парсинга с них постов)
    [​IMG]

    Файлы на выходе. Режим парсинга с занесением данных в txt и .xlsx (Excel)


    [​IMG]

    Один из них в открытом виде
    [​IMG]

    Файл txt с постами доноров. Можно взять откуда удобнее - из таблиц или текстового документа (количество таблиц равно количеству доноров, текстовый файл один - со всеми постами в одном месте).
    [​IMG]
     
  3. 25 май 2018
    #3
    Хома
    Хома ЧКЧлен клуба
    Интересное решение по автоматизации
    Сколько примерно занимает по времени ведение 40 компаний в день?
    У тебя есть только решение автоматизации по Твиттеру? А Фейсбук?

    На данный момент на складчике содано несколько тем по автоматизации Баунти и в основном идет разделение либо Твиттер, либо Фейсбук. А у кого ито и то - хочет абонентку, та еще и жирненькую такую абонентку
     
    1 человеку нравится это.
  4. 25 май 2018
    #4
    lifecoder
    lifecoder ЧКЧлен клуба (А)
    Сейчас время уходит больше на анализ компаний и составление отчетов. Сколько потратишь в день не могу сказать. Зависит от подхода. Смотри. Первый этап - отбор, изучение условий. Когда только начал входить в тему потратил весь отпуск (2 недели) - сидел с утра до вечера анализировал, заносил в таблицу кучу параметров, выделял самые перспективные, допустимые, потенциальный скам и т.д. За это время отобрал чуть больше 100 из пары тысяч. Когда начал автоматизировать изменил подход - уже смотрю на многое сквозь пальцы и наращиваю объемы.

    Времени много не занимает. Шаблон закрывает большой кусок работы.
    Алгоритм пока такой. Прогнал - получил целевые ссылки для постов. Далее закинул в сервис по постингу, раскидав по дням недели (их много, если набрать в поиске "постер в твиттер" можно подобрать за небольшую арендную плату) или шаблон, если есть. В принципе все. Остается только оформлять отчеты и контролировать начисления.

    Пришла интересная идея реализации. Делаю конструктор отчетов для постинга в bitcointalk, чтобы поддерживал несколько вариантов, закрывающих требования рекламодателей. Чтобы можно было просто один раз забить данные и в пару кликов выбрать шаблон в настройках зенки и файл со ссылками, которые станут в нужные места на выходе.
    Потом можно будет подумать об автозаполнении форм таблиц, но здесь немного сомневаюсь. По мне так лучше потратить какое-то время и в ключевых моментах дела не допустить ошибок, которые бывают и при ручном заполнении. Еще большие сомнения вызывает автопостинг отчетов...

    По фэйсбуку. С ним сложнее. Сетка более капризная. У меня забанили два аккаунта и по ряду компаний пришлось закончить участие. Правда их форсированно раскручивал до 5к за 2 недели. Тестирую другие варианты. Пока не будет четкого алгоритма смысла писать автоматизацию не вижу. Кроме того, если брать что-то универсальное, объемное, то у spesy есть профессиональные решения.

    Очень интересен ютуб. Есть мысли и варианты, но сразу всем заниматься не получается. Иду по этапам и убираю по максимуму работу, которую делаю вручную.
     
  5. 25 май 2018
    #5
    Хома
    Хома ЧКЧлен клуба
    По поводу отбора компаний, у меня есть свои решения. Впринципе пока не жаловался
    по поводу автопостинга отчетов, сомневаюсь, сейчас чаще всего стали принимать отчеты в видео форм и они очень разнятся эти формы. Т.е. автоматизировать будет очень сложно. Т.к. почти для каждой кампании надо индивидуальные отчеты.
    Да сетка более капризная чем твиттер. Любое неверное движения и аккаунт замораживается. Но у меня трастовый аккаунт и в последнее время заморозок уже не бывает. Но я веду вручную около 20 компаний всего лишь, и то в них не всегда есть ФБ.
    Да ютуб тоже интересен, порой может быть профитнее даже чем, тв+фб. Потому как немного народу могут делать видосы и чтобы их принимал менеджер. Самому с этим заморачиваться лень :), а вот готовое решение я бы рассмотрел как вариант :)
     
    1 человеку нравится это.
  6. 25 май 2018
    #6
    lifecoder
    lifecoder ЧКЧлен клуба (А)
    Уточню на всякий случай. Про одно и то-же говорим? Такого типа?

    Twitter Report

    Week 4 - (20/05-26/05)
    Retweet Link 1:
    Retweet Link 2:
    Retweet Link 3:
    Retweet Link 4:
    Retweet Link 5:
    Tweet Link:

    Facebook Report

    Можно сделать... Напишу как будет конкретика.
     
    1 человеку нравится это.
  7. 25 май 2018
    #7
    Хома
    Хома ЧКЧлен клуба
    Да типа такого, только некоторые Баунти и менеджеры добавляют туда ещё кучу информации и ее надо каждую неделю вводить, типа как ссылки на профиль, номер в таблице, кошелек и ещё разное могу придумать. Это чтобы им проще было считать и чтобы вот от отаких дотов защититься. В некоторых формах даже Капча-вопрос задают чтобы сложнее было. А те отчёты что в теме простишь не считают, только в формы и таких компаний становится все больше. Почувствовали что так проще считать и теперь я так думаю будут вводить эти формы все чаще
     
    1 человеку нравится это.
  8. 28 май 2018
    #8
    Ольга Голуб
    Ольга Голуб БанЗабанен
  9. 31 май 2018
    #9
    Makson777
    Makson777 ДолжникДолжник
  10. 6 июн 2018
    #10
    lifecoder
    lifecoder ЧКЧлен клуба (А)
    1 человеку нравится это.
Статус обсуждения:
Комментирование ограничено.