[php script] A-BOT DETECT - Система анализа и распределения трафика

Тема в разделе "Бизнес и свое дело", создана пользователем analytic, 11 фев 2018.

Статус обсуждения:
Комментирование ограничено.
  1. 14 фев 2018
    #41
    analytic
    analytic ОргОрганизатор (А)
    Тут вопрос надо задавать немного по другому.
    1) Есть ли у меня трафик?
    2) Есть ли потери на бот-трафике?
    3) Много ли я на этом теряю?
    4) Могу ли я предложить свои услуги по отлову бот трафика кому либо?

    5) Если на вышесказанное много утвердительных ответов - то логично, же , что надо погрузится в работу скрипта?:)
     
    2 пользователям это понравилось.
  2. 14 фев 2018
    #42
    Texas
    Texas ЧКЧлен клуба
  3. 17 фев 2018
    #43
    Светлый ворон
    Светлый ворон ЧКЧлен клуба
    А как долго отрабатывает скрипт?
    Какая задержка в загрузке страницы?
     
  4. 18 фев 2018
    #44
    analytic
    analytic ОргОрганизатор (А)
    Как обычная загрузка страницы = около 0.5-1 секунды
     
  5. 19 фев 2018
    #45
    Santario
    Santario ДолжникДолжник
    @analytic был ли опыт возврата Яндексом средств за ботовый траф на основании аналитики вашего инструмента? Ведь у Яндекса есть свои инструменты отлова ботов, и если они считают траф чистым станут ли они верить альтернативной аналитике?
    С тизерками почти уверен что бессмысленно пытаться разговаривать по поводу подобных компенсаций.

    PS Вообще интересней был бы мануал как самому не попадаться подобным аналитическим системам при клоакинге.
     
  6. 19 фев 2018
    #46
    Santario
    Santario ДолжникДолжник
    Сразу что-то не подумал: с помощью данной системы можно же отлавливать не только некачественный траф, но и ботов/модераторов рекламных сетей, того же Яндекса или Фб более эффективней чем, например, Кейтаро. То есть с данным инструментом получится сделать более качественную клоаку. Верно?
     
  7. 19 фев 2018
    #47
    analytic
    analytic ОргОрганизатор (А)
    Тут вопрос надо ставить шире.
    1) Есть накрутка и скликивания с владельцев площадок...Скликивания яндекс фильтрует. Накрутка имеет место быть, но сейчас она реже. Определяется большим количеством трафика с одинаковым ISP (ISP хостинговых кампаний). Яндекс метрика -деликатно определяет только Страну и город, а ISP забывает отразить в отчетах(если вы работаете с метрикой - то там ISP часто пропущена....иногда даже город пропущен) . Это доказывается.

    2) Скликивание конкурентов. Тут сложнее - идёт и поисковый трафик и с РСЯ. Многие контекстные специалисты с ней сталкиваются -вроде тратят время, составляют рекламные кампании по ключевикам - а уровень отказов на сайтах большой. Так как будто народ по приколу попадает на сайт. Такая статистика "убивает желание" заниматься контекстной рекламой и порождает комплексы про невостребованность рекламируемых товаров.Тут практически нереально доказать.Ботоводы здесь выигрывают.

    3) Создание красивой метрики. Вы нанимаете специалиста по контекстной рекламе/или другой рекламе. Он настраивает рекламные кампании - всё грамотно по цене и поисковым запросам. Достигаются все промежуточные цели в метрике -которую вам показывает специалист. Хороший уровень заинтересованности посетителей на сайте. Но большой процент брошенных корзин и маленькая конверсия. Опять комплекс про неправильно выбранную нишу. Хотя -банально метрика накручена.

    Т.е. п.1. и в п.3 -есть шанс компенсации. Не могу говорить за физ.лица. Но в рамках юр.лиц и договорных обязательств - вопросов не возникает.


    Если бы знали принцип определения IP DNS и видите в социальных сетях , когда при авторизации аккаунта происходит ряд редиректов (смены параметров в странице браузера) - то не верили бы про надежность программ заточенных под соц. сети. То что Ваш аккаунт под прокси - соц. сеть знает уже в процессе авторизации.

    Что касается клоакинга, также как и любого вида рекламы в интернете (арбитраж/контекстная/тизерная/баннерная/медийная) - то с первых видеокурсов - по рекламе известно, что всё нарабатывается опытом создания рекламы и тематическим выбором площадок с минимальным количеством бот-трафика. Банально - черные и белые списки

    Что касается мануала -то тут из серии - хочу чтобы меня не палили. Я в какой то складчине по продаже шаблона Zennoposter - гарантирующего анонимность отвечал уже - что шаблона одного мало. Нужно иметь взаимосвязь юзерагентов и расширения экрана, прокси и языка браузера, системного и локального времени. Тут взаимосвязь шаблона с тематическими базами данных

    И при этом всё равно есть вероятность что вас забракуют по IP DNS, отсутствия flash, отсутствию плагинов в браузере.:)

    Верно. Фильтруем модераторов по fingerprint2 , а ботов по ISP или диапозону IP.

    Я признаю, что я больше аналитик и разработчик. Персонально работаю с рекламой реже. С дорвеями я практически не работал.
    Но с учётом первых двух пунктов и с учётом моего навыка создания PHP ,ботов - планирую создать свой дорген и набраться опыта и в дорвеях.

    п.с. но вы пока работайте с другими дорвеями...мне нужно время (которого сейчас мало) и тесты...а статистику я вам предоставлю в видеоформате и с сортировкой данных в онлайн режиме.;)
     
    Последнее редактирование модератором: 19 фев 2018
    2 пользователям это понравилось.
  8. 19 фев 2018
    #48
    Santario
    Santario ДолжникДолжник
    В подписи.
    Реклама: 1, 2.
     
  9. 21 фев 2018
    #49
    antro-ser
    antro-ser ЧКЧлен клуба
    Ничего не понял.
    Я директолог.
    Веду N аккаунтов заказчиков.
    Заказчик жалуется, что его скликивают.
    С помощью этого софта я с могу доказать Яндексу, что был склик и чтобы Яндекс вернул деньги?

    Без угубления в детали, да или нет?
     
    1 человеку нравится это.
  10. 21 фев 2018
    #50
    Cesar
    Cesar ЧКЧлен клуба
    @analytic

    Это типа ТДС-ки?
     
  11. 22 фев 2018
    #51
    analytic
    analytic ОргОрганизатор (А)
    Я не хочу давать гарантий на вашу ситуацию при взаимодействии с сотрудниками Яндекс-директ.

    Поэтому мне приходится отвечать на вопросы развернуто.

    Я даю гарантию на работу скрипта....я конечно понимаю, что неплохо бы ещё и консультировать в частных моментах - но этого здесь не будет.

    Значит в чём суть развернутого ответа. Интересный конечно вопрос от директолога=)

    Обращение № 1 :
    "За месяц работы рекламных кампаний были получены следующие скликивания нашего бюджета:

    дата|время-{source}-IP-IP ISP - Тип соединения-стоимость клика
    ......................................
    ....................................
    .................................
    Итого 25780 рублей.
    Общая статистика 80% хостинговые компании и 20% публичные прокси
    Согласно нашей базе Ip2location.

    Просьба провести сверку и восстановить рекламный бюджет

    С уважением, IT директор ООО "Аналитика"

    "

    Обращение № 2 :

    "
    У меня скликивания за месяц 9000 рублей -согласно моей аналитике и моим базам
    Просьба вернуть деньги



    Вася Петров



    "


    В первом обращении вернут на 90%....во втором на 10%

    ================================================================

    Работать с Яндекс Директ - достаточно сложно....так изначально проигрышные условия по самостоятельной защите от скикивания.
    - 25 IP в черном списке и 1000 площадок.....это супер защита:D....но даже с этим также надо работать.


    ================================================================

    Вторая фишка при работе с ЯндексДирект с учетом Яндекс Метрики

    Деньги в ЯндексДиректе списались, а отчет в ЯндексМетрике -не отображён? Зачем системе анализа трафика не отображать код метрки для ботов и как это потом использовать в переписке с техслужбой. Тут тоже по разному бывает.

    ===============================================================

    1) Первый уровень защиты проходится при наличии Javascript. Проходим с помощью Zennoposter, Node.js, Python, Selenium, PHP+Phantom.js, Nightmare.js, Selenium
    2) Здесь проверка на базы прокси и VPN которые есть у Яндекса и на историю IP. Т.е. элитные и незасвеченные списки IP проходят проверку
    3) Здесь идёт проверка на движение мышки = также проходим через Zennoposter, Node.js,Nightmare.js, Selenium,Python



    Повторюсь
    A-BOT DETECT - инструмент прежде всего для фильтрации рекламных площадок - с оценкой максимального количества параметров.(полная и неполная картина событий)

    Если цель делать Обращение # 1 - то у меня для этого есть проще скрипт , который работает по неполной картине событий. Я вообще думал, что у всех директологов уже есть такой самопистный скрипт....и они умеют отслеживать скликивания в контексте....у меня есть примитивный 1,5 года назад писал...может перепишу в соответствии с новыми требованиями и возможностями
     
  12. 22 фев 2018
    #52
    antro-ser
    antro-ser ЧКЧлен клуба
    Вот, это был бы идеальный вариант =)
    Может в перспективе замутишь такую складчину?
     
    2 пользователям это понравилось.
  13. 22 фев 2018
    #53
    htrmaster
    htrmaster ОргОрганизатор
    так и не увидел по части построения отчетов... одна сторона - получения всех данных, другая - пусть их будет меньше, но удобно применять и видеть результаты... а тут 40+ параметров и что с ними делать? когда миллион трафика, а не пару тыщь в месяц?
    зы. готов потратить на проверку несколько часов своего бесценного времени) но не вижу пока практической составляющей складчины...
     
  14. 23 фев 2018
    #54
    analytic
    analytic ОргОрганизатор (А)
    Но это наоборот отлично;)
    Теперь объясняю по "буквам" - для тех кто не работал с BigData - как работают с данными с практической точки зрения.

    Отмечу сразу факт, что у нас mongoDb - означает, что мы можем быстро сортировать данные из базы с миллионами значений и на слабых VPS за 5 баксов в месяц. Такого вы никогда не достигните с SQL базами.

    Теперь как работаю я - мне важны только два числа.(будет включение/выключение вывода информации - в случае большого количества трафика, чтобы не тратить время на генерацию страницы с информацией)

    Первое число:
    ввожу utm кампании (пусть utm_campaign = mas1traf2018)+ диапазон дат = получаю число X1 - всего переходов

    Второе число:

    ввожу utm кампании (пусть utm_campaign = mas1traf2018)+check=1+check2=1+check3=1+check4=1+check5=1+check6=1+check7=1+диапазон дат = получаю число Y1 - количество живых переходов.

    Получаю процентное соотношение (Y1/X1)*100%- живых переходов. Процент ботов = 100%-(Y1/X1)*100%
    Всё это занимает не более 1 минуты
    -> делаю отметку относительно моей кампании. И только если мне надо -я смотрю детальную информацию. И опять же через фильтры (надо быть совсем глупым чтобы работать с неотсортированной информацией:))

    По аналогии могу оценить процент ботов относительно реффера(домена) - в случае если не были использованы utm-метки.


    п.с. я уже договорился с 4 -мы проверяющими. Было получено предварительно согласие....по факту готовности скрипта. Если кто-то соскочит - буду иметь ввиду.
     
    Последнее редактирование модератором: 23 фев 2018
  15. 23 фев 2018
    #55
    lifehockey
    lifehockey ЧКЧлен клуба
  16. 25 фев 2018
    #56
    Makss44
    Makss44 ЧКЧлен клуба
    На правах рекламы.
    Интересуешься АРБИТРАЖЕМ - не пропусти ЭТО
     
  17. 25 фев 2018
    #57
    benelux
    benelux СкладчикСкладчик
  18. 28 фев 2018
    #58
    Korole
    Korole ПартнерПартнер (А)
    Можно ли использовать эту систему для отлова бот трафика (клоакинг) фейсбука и инстаграм.
    Людям показывать один сайт ,а ботам и модерам другой.
     
  19. 28 фев 2018
    #59
    analytic
    analytic ОргОрганизатор (А)
    Министерство качественного трафика
     
    1 человеку нравится это.
  20. 28 фев 2018
    #60
    RoyalBank
    RoyalBank ОргОрганизатор (А)
    1 человеку нравится это.
Статус обсуждения:
Комментирование ограничено.