[php script] A-WEB DETECT - система определения веб-технологий

Складчина: [php script] A-WEB DETECT - система определения веб-технологий

Система A-WEB DETECT. - суть системы мы загружаем список доменов в систему, система разбивает информацию о каждом домене - на технологии, на основе которых создан данный домен.

После в соответствии с необходимой технологией мы можем сделать экспорт списка доменов.

Данный скрипт будет полезен для:

1) SEO специалистов/Рекламщиков - размещающих ссылки с помощью специальных программ (в частности Zennoposter), на базе определенной технологии.

2) Специалистам предлагающим услуги/темы/модули и т.п. - молодым доменам/бизнесам - в соответствии с выбранной технологией. А таких у нас в клубе хватает

3) Для создания и продажи баз данных. А это приличный доход....вот на вскидку первый пример

Как я говорил в своем онлайн журнале (где 14 выпусков с бонусами и шаблонами). Продажа баз это достаточно стабильный бизнес.

 

Готов проверить, тема интересная.

 

принято. Отдам на проверку - по факту набора участников

 

Тоже готов проверить, если доверите.

 

@analytic, А какая скорость работы?
В работе скрипта как то участвует Wappalyzer для определения технологий? Или какой то подобный сервис...

 

Система A-WEB DETECT - часть большей системы (которая будет позже).

Статистика по скорости загрузке exel файлов зависит от следующих факторов:

1) Мощность VPS (далее статистика идёт для VPS c 2ГБ оперативы)
2) Скорость ответа сайта
3) Если сайт отсутствует = проходит время ожидания ответа от сайта - 5 сек.
4) Список в 1000 доменов загружается в среднем за 2-4 минуты
5) Загружая списки более 5000 доменов - общее время загрузки увеличивается где-то на 30% (т.е. оптимально работать со списками до 5000). Если у Вас выделенный сервер - то смело можно грузить файлы и по 1000 000 позиций.
6) Основная задача - это проверка новых доменов. И связь с их хозяевами на предмет сотрудничества. Если требуется иметь базу всех доменов - то можно самостоятельно составить шаблон Zennoposter - по систематической загрузки данных.

Используется система laravel+mongodb

1) В общей базе при слабом VPS - можно хранить/сортировать/экспортировать данные из базы более 1000 000 позиций. На сервере - можно работать с 300 000 000. Особенность NoSQL базы.
2) Сортировка информации (а именно фильтры) при поиске домена и при экспорте представлена в демонстрационном файле


Общие представления о системе
1) Технология Wappalyzer
2) Дополнительная настройка VPS на Linux


Конкурентная особенность от баз данных в продаже и от publicwww
1) Поиск идёт по технологиям , а не по сигнатурам.
Т.е. мы не пропускаем домены у которых удалено "powered by wordpress" , 'powered by opencart' и т.п. (а таких сайтов не мало)
2) Представлено огромное количество технологий - баз которых нет в продаже или стоят денег

3) Мы можем экспортировать из базы сайты согласно фильтру (т.е. содержащие сразу несколько технологий)

 

Принято

 

Предварительно : Материал отдам на проверку при числе участников более 50 чел.

 

Да к ближе к пятнице

 

А на какие технологии разбивает? Точнее — какие определяет? CMS / фреймворки или еще что-то?

 

Есть демка в первом посту
Есть видео в министерстве качественного трафика - Смотрим обзор возможностей (конец) и Инструменты вебмастера

Есть сама технология (но тут лучше посмотреть демку...те технологие которые были добвлены последний год -их нет)

 

@analytic, я правильно понял, если есть у меня база сайтов и я хочу узнать по каждому сайту все использованные технологии на котором работает сайт, я указываю список и скрипт мне выдает всю инфу по подобию (смотреть скрин)?

Спойлер: смотреть скрин

Если да, то есть ли выгрузка и в каком формате ?

 

Да. Смотри видео и демку - там детальнее.

Выгрузка и импорт - одинаковый формат

В министерстве формат выгрузки xlsx
Здесь будет csv (должно быть быстрее) (если наберётся народ - вырежу данный инструмент из vitalquality analytics)

Но чтобы вы понимали - выгружается только список доменов . Вся детальная информация хранится в базе.

 

@analytic, То есть чтобы мне разложить по полочкам мне нужно к примеру написать шаб на зенке, типа если к примеру, базу на продажу и чтобы красиво самому оформить на сайте? Не знаю если ты меня понял, ... ?

 

не-а, не понял....
Т.е. ты хочешь продавать технологии. Нужен красивый сайт?

Берешь сайт , где данная технология и через код страницы копируешь кнопочку с картинкой технологии себе в Html ....и у тебя красивая кнопка, только тут ещё и стили надо подключить...но это вебстроительство уже - зенка не нужна.

Или проще - через скрипт данной складчины сохраняешь страницу - и сразу сайт и напротив кнопочки

 

т.е. он помимо cms показывает какие модули встроены в нее? на открытой странице?

 

1. Как с определением Angular, React... ?
2. Определяете ли версии ?
3. Если определяете версии js библиотек - используете phantomjs или другая либа на Node.js ?
4. Возможно ли самому дополнять базу сигнатурами, загружать список доменов и отобрать сайты с нужной технологией или версией скрипта ?

Есть ли видео демка, так как на macOS не запустить ваши примеры (

 

@analytic дайте пожалуйста ответ на пост выше или проект умер ?

 

Технологии уже все добавлены..нового добавить сложно.
Всё хранится в базе данных MongoDB

 

Ждем с нетерпением старта