ComparseR - Программа для изучения индексации сайта

Складчина: ComparseR - Программа для изучения индексации сайта

Программа для изучения индексации сайта - ComparseR​

​

ComparseR – специализированная программа, предназначенная для глубокого изучения индексации сайта, не имеющая аналогов на данный момент!

Название программы произошло из сложения двух слов: Comparison (англ.) – сравнение, сопоставление и Parser (англ.) – парсер. Это основные функции программы – парсить сайт и проиндексированные страницы этого сайта в поисковых системах (Яндекс и Google), а потом сравнивать и анализировать полученные данные.

Продвинутый краулер с множеством настроек целиком просканирует ваш сайт, соберет проиндексированные страницы из поисковой выдачи и позволит сравнить полученные данные. В результате вы узнаете, полностью ли индексируется ваш сайт, правильно ли он индексируется, и нет ли в выдаче того, о чем вы даже не подозреваете…

Спойлер: Подробнее

Особенности ComparseR

• Мощный краулер – программа полностью просканирует ваш сайт и соберет самые важные атрибуты для каждой страницы.
• Парсер Яндекс – программа соберет адреса страниц сайта, проиндексированные Яндексом, а так же другие важные параметры (дата сохраненной копии, дата первой индексации страницы).
• Парсер Google – программа соберет проиндексированные страницы сайта в поиске Google.

Преимущества ComparseR

1. В результате сканирования, программа обозначит найденные технические ошибки на сайте (внутренние редиректы, 404 ошибки, дубликаты title, запрещенные к индексации страницы и многое другое).
2. Множество настроек краулера позволит программе представиться для сайта поисковым роботом и собрать данные, доступные для поисковиков (в программе присутствует пакет предустановленных настроек User-Agent).
3. Использование регулярных выражений для краулера и парсеров выдачи позволит специалистам максимально гибко настроить сканирование и изучение полученных данных.
4. Для парсинга Яндекса предусмотрено 3 источника данных: обычная выдача, XML-данные и Яндекс.Вебмастера, каждый из которых имеет свои особенности и преимущества. А при желании вы можете совместить данные из этих источников в одной таблице.
5. Использование сразу нескольких сервисов разгадывания капчи при парсинге поисковых систем позволит вам не беспокоиться, что парсинг прервется или остановится без вашего участия. Запустите программу, и идите отдыхать!
6. Уникальный инструмент пакетного удаления URL из индекса Яндекса к вашим услугам: быстро, без капчи, в один клик!

Основная ценность или в чем отличие от аналогов?
Чем ComparseR отличается от аналогичных бесплатных программ, типа Xenu Sleuth, Netpeak Spider и др., ведь они тоже могу парсить сайт и показывать ошибки?

Смысл моей программы заключается не в парсинге сайта, поиске дублей Title и битых ссылок, хотя даже это она может делать лучше аналогов, позволяя парсить сайты объемом в несколько миллионов страниц. Основная ценность заключается в парсинге страниц сайта из выдачи поисковиков и сравнения с полученными данными при парсинге самого сайта.

Это позволит вам понять, какие страницы сайта не индексируются, или наоборот, найти такие страницы, которые находятся в индексе, а вы об этом даже не подозреваете.

ВНИМАНИЕ!​

Продукт приобретается официально у автора по фиксированной цене со скидкой для нас! Вам будут доступны все официальные обновления от автора!
​

Стоимость взноса (с учетом интересов клуба) = 1130 руб. (на сайте автора цена: 2000 руб. !) скидка 43 % .

! Не менее 50 чел., т.е. разовая закупка, не менее 50 ключей!

 

Не понятно. 1000 рублей за каждую копию программы?

 

По всей видимости да. 50% скидка. Обычно Алаич по другому не работает.

 

Отличная программа, пользуюсь практически с момента появления.

 

напишите модератору, чтобы установил цену 1000 для каждого

 

Здравствуйте!

По программе возникли вопросы:

1. "позволяя парсить сайты объемом в несколько миллионов страниц." - это хороший плюс, т.к. на том же Netpeak Spider успешно пропарсили сайт в 500к страниц, но Spider не смог дальше проанализировать и выгрузить данные, например, проверить те же дубли тайтлов. Хотя машина, на которой производился парсинг достаточно мощная. Надеюсь на ComparseR такого не будет?

2. "Основная ценность заключается в парсинге страниц сайта из выдачи поисковиков и сравнения с полученными данными при парсинге самого сайта." - тут поподробнее, т.е. программа параллельно парсит выдачу Яндекса и Гугла по запросу
site:domen.ru ?
И сравнивает эти данные с просканированными страницами сайта? Или наоборот, просканированные страницы сайта проверяет на индекс, а затем уже, если страница в индексе, то парсит из выдачи тайтл и сниппет?
В принципе, это можно делать бесплатными Netpeak Spider + плагин винка, но большие объемы не пробовали.
Или Netpeak Spider + Yazzle

3. Из парсеров еще есть PW и Линкоскоп, но PW довольно медленно работает... 500к страниц парсил часов 10, спайдер пошустрее работал - часа за 4 справился, но на спайдере ограничения на количество одновременных потоков и таймаут.
У вас в программе есть такие ограничения?

 

Чем она лучше нетпик спайдера?

 

Тестил более миллиона страниц. Но то было давно, еще на старте программы. С тех пор программа обросла новым функционалом и парсит теперь более широкий набор полей. Возможно, компу будет сложнее с этим справляться. Но как бы то ни было, если возникнут проблемы, то напиши, будем решать, оптимизировать.

Скачать демку не пробовали? Там в одной вкладке парсинг сайта. Во второй парсинг Яндекса, в третьей парсинг Гугла. То есть эти процессы можно запустить параллельно. Потом программа сравнивает данные из вкладок и делает выводы.
Запрос сложнее, чем site:domen.ru но смысл такой же в целом.
Так же можно просто проверить поштучно просканированные с сайта страницы. Там в контекстном меню есть пункт проверки индесации выбранных url.
Кому как нравится и как удобно, короче.

В программе ограничение на потоки - 50. Но с таким количеством потоков справляется разве что vk.com который я спарсил миллион страниц минут за 20. Другие сайты так быстро не способны отвечать на запросы, хотя я целенаправленно это и не проверял.
В программе есть и настройка таймаута между запросами, я обычно ставлю 0.

 

Спасибо большое за разъяснения) Таймаут мне нравится и количество потоков устраивает. Записываюсь)

 

У меня есть эта софтина, очень крутая. Раньше пользовался Xenu + Netpeak Spider, но эта заменяет все. Еще бы на на ФастТраст был хороший скидос - я бы взял.

 

Приятно слышать. На FT была тут складчина, но что-то все протухло. А вообще ЧекТраст можно юзать

Могу предоставить скидку 20% на FastTrust. Промокод "skladchik", будет действовать ровно месяц с сегодняшнего дня. Промокод надо указывать в примечании к платежу при оплате. Это просто промокод, по сути, никакого отношения к складчине не имеет.

 

Думаю за выходные соберется - нужное количество, и начнем
Не рекомендую "накручивать" количество участников, т.к. будем ждать минимум 50 оплат

 

Я вписался когда сумма уменьшалась, а вдруг обнаружил что она стала фиксированная. Вы хоть заранее предупреждайте, многие тут подписаны на обычную складчину.

 

так читайте внимательнее.

в стартпосте - изначально описывалось, что покупается оптом лицензии.
а цена, первое время уменьшалась, - пока модератор не установит фиксированую цену - так во всех оптовых покупках

 

попробовал демку, годно. полезные данные по анализу конкурентов, не только себя
с чем сравнить, кто посоветует? нетпик спайдер?

 

на сайте автора написано, какие аналоги существует

 

вопрос был не о написанном на сайте

 

нашел с чем сравнивают на форумах. с сайта софтом тоже посмотрел, спасибо

с автором не обсуждали возможную продажу фасттраста?

 

Там орг в бане. Но опять же выход есть. У меня гикнулось железо, списался с разработчиком (как я понял, тут он под ником Victim) разъяснил ситуацию и получил новый ключ на новое железо. Быстро и без лишней суеты.

 

скажите а ваша программа парсит относительные ссылки сайта например
<a href="./page.html">Страница</a>
URL такого вида ./page.html
пробовал Xenu не берет такие ссылки