База Email-адресов всех RU-сайтов: 2,3 млн. e-mail

Складчина: База Email-адресов всех RU-сайтов: 2,3 млн. e-mail

​

Время сбора базы: 10.03 – 18.03.2018.

База собиралась при тестирования собственного парсера на ZennoPoster. Парсер присутствует в соседней складчине:
[ZennoPoster] Парсер Email с сайтов (многопоток, Get-запросы, паук)

Парсилась главная страница + дополнительно список из 30 шт. внутренних страниц. При формировании списка парсер отдает приоритет страницам с признаками «контакты \ о нас \ связь» … и т.д.
В качестве источника брались ссылки главной страницы всех существующих *.RU-сайтов (в доменной зоне *.ru). На 10.03.2018 их там было 5 305 046.

Сейчас в базе:
1 467 075 сайтов с почтовыми адресами (на некоторых нашло больше 1 адреса).
2 399 966 уникальных почтовых ящиков (после очистки дублей проверял).

База поставляется в виде двух файлов (второй файл просто для удобства):
1. Текстовая CSV-таблица (1 467 075 строк, 106 Мегабайт) в формате:
Урл сайта;email1, email2, email3…
2. Просто текстовый файл-список всех email с базы без дубликатов (2 399 966 строк, 48 Мегабайт).

Пример случайной выборки из базы на 10 000 строк:

Обновления НЕ планируются.

Обновляемая статус-картинка с последней актуальной информацией темы:

UPD:
Отзывы
​

 

@orka13 Что требуется для проверки? Я готов
И что означает твое "всех RU-сайтов" ?
Не слишком громкое заявление?

 

Да про требования я не подумал. Я не занимаюсь пока рассылкой, и конечно хотелось бы чтобы попался проверяющий, который сможет сразу рассылкой по этой базе пройтись, но хз найдутся ли такие. Отдам пока вам, но второго и следующего проверяющего ждем уже с инструментами для рассылки. Дописал это в картинку в стартпосте.

А заявление не шумное. В открытых базах регистраторов сейчас числится ~5 млн доменов зоне RU. Я их ВСЕХ пропарсил, это заявлено в старпосте.

UPD: картинка там все-равно кешируется, так что хз получится ли в будущем обновить нормально...

 

А по нишам бизнеса базу невозможно будет разбить?

 

Отзыв.

Свой уровень владения информацией и навыками: в данной области вы: новичок, теоретик либо опытный практик?
Практик.

В каком виде предоставлен материал и насколько удобно он оформлен?
Материал предоставлен в виде lde[ тхт и csv документов, запакованных в архив ZIP 51,7 мб.

Сколько времени заняло изучение и выполнение заданий данного инфопродукта?
Проверка много времени не заняла. Открыть файл и в рандомном порядке проверить десяток ссылок, соответствие и наличие почт дело простое.

Насколько легко усваивается материал, вызвал ли он какие-либо затруднения при проверке?
Никаких затруднений не было.

Нужны ли специальные навыки и дополнительные материальные вложения?
Специальных навыков не нужно, как и вложений. Автор посоветовал для работы с крупными файлами-таблицами программу EmEditor. Она платная. Можно, при желании, обойтись без вложений, как вы понимаете. Возможно, есть бесплатные аналоги - не искал.

Оказывал ли автор должную поддержку в процессе проверки?
Совет по использованию EmEditor очень помог. В остальном вопросов не возникло.

Каковы в целом общие впечатления о компетентности автора?
Автор компетентен.

Материал полностью соответствует заявленному автором описанию и пригоден для проведения складчины.

 

Отзыв.

Свой уровень владения информацией и навыками: в данной области вы: новичок, теоретик либо опытный практик?
Практик. Сам собираю и рассылаю переодически

В каком виде предоставлен материал и насколько удобно он оформлен?
Материал предоставлен в виде архива, внутри тхт и csv файлы.

Сколько времени заняло изучение и выполнение заданий данного инфопродукта?
Изучение много времени не заняло. Проверял в выборочном порядке, несколько десятков ссылок на сайты, и наличие адресов на них и несколько внутренних страниц.

Насколько легко усваивается материал, вызвал ли он какие-либо затруднения при проверке?
Затруднений не возникло, усваивается легко.

Нужны ли специальные навыки и дополнительные материальные вложения?
Не нужно. Автор рекомендует работать с крупными таблицами программой EmEditor (дает направления где взять). Excel имеет ограничения.

Оказывал ли автор должную поддержку в процессе проверки?
Все рекомендации даны автором лично. Остальных вопросов не было.

Каковы в целом общие впечатления о компетентности автора?
Компетентен.

Материал полностью соответствует заявленному автором описанию и пригоден для проведения складчины.

 

@orka13
Кнопка хорошая, но она теряет заголовки столбцов. Есть решение? В EmEditor можно закрепить первую строку, как в Excel?

 

До сегодняшнего дня не интересовался, но покликав кнопочками нашел:
В панели "Фильтр" последняя кнопка "Заголовок" > "Заголовок 1".

 

@orka13, если 3 лот для проверяющий свободен, готов проверять!

 

Отзыв.

Свой уровень владения информацией и навыками: в данной области вы: новичок, теоретик либо опытный практик?
Практик. Сам собираю и рассылаю частенько.

В каком виде предоставлен материал и насколько удобно он оформлен?
Материал предоставлен в виде архива (ZIP 51,7 мб.), внутри тхт и csv файлы.

Сколько времени заняло изучение и выполнение заданий данного инфопродукта?
Изучение много времени не заняло. Открыл файл OpenOffice Calc, но сей програ имеет ограничения 1 048 576 срок. Этого достаточно была для проверки, выборочно брал емайлы и сайты.

Насколько легко усваивается материал, вызвал ли он какие-либо затруднения при проверке?
Без проблем и легко усваивается материал.

Нужны ли специальные навыки и дополнительные материальные вложения?
Не нужно. Автор рекомендует работать с крупными таблицами программой EmEditor (дает направления где взять). Excel имеет ограничения. Как написал выше можно открыть OpenOffice Calc-ом она бесплатная, но при желания можно EmEditor ставить.

Оказывал ли автор должную поддержку в процессе проверки?
Автор дал рекомендацию, но вопросов не возникло.

Каковы в целом общие впечатления о компетентности автора?
Компетентен.

 

тут меня складчики подгоняют, так что надеюсь в ближайшие дни начнем сбор. Три отзыва готовы, жду ответа организатора.

 

@orka13
Слушай, а как в EmEditor отфильтровать сразу несколько категорий? Например рестораны, стоматологии, парикмахерские, пекарни и адвокатов, одним разом. Если я знаю точные названия рубрик, то как их грамотно указать в фильтре программы?

 

Так в этой складчине нет никаких разделов в отчетах, вы спрашивайте в той складчине где они встречаются

 

Могу оргнуть, если нет орга.

 

Спс, пока еще жду ответа. Очередь на проверку вот так выглядит (по дате):
Vietnam (занят ближайшие дни) > Аллекс2014 > grechca

 

@orka13
Хорошо, переформулируем вопрос, мне надо отфильтровать за один раз. Строки с такими вхождениями почт: info@, support@, admin@, webmaster@ и order@. Как это сделать в EmEditor?

 

А что разве проблема сделать это в нотпаде?
С уважением.

 

@simak84
EmEditor в плане работы с такой базой, более продвинутый. Если вы знаете, как это удобно сделать в Notepad++, то напишите.

 

Спасибо, а где их изучают?

 

По регионам как-то можно отсортировать сайты/мейлы здесь или там?
Для того, чтобы предложить услуги, нужны локализованные адресаты для рассылки, а не вся РФ