Закрыто

База Email-адресов всех RU-сайтов: 2,3 млн. e-mail

Тема в разделе "Бизнес и свое дело", создана пользователем orka13, 19 мар 2018.

Цена: 6259р.
Взнос: 250р.
57%

Основной список: 54 участников

Резервный список: 7 участников

Статус обсуждения:
Комментирование ограничено.
  1. 19 мар 2018
    #1
    orka13
    orka13 ЧКЧлен клуба (А)

    Складчина: База Email-адресов всех RU-сайтов: 2,3 млн. e-mail

    [​IMG]

    Время сбора базы:
    10.03 – 18.03.2018.

    База собиралась при тестирования собственного парсера на ZennoPoster. Парсер присутствует в соседней складчине:
    [ZennoPoster] Парсер Email с сайтов (многопоток, Get-запросы, паук)

    Парсилась главная страница + дополнительно список из 30 шт. внутренних страниц. При формировании списка парсер отдает приоритет страницам с признаками «контакты \ о нас \ связь» … и т.д.
    В качестве источника брались ссылки главной страницы всех существующих *.RU-сайтов (в доменной зоне *.ru). На 10.03.2018 их там было 5 305 046.

    Сейчас в базе:
    1 467 075 сайтов с почтовыми адресами (на некоторых нашло больше 1 адреса).
    2 399 966 уникальных почтовых ящиков (после очистки дублей проверял).

    База поставляется в виде двух файлов (второй файл просто для удобства):
    1. Текстовая CSV-таблица (1 467 075 строк, 106 Мегабайт) в формате:
    Урл сайта;email1, email2, email3…
    2. Просто текстовый файл-список всех email с базы без дубликатов (2 399 966 строк, 48 Мегабайт).

    Пример случайной выборки из базы на 10 000 строк:


    Обновления НЕ планируются.

    Обновляемая статус-картинка с последней актуальной информацией темы:
    UPD:
    Отзывы
    [​IMG] [​IMG] [​IMG]
     
    Последнее редактирование модератором: 24 апр 2018
    6 пользователям это понравилось.
  2. Последние события

    1. skladchik.com
      Складчина закрыта.
      7 окт 2019
    2. Hustler35
      Hustler35 участвует.
      5 окт 2019
    3. пятница 13
      пятница 13 участвует.
      27 июн 2019
    4. Valavin
      Valavin участвует.
      20 июн 2019

    Последние важные события

    1. skladchik.com
      Складчина закрыта.
      7 окт 2019
    2. skladchik.com
      Складчина доступна.
      28 июл 2018
    3. skladchik.com
      Складчина закрыта.
      10 июн 2018
    4. skladchik.com
      Складчина доступна.
      31 май 2018
  3. Отзывы участников

    5/5,
    • 5/5,
      Работой организатора доволен
      Быстрая выдача, оплатил — получил. Доволен организацией. Внутри действительно сайты и найденные на них почты. Спасибо, хорошая работа! Рекомендую к участию.
      14 май 2018
      2 пользователям это понравилось.
  4. Обсуждение
  5. 19 мар 2018
    #2
    Vietnam
    Vietnam ДолжникДолжник
    @orka13 Что требуется для проверки? Я готов :)
    И что означает твое "всех RU-сайтов" ?
    Не слишком громкое заявление? :rolleyes:
     
    1 человеку нравится это.
  6. 20 мар 2018
    #3
    orka13
    orka13 ЧКЧлен клуба (А)
    Да про требования я не подумал. Я не занимаюсь пока рассылкой, и конечно хотелось бы чтобы попался проверяющий, который сможет сразу рассылкой по этой базе пройтись, но хз найдутся ли такие. Отдам пока вам, но второго и следующего проверяющего ждем уже с инструментами для рассылки. Дописал это в картинку в стартпосте.

    А заявление не шумное. В открытых базах регистраторов сейчас числится ~5 млн доменов зоне RU. Я их ВСЕХ пропарсил, это заявлено в старпосте.

    UPD: картинка там все-равно кешируется, так что хз получится ли в будущем обновить нормально...
     
    2 пользователям это понравилось.
  7. 20 мар 2018
    #4
    hunterDartMoul
    hunterDartMoul ЧКЧлен клуба
    А по нишам бизнеса базу невозможно будет разбить?
     
  8. 22 мар 2018
    #5
    Аллекс2014
    Аллекс2014 ОргОрганизатор
    Отзыв.

    Свой уровень владения информацией и навыками: в данной области вы: новичок, теоретик либо опытный практик?

    Практик.

    В каком виде предоставлен материал и насколько удобно он оформлен?
    Материал предоставлен в виде lde[ тхт и csv документов, запакованных в архив ZIP 51,7 мб.

    Сколько времени заняло изучение и выполнение заданий данного инфопродукта?
    Проверка много времени не заняла. Открыть файл и в рандомном порядке проверить десяток ссылок, соответствие и наличие почт дело простое.

    Насколько легко усваивается материал, вызвал ли он какие-либо затруднения при проверке?
    Никаких затруднений не было.

    Нужны ли специальные навыки и дополнительные материальные вложения?
    Специальных навыков не нужно, как и вложений. Автор посоветовал для работы с крупными файлами-таблицами программу EmEditor. Она платная. Можно, при желании, обойтись без вложений, как вы понимаете;). Возможно, есть бесплатные аналоги - не искал.

    Оказывал ли автор должную поддержку в процессе проверки?
    Совет по использованию EmEditor очень помог. В остальном вопросов не возникло.

    Каковы в целом общие впечатления о компетентности автора?
    Автор компетентен.

    Материал полностью соответствует заявленному автором описанию и пригоден для проведения складчины.
     
    2 пользователям это понравилось.
  9. 28 мар 2018
    #6
    Vietnam
    Vietnam ДолжникДолжник
    Отзыв.

    Свой уровень владения информацией и навыками: в данной области вы: новичок, теоретик либо опытный практик?

    Практик. Сам собираю и рассылаю переодически

    В каком виде предоставлен материал и насколько удобно он оформлен?
    Материал предоставлен в виде архива, внутри тхт и csv файлы.

    Сколько времени заняло изучение и выполнение заданий данного инфопродукта?
    Изучение много времени не заняло. Проверял в выборочном порядке, несколько десятков ссылок на сайты, и наличие адресов на них и несколько внутренних страниц.

    Насколько легко усваивается материал, вызвал ли он какие-либо затруднения при проверке?
    Затруднений не возникло, усваивается легко.

    Нужны ли специальные навыки и дополнительные материальные вложения?
    Не нужно. Автор рекомендует работать с крупными таблицами программой EmEditor (дает направления где взять). Excel имеет ограничения.

    Оказывал ли автор должную поддержку в процессе проверки?
    Все рекомендации даны автором лично. Остальных вопросов не было.

    Каковы в целом общие впечатления о компетентности автора?
    Компетентен.

    Материал полностью соответствует заявленному автором описанию и пригоден для проведения складчины.
     
    2 пользователям это понравилось.
  10. 5 апр 2018
    #7
    intelligent man
    intelligent man ОргОрганизатор
    @orka13
    Кнопка хорошая, но она теряет заголовки столбцов. Есть решение? :) В EmEditor можно закрепить первую строку, как в Excel?
     
  11. 5 апр 2018
    #8
    orka13
    orka13 ЧКЧлен клуба (А)
    До сегодняшнего дня не интересовался, но покликав кнопочками нашел:
    В панели "Фильтр" последняя кнопка "Заголовок" > "Заголовок 1".
     
    1 человеку нравится это.
  12. 8 апр 2018
    #9
    grechca
    grechca БанЗабанен
    @orka13, если 3 лот для проверяющий свободен, готов проверять!
     
    1 человеку нравится это.
  13. 10 апр 2018
    #10
    grechca
    grechca БанЗабанен
    Отзыв.

    Свой уровень владения информацией и навыками: в данной области вы: новичок, теоретик либо опытный практик?

    Практик. Сам собираю и рассылаю частенько.

    В каком виде предоставлен материал и насколько удобно он оформлен?
    Материал предоставлен в виде архива (ZIP 51,7 мб.), внутри тхт и csv файлы.

    Сколько времени заняло изучение и выполнение заданий данного инфопродукта?
    Изучение много времени не заняло. Открыл файл OpenOffice Calc, но сей програ имеет ограничения 1 048 576 срок. Этого достаточно была для проверки, выборочно брал емайлы и сайты.

    Насколько легко усваивается материал, вызвал ли он какие-либо затруднения при проверке?
    Без проблем и легко усваивается материал.

    Нужны ли специальные навыки и дополнительные материальные вложения?
    Не нужно. Автор рекомендует работать с крупными таблицами программой EmEditor (дает направления где взять). Excel имеет ограничения. Как написал выше можно открыть OpenOffice Calc-ом она бесплатная, но при желания можно EmEditor ставить.

    Оказывал ли автор должную поддержку в процессе проверки?
    Автор дал рекомендацию, но вопросов не возникло.

    Каковы в целом общие впечатления о компетентности автора?
    Компетентен.
     
    3 пользователям это понравилось.
  14. 24 апр 2018
    #11
    orka13
    orka13 ЧКЧлен клуба (А)
    тут меня складчики подгоняют, так что надеюсь в ближайшие дни начнем сбор. Три отзыва готовы, жду ответа организатора.
     
    Последнее редактирование модератором: 24 апр 2018
    1 человеку нравится это.
  15. 24 апр 2018
    #12
    intelligent man
    intelligent man ОргОрганизатор
    @orka13
    Слушай, а как в EmEditor отфильтровать сразу несколько категорий? Например рестораны, стоматологии, парикмахерские, пекарни и адвокатов, одним разом. Если я знаю точные названия рубрик, то как их грамотно указать в фильтре программы?
     
  16. 24 апр 2018
    #13
    orka13
    orka13 ЧКЧлен клуба (А)
    Так в этой складчине нет никаких разделов в отчетах, вы спрашивайте в той складчине где они встречаются :)
     
  17. 24 апр 2018
    #14
    grechca
    grechca БанЗабанен
    Могу оргнуть, если нет орга.
     
    1 человеку нравится это.
  18. 24 апр 2018
    #15
    orka13
    orka13 ЧКЧлен клуба (А)
    Спс, пока еще жду ответа. Очередь на проверку вот так выглядит (по дате):
    Vietnam (занят ближайшие дни) > Аллекс2014 > grechca
     
    Последнее редактирование модератором: 24 апр 2018
  19. 24 апр 2018
    #16
    intelligent man
    intelligent man ОргОрганизатор
    @orka13
    Хорошо, переформулируем вопрос, мне надо отфильтровать за один раз. Строки с такими вхождениями почт: info@, support@, admin@, webmaster@ и order@. Как это сделать в EmEditor?
     
  20. 24 апр 2018
    #17
    simak84
    simak84 ЧКЧлен клуба
    А что разве проблема сделать это в нотпаде?
    С уважением.
     
  21. 24 апр 2018
    #18
    intelligent man
    intelligent man ОргОрганизатор
    @simak84
    EmEditor в плане работы с такой базой, более продвинутый. Если вы знаете, как это удобно сделать в Notepad++, то напишите.
     
  22. 24 апр 2018
    #19
    intelligent man
    intelligent man ОргОрганизатор
    Спасибо, а где их изучают? :)
     
  23. 24 апр 2018
    #20
    Mozgovik
    Mozgovik ЧКЧлен клуба
    По регионам как-то можно отсортировать сайты/мейлы здесь или там?
    Для того, чтобы предложить услуги, нужны локализованные адресаты для рассылки, а не вся РФ
     
Статус обсуждения:
Комментирование ограничено.