2gis-Парсер [I-Soft Bizness]

Складчина: 2gis-Парсер [I-Soft Bizness]

Модуль для сбора фирм с крупнейшего портала организаций 2gis.ru. 2гис – это огромный справочник предприятий содержащий более 2 миллионов фирм в 100 крупнейших городах России, Украины и Казахстана.
Для сбора фирм осуществлен удобный функционал из админки каталога.


Сбор осуществляется тремя возможными способами:
- через API c с помощью ключа
- напрямую с помощью клиентской библиотеки php Curl

- напрямую с помощью клиентской библиотеки php Curl, через прокси-сервер

Спойлер

При сборе последовательно указывается город, рубрика и подрубрика в каталоге 2gis.ru, после чего можно указать страну/город, область, категории собственного каталога организаций. Затем запустить процесс на стадии тестирования или импорта. Процесс отключается во время сбора, если сбор не обнаружит необходимого ответа при получении ссылок на профиле фирмы и количество фирм. Причиной откючения процесса может служить сбой в работе прокси-сервера, сбой на сайте 2гис, либо блокировка по ip. Режим блокировки можно обойти используя прокси.
В настройках прокси указывается ip и порт, а также логин и пароль при использовании элитных прокси. Не рекомендуется использовать прокси, если у Вас есть все возможности собирать данные без него, так как это существенно нагрузит сервер, а сбои в работе прокси могут привести к неожиданным результатам: некоторые организации могут быть не собраны, либо собраны повторно. Вследствие этого если уж Вы используете прокси, то используйте элитные и проверенные прокси-сервера.


Использование API более рационально. API предоставляют данные в значительно более легкой форме, что значительно меньше грузит систему. Тем не менее, ключ может часто блокироваться, что способно создать определенные неудобства, в тоже и Ваш IP также может попасть в черный список 2gis.ru и быть заблокирован.

Движок: I-Soft Bizness
Продажник: