[opencart] (Повтор) Парсер-менеджер товаров с торговых площадок 1.5.0

Складчина: [opencart] (Повтор) Парсер-менеджер товаров с торговых площадок 1.5.0

Скидываемся на базовую версию 1.5 - 1.6, и дополнительно для 2.х​

Модуль Парсер-менеджер товаров с торговых площадок



Предназначен для обновления и добавления товаров с торговых площадок:

• Яндекс-маркет(категории электроника, бытовая техника, компьютеры и некоторые дугие)
• Hotline.ua
• Onliner.by

Возможности:

• Добавление, обновление товаров .
• Автоматический поиск товара на сайте-доноре по названию товара или модели.
• Сохранение постоянных ссылок на товары с сайта донора, для дальнейшего использования ссылки.
• Гибкое использование фильтров для поиска редактируемых товаров, по отсутствию характеристик, описания, цены, изображения или целой категории товаров.
• Возможность выбора данных для обновления, данные указываются для каждого источника, с одного можно парсить атрибуты с другого, цену, описание и тд.
• Возможность дополнять или заменять данные в товарах.
• Использование прокси-сервера или указание целого листа с прокси-серверами. С последующей проверкой доступности сайта –донора (Яндекс.Маркет ). После проверки прокси сортируются по времени доступа.
• Контроль при парсинге нескольких товаров, если произошло прерывание парсинга из-за обрыва, таймаута, их можно допарсить позже.
• Подробный лог парсинга.

Внимание! Необходима библиотека CURL в PHP.

Спойлер: Скриншот из 1.6 версии

Установка:

Спойлер

Установка:
Копирование в корень магазина. После запуска модуля создастся две таблицы в БД, одна для хранения ссылок на товары, другая для хранения ссылок при парсинге нескольких товаров.
Желательно добавить в файл admin/model/catalog/product.php в функции deleteProduct() строку

$this->db->query("DELETE FROM " . DB_PREFIX . "parser_urls WHERE product_id = '" . (int)$product_id . "'");

Для удаления ссылок при удалении товара.
Если модуль удаляется эту строку тоже нужно удалять.

Принцип работы модуля:

Спойлер

После установки модуля необходимо сделать первоначальные настройки для парсера и для сайтов-доноров, указывается сайт источник.
Обязательно нажать «Сохранить». После настроек модуль готов к работе. Будут показаны товары, указанные в фильтре, или все если фильтр не используется.

Обновление товаров.
Для поиска товара необходимо нажать «Поиск» и будет произведен поиск товара по названию или модели. В появившемся списке товаров выбирается нужный, после чего ссылка на товар постоянно запомнится в парсере. Если поиск не дал результатов, можно ввести прямую ссылку на товар, скопировав ее с сайта источника. Для этого нужно нажать «+». Также есть возможность поиска товара по произвольному запросу(не по названию товара или модели). Для это нужно нажать «Ввести запрос» и ввести в поле, что необходимо найти.
После появления ссылки с строке товара, товар можно парсить, есть возможность указать новую цену для товара, предварительно убрав галочку «Заменять цену» в настройках .
Также возможен парсинг нескольких товаров, для этого нужно выбрать товары и нажать «Парсить все». Будут спарсены товары у которых есть ссылки.

ВАЖНО! Парсинг нескольких товаров может быстро привести к бану, в особенности Яндексом, поэтому используйте эту функцию, если имеете прокси-сервера.

При использовании фильтров по пустым атрибутам, изображениям и тд., после парсинга данных значений они не будут отображаться в парсере.

Добавление новых товаров.
Товары будут добавляться с выбранного сайта-источника. Для поиска товара надо нажать «Найти товар», можно сразу ввести прямую ссылку, нажав «+». После появления ссылки, можно парсить товар, нажав «Добавить товар». Для новых товаров можно указать категорию для отображения.

Обновления:

Спойлер

Обновление 10.03.2016
1. Убраны предупреждения c preg_replace
2. Адаптирован для мультиязыков

Обновление 04.05.2016
1. Добавлен выбор для замены seo

Обновление 13.06.2016
1. Исправлен парсинг с hotline
2. Добавлен донор m.ua
3. Добавлено в настройки: ввод слов, которые нужно убрать из названия, вводятся через разделитель (Смартфон; Телевизор; Монитор)

Обновление 27.04.2016
1. Исправлен парсинг с онлайнера
2. Сделана проверка прокси листа для каждого донора отдельно
3. Добавлено поле для получения User-agent из браузера, для большей имитации браузера

Частичный повтор (там - без 2.х версии):

Код:

https://v21.skladchik.org/threads/92123/