Verification: a143cc29221c9be0

Parse config file in php

Parse config file in php

Перед установкой#

Перед установкой необходимо выполнить следующие действия:

  1. В Личном кабинете проверьте верно ли прописан ваш IP-адрес (для пользователей у которых динамический IP-адрес, требуется менять IP-адрес при смене на новый) img
  2. Перейдите во вкладку A-Parser - Загрузки
  3. Перед скачиванием необходимой версии, следует предварительно нажать Обновить, для обновления до последней версии A-Parser img

A-Parser Release - стабильная версия A-Parser, подробнее о выходе новых версий можно прочитать в разделе новости

A-Parser Beta - промежуточная версия A-Parser, которая постоянно дополняется, подробнее об изменениях можно прочитать на форуме в разделе Next Release

Установка A-Parser#

⏩ Видео A-Parser: установка, запуск и обновление#

Установка на Windows#

После того как вы выполните этап Перед установкой необходимо скачать архив программы и разархивировать в нужную вам папку(можно в любую папку, даже на рабочий стол)

imgimg

Зайдите в папку aparser и запустите aparser.exe

img

Первый запуск может занять продолжительное время, от 30 секунд до нескольких минут. После появления окна сервера, откройте в браузере http://127.0.0.1:9091/

Пароль по умолчанию пустой. Просто нажмите кнопку Login, после чего появится веб-интерфейс А-Парсера

Устранение проблем#

Несовместимые программы#

Известны проблемы с совместимостью со следующими антивирусами и программами:

  • Norton Internet Security - возможна нестабильная работа парсера
  • Emsisoft Anti-Malware - возможна нестабильная работа парсера
  • Guard Mail.ru - необходимо полностью удалить из системы
  • HTTPDebugger - прерывает работу A-Parser через 2 часа после запуска
Отключение службы индексации Windows#

Служба индексации может блокировать доступ к файлам в процессе работы A-Parser. Если парсер не запускается или падает в процессе работы, необходимо просмотреть лог A-Parser'а aparser.log на наличие следующих записей:

Для отключения службы индексации выполните следующие действия:

  1. открываем Управление службами: Пуск - Выполнить или сочетание клавиш Win + R, вводим services.msc
  2. в открывшемся окне выбираем Windows Search, нажимаем правую кнопку мыши и выбираем Свойства
  3. в окне свойств на вкладке Общие меняем Тип запуска на Отключена и нажимаем Применить
  4. если после этого кнопка Остановить активна - нажимаем ее и останавливаем службу img
Ошибка при обновлении дистрибутива#

В некоторых случаях Windows может блокировать доступ к файлам дистрибутива A-Parser, в этом случае в логе aparser.log будет следующая запись:

Для решения проблемы:

  • убедитесь что в диспетчере задач нет зависших процессов aparser.exe или aparser-node.exe
  • удалите папку dist в каталоге A-Parser, если Windows сообщает об ошибке удаления - переименуйте папку dist в dist_

Установка на MacOS#

На текущий момент установка на MacOS возможна с использованием Docker

Установка на Linux#

Мы рекомендуем использовать docker или docker-compose для установки A-Parser на Linux, для классической установке следуйте данной инструкции

Для удобства скачивания с сервера реализованы временные ссылки, в Личном кабинете необходимо нажать Get one-time link - по полученной ссылке можно один раз скачать дистрибутив

caution

A-Parser реализует свой собственный веб-сервер, поэтому выбирайте для установки директорию без веб доступа

Получите временную ссылку для скачивания нажав на кнопку Get one-time link, в терминале переходим в директорию для установки(например ~/) и выполняем следующие команды:

Первый запуск может занять продолжительное время, от 30 секунд до нескольких минут. После появления окна сервера, откройте в браузере http://127.0.0.1:9091/, вы также можете перейти в A-Parser используя публичный IP адрес сервера

Пароль по умолчанию пустой. Просто нажмите кнопку Login, после чего появится веб-интерфейс А-Парсера

caution

Обратите внимание что по умолчанию A-Parser доступен на всех интерфейсах. Рекомендуем установить надеждный пароль и по необходимости ограничить доступ используя iptables

Устранение проблем#

Иногда на сервере может не хватать каких то библиотек, например:

Необходимо установить недостающие библиотеки:

И заново запускаем апарсер:

Если не выдается никаких сообщений - это свидетельствует об успешном запуске A-Parser, убедиться можно командой tail -f aparser.log

Тюнинг Linux для большего числа потоков#

По умолчанию Linux лимитирует количество открытых файлов и сокетов до 1024 на пользователя, чтобы увеличить лимит выполните следующие команды:

Если вы запускаете парсер не под root, а под другим пользователем, то замените root на имя пользователя

Так же необходимо увеличить размер таблицы ip_conntrack:

При отсутствии фаервола iptables на эту команду выведется ошибка - просто проигнорируйте её

Необходимо перезайти в терминал(ssh), после чего перезапустить A-Parser. Для проверки текущего лимита необходимо выполнить

На некоторых системах дополнительно требуется прописать в файл /etc/pam.d/common-session следующую строчку:

Установка на FreeBSD#

На текущий момент эмулятор Linux для FreeBSD неспособен стабильно работать с A-Parser

Структура файлов установленной программы#

img

Структура рабочего каталога A-Parser:

Файл Описание
config Каталог с конфигурационными файлами, рекомендуем делать бекап перед обновлением A-Parser
dist Каталог с дистрибутивом A-Parser, включает NodeJS и другие дополнительные модули
files/proxy Каталог с настройками прокси-чекеров
files/parsers Каталог содержит исходные коды JavaScript парсеров, которые были созданы или импортированы пользователем
logs Логи выполнения заданий
queries Каталог с запросами для парсеров
results Каталог результатов парсинга
tmp Временный каталог
.htaccess Конфигурационный файл веб-сервера apache для защиты рабочего каталога от веб-доступа
aparser.exe или aparser Исполняемый файл A-Parser
aparser.log Лог работы A-Parser, основной способ диагностики текущего состояния и возможных ошибок

img

Структура каталога config:

Файл Описание
tasks Каталог с файлами заданий(рабочих и завершенных)
unique Каталог с файлами уникализаций
config.db Основной файл конфигурации, в котором хранятся настройки и пресеты
queue.db Файл с данными очереди заданий
scheduler.db Файл с данными планируемых заданий
config.txt Дополнительный файл конфигурации, детальнее...
tip

Для отображения расширений файлов в операционной системе Windows включите следующую настройку:

img

Начальная настройка#

img

Приступая к работе с A-Parser'ом необходимо предварительно его настроить под себя

  • Пароль - пароль по умолчанию задан пустой, в меню Настройки-> Общие настройки вы можете создать новый пароль для входа в систему.
  • Language - возможность выбора языка интерфейса, новостей и подсказок - доступны русский и английский язык.
  • Проверять обновления и канал обновлений - уведомления о выходе новых версий парсера. Канал обновлений позволяет выбрать между стабильной версией и бета версией.

Настройка остальных опцией описана в разделе Общие настройки

Сброс пароля#

Сбросить пароль доступа к парсеру можно запустив его из командной строки с опцией -resetpassword

Для Windows:

Для Linux:

Пароль будет сброшен на пустой, для входа в A-Parser просто нажмите Login

Обновление A-Parser#

Обновление через интерфейс#

Выбрать Канал обновления в Общих настройках:

img

В меню Инструменты перейти во вкладку Обновить A-Parser:

img

Выберите файлы для обновления, A-Parser будет перезапущен:

img

caution

Внимание! Если не указано иное, то достаточно обновить только исполняемый файл(aparser.exe или aparser)

Ручное обновление на Windows#

В общем случае достаточно заменить исполняемый файл парсера.

  • Останавливаем A-Parser - нажимаем Stop server
  • Скачиваем с Личном кабинете архив и перезаписываем aparser.exe
  • Запускаем aparser.exe

Ручное обновление на Linux#

  • Останавливаем A-Parser - в консоли выполняем killall aparser
  • Скачиваем с Личном кабинете архив и перезаписываем файл aparser
  • Запускаем aparser - в консоли выполняем ./aparser

Обновление с использованием одноразовой ссылки#

Установка одной лицензии на несколько компьютеров#

Каждую лицензию можно использовать одновременно только на одном ПК/сервере. При этом, имея одну лицензию, не запрещается устанавливать А-Парсер сразу на несколько компьютеров. Но в этом случае, А-Парсер можно будет запустить только на том ПК/сервере, IP которого прописан в Личном кабинете

Примером такого использования может быть рабочий ПК и домашний ноутбук: парсер можно установить на обеих машинах, а использовать либо на рабочем ПК, либо на домашнем ноутбуке. Количество изменений IP в Личном кабинете неограничено, но не рекомендуется это делать более 5 раз в сутки, т.к. в противном случае может потребоваться подтвердить отсутствие мошеннических действий.

Для одновременной работы A-Parser на нескольких компьютерах или серверах выполните следующие действия:

  1. Добавьте дополнительные лицензии
  2. В Личном кабинете перейдите на вкладку A-Parser - Настройка IP
  3. Впишите IP-адреса дополнительных компьютеров