Кол-во повторных попыток загрузки страниц

В процессе сбора статистики могут возникать различные сетевые ошибки: временная недоступность сервиса, внутренняя ошибка сервиса, нестабильное подключение к сети, нестабильная работа прокси-серверов и др.

Программа может выполнять повторные запросы в случае возникновения подобных сетевых ошибок. Здесь вы можете ограничить максимальное количество повторных попыток.

Таймаут сетевого ожидания

При обращении к сервису или прокси-серверу программа ожидает ответ в течение ограниченного периода времени. По истечении времени ожидания если ответ так и не был получен, возникает сетевая ошибка таймаута.

Здесь вы можете ограничить максимальное время ожидания ответа при выполнении запросов.

Не используйте слишком маленькие таймауты, т.к. обработка запросов может занимать время, и программа просто не будет дожидаться результатов, хотя сервис и прокси-серверы могут работать корректно.

Кэш и cookie

В процессе сбора статистики программа вынуждена принимать и обрабатывать данные cookie для корректного взаимодействия с сервисами. Хранение данных cookie и кэша также позволяет сократить время загрузки данных.

Программа использует собственные изолированное хранилище cookie (оно не зависит от работы любых браузеров, установленных на ПК).

Иногда возникают ситуации, когда для корректной работы алгоритма требуется сбросить данные cookie и кэш. В этом случае необходимо воспользоваться кнопками в этом блоке настроек.

Использовать прокси-серверы

Это главная опция, отвечающая за использование прокси-серверов в процессе сбора статистики.

Если опция выключена, в общем случае прокси-серверы не используются, если это не предусмотрено исключительными ситуациями.

Например, к аккаунтам Яндекс могут быть явным образом указаны статические прокси-серверы, которые используются совместно с данными аккаунтами вне зависимости от любых сетевых настроек на данной вкладке.

Если опция включена, при запуске той или иной задачи по ее запросу программа выдает список разрешенных к использованию и отмеченных (активных) прокси-серверов.

Исключать прокси-сервер из локальной очереди, если встречено несколько ошибок подряд

При запуске задачи по запросу программа выдает задаче для использования набор разрешенных для данной задачи прокси-серверов. Задача складывает полученный набор в локальную очередь.

В дальнейшем при выполнении запросов рабочие потоки задачи запрашивают прокси-серверы из этой локальной очереди. Как правило, прокси-серверы выдаются поочередно, равномерно.

Если запросы через какой-либо прокси-серверы несколько раз подряд заканчиваются с сетевыми ошибками, программа может исключить этот прокси-сервер из локальной очереди. Исключенный прокси-сервер уже не будет выдан для выполнения запроса до следующего перезапуска процесса сбора.

Лимит капчи для задачи

В дополнении к исключению прокси-серверов из локальной очереди прокси-серверов при сетевых ошибках программа также может исключать прокси-серверы, если через них было получено определенное количество капчи.

Не устанавливайте слишком низкий порог по капче, т.к. капча — это вариант нормы. Неправильно установленный низкий порог приведет к преждевременному исключению хороших прокси-серверов.

Таблица прокси-серверов

В таблице прокси-серверов пользователь может просматривать и редактировать параметры доступа к прокси-серверам. Прокси-серверы могут быть распределены по группам (в таблице отображаются данные текущей выбранной группы).

Например, в одной группе могут храниться выделенные IPv4 прокси-серверы для работы со сложными и требовательными задачами, а в другой — большой набор недорогих IPv6 прокси-серверов для выполнения иных задач с иными задержками между запросами и кол-вом потоков.

При работе используются только отмеченные в таблице (активные) прокси-серверы. Цвет строки (красный или зеленый) зависит от статуса отметки и является лишь визуальным помощником.

Как вносить данные прокси-серверов?

Нажмите кнопку для добавления списка прокси и введите прокси-серверы в одном из предложенных форматов. Альтернативно можно вводить прокси-серверы в строке поштучного добавления с нажатием клавиши Enter.

В результате добавления в таблицу должны добавить отдельные строки для каждого из введенных прокси-серверов.

Адрес прокси (в виде IP-адреса) должен попасть в колонку "Адрес", порт прокси — в колонку "Порт". Если доступ к прокси-серверу защищен паролем, в колонках "Логин" и "Пароль" должны быть введены корректные данные для авторизации.

Для массового редактирования параметров прокси-серверов в колонке можно пользоваться специальными пунктами в контекстном меню заголовков колонок таблицы.

Ограничения использования

Вы можете разрешить и запретить прокси-серверам из разных групп быть использованными при выполнении тех или иных задач.

Будьте внимательные при составлении правил использования прокси-серверов!