Настройки — Парсинг — Яндекс — SERP
В этой панели собраны настройки, относящиеся к работе с поисковой выдачей Яндекс.
Задержки между запросами
Здесь можно указать задержки, выполняемые каждым потоком между запросами к поисковой системе.
Кол-во потоков
Здесь вы можете задать максимальное кол-во потоков при работе с поисковой выдачей. Указывается именно общее кол-во потоков, а не для каждого прокси-сервера.
При этом если вы исследуете всего 2 запроса, но в настройках задано 5 потоков, то будут запущены только 2 потока, т.к. для остальных просто не останется задач для обработки.
Количество результатов на странице
Здесь указывается по сколько результатов на странице поиска вы хотите запрашивать у поисковой системы.
Выбор нестандартного увеличенного кол-ва — это всегда компромисс, т.к. с одной стороны для глубинного исследования выдачи потребуется совершить меньше запросов, но с другой — выдача может отличаться от стандартной, а также могут чаще появляться капчи и проверки робота.
Режим обращений
Программа может выполнять запросы к поисковой выдаче самостоятельно (напрямую или через прокси-серверы) либо через специальные (платные и бесплатные) сервисы.
При работе через сторонние сервисы, как правило, сбор выполняется быстрее, без капчи и санкций. Они берут на себя все проблемы взаимодействия с поисковой выдачей, взимая плату за обработку запросов.
При работе с бесплатным Yandex.XML накладываются некоторые ограничения и правила использования. Например, при выполнении запросов в аккаунте расходуются лимиты. Лимиты начисляются сервисом автоматически, их нельзя потратить разом (израсходовать 100% лимитов можно равномерно совершая запросы в течение дня).
-
Обращаться напрямую
В этом режиме программа будет самостоятельно обращаться к поисковой системе (напрямую или через прокси-серверы).
-
Yandex.XML и аналоги
Наиболее быстрым и удобным способом получать данные поисковой выдачи является использование сервисов с API Yandex.XML.
Оригинальный сервис Yandex.XML появился очень давно. Он позволяет пользователям бесплатно совершать запросы в определенном объеме без капчи и блокировок. Со временем ограничения стали сильней, и появились сторонние сервисы, поддерживающие API оригинального сервиса. Найти удобный сервис можно в поиске.
Здесь вы можете указать URL доступа Yandex.XML или любого совместимого по формату взаимодействия с API Yandex.XML коммерческого сервиса, который за определенную плату будет предоставлять ответы на запросы поисковой выдачи.
Выдача XML может немного отличаться от обычной, но взамен она не подвержена поведенческому изменению по истории запросов, выдает сразу по 100 результатов за 1 запрос, работает быстро и без капчи.Сервисы XML используются только для сбора данных поисковой выдачи. Их невозможно использовать для работы с Yandex.Wordstat, Yandex.Direct, сбора поисковых подсказок и др. -
MegaIndex API
В этом режиме запросы выполняются через сервис MegaIndex API.
Для настройки сбора зарегистрируйтесь в сервисе, пополните баланс и укажите в «Настройках - Парсинг - Платные API - MegaIndex API» параметры доступа.
Обработка запросов может занимать продолжительное время.
Записывать HTML в проект
При сборе данных поисковой выдачи в проект может опционально записываться HTML-код ответа поисковой системы.
Некоторые функции модуля могут использовать эти данные для отображения дополнительной статистики (колдунщики и др.), для обновления данных по закешированным ответам и пр.
Очистка сохраненного HTML кода
При открытии проекта программа автоматически проверяет размер сохраненных данных и предлагает их очистить при достижении определенного объема данных.
Вы также можете вручную очистить данные HTML через инструмент «Очистить данные» на вкладке «Данные», выбрав вкладку очистки дополнительной статистики.