Прокси для парсинга сайтов: типы и настройка

Парсинг без прокси работает только на небольших объёмах и «дружелюбных» сайтах. Как только скрипт начинает опрашивать сотни страниц в минуту, срабатывают rate limit, CAPTCHA и блокировки по IP. Правильно подобранный прокси-слой распределяет нагрузку, маскирует источник запросов и позволяет масштабировать сбор данных без постоянной ручной отладки.

Какой тип прокси выбрать для парсинга

Выбор зависит от целевого домена и бюджета. Для открытых каталогов, новостных лент и SEO-метрик часто достаточно IPv6-прокси: они дешевле IPv4, а современные хостинги всё чаще принимают трафик по шестой версии протокола. Перед заказом проверьте, есть ли у сайта AAAA-запись — это можно сделать через инструмент проверки IPv6.

Если площадка фильтрует датацентровые подсети или не поддерживает IPv6, переходите на приватный IPv4. Один адрес — один воркер, без конкуренции с чужими задачами на shared-канале. Для маркетплейсов и соцсетей, где антибот-системы агрессивнее, иногда нужны ISP или мобильные прокси — но для большинства B2B-краулингов хватает datacenter IPv4 с ротацией.

Сравнение протоколов IPv4 и IPv6 — в материале IPv6 vs IPv4. Общие критерии выбора — в гайде как выбрать прокси.

Канал SVYAZVPN Открыть бота

Ротация и sticky-сессии

При массовом парсинге один IP быстро попадает в бан. Стратегии ротации делятся на два лагеря: смена адреса после каждого запроса и закрепление IP на серию запросов (sticky session). Первая подходит для stateless-страниц — карточки товаров, прайсы. Вторая — когда сайт выдаёт cookies или требует последовательный обход пагинации в одной сессии.

Реализуйте пул прокси в коде: массив адресов, счётчик ошибок на каждый, автоматическое исключение «мёртвых» IP. Подробнее о паттернах — в статье про ротацию прокси. При получении HTTP 429 или 403 делайте exponential backoff и переключайтесь на следующий адрес, а не бесконечно долбите один и тот же.

Настройка в популярных стеках

В Python с библиотекой requests достаточно передать словарь proxies в каждый вызов или настроить Session с ротацией через middleware. Для Scrapy используйте RotatingProxyMiddleware или кастомный downloader middleware — см. отдельные гайды по requests и Scrapy.

Headless-браузеры (Puppeteer, Playwright, Selenium) требуют SOCKS5 или HTTPS-прокси на уровне launch-опций. Убедитесь, что DNS не утекает мимо туннеля — иначе сайт увидит ваш реальный резолвер. Проверка анонимности доступна в разделе инструментов и в статье про анонимность через прокси.

Обход ограничений без нарушения закона

Парсинг публичных данных для анализа цен, мониторинга конкурентов и исследований — распространённая бизнес-задача. При этом robots.txt, пользовательское соглашение и законодательство о персональных данных накладывают ограничения. Прокси не делает сбор данных автоматически «легальным» — он лишь технический инструмент распределения запросов.

Не путайте обход rate limit с обходом CAPTCHA через серые сервисы на чужих прокси — это отдельная тема с юридическими рисками. Для легального мониторинга цен достаточно умеренной частоты запросов, корректных User-Agent и качественного пула адресов.

Контроль качества пула

Перед запуском краулера прогоните каждый адрес через прокси-чекер: latency, анонимность заголовков, геолокация. Периодически повторяйте проверку — IP из пула деградируют, попадают в blacklist или просто «устают» от нагрузки. Логируйте процент успешных ответов по каждому прокси и автоматически выводите проблемные из ротации.

Если ошибка 429 стала системной — снизьте concurrency, а не покупайте ещё сотню адресов. Часто проблема в слишком агрессивном тайминге, а не в количестве IP. Материал про ошибку 429 поможет разобраться с лимитами.

Итог

Для большинства проектов парсинга оптимальная связка — IPv6 или приватный IPv4, пул от 10–100 адресов, ротация с учётом sticky-сессий и мониторинг качества через чекер. Оформите нужный объём на странице заказа и масштабируйте по мере роста задач.