Bot detection и прокси: что знать
Современный bot detection — это не только «слишком много запросов с одного IP». Akamai, Cloudflare, PerimeterX, DataDome и встроенные антиботы маркетплейсов складывают десятки сигналов: TLS fingerprint, порядок HTTP/2 frames, поведение мыши, WebRTC, canvas hash, consistency timezone и языка. Прокси меняет видимый IP и иногда ASN, но не делает скрипт «невидимым». Понимание границ прокси экономит бюджет и нервы.
Что видит anti-bot система
IP reputation. Датацентровые диапазоны, IP из известных proxy lists, адреса с историей abuse — score растёт. TLS/JA3. Python requests и curl имеют отличный от Chrome отпечаток — даже с residential IP запрос могут классифицировать как bot. Behavior. Мгновенный клик по кнопке без движения мыши, идеальные интервалы между страницами.
Прокси закрывает первый пункт при чистом приватном IPv4. Остальное — зона браузера, заголовков и темпа — см. ротацию User-Agent и антидетект.
Типы прокси и detection
Datacenter IPv4 дешевле, но score IP выше — подходит для API с token auth и sites с мягкой защитой. Для соцсетей и ticket-сайтов нужен стабильный адрес без соседей по shared-каналу. IPv6 иногда обходит устаревшие blacklist DC IPv4, но не все WAF одинаково доверяют v6 — тестируйте целевой домен.
Проверяйте исходящий IP через Мой IP, тест анонимности и blacklist перед масштабированием.
Headless vs headed browser
Headless Chrome помечается через navigator.webdriver и ряд CDP-артеfactов. Playwright с headless: false + прокси ближе к реальному пользователю — гайд Playwright. Для Cloudflare Turnstile и reCAPTCHA v3 прокси alone недостаточен — нужен human-like flow или официальный API.
Ротация и sticky sessions
Ротация IP на каждый запрос помогает при stateless парсинге каталогов. Авторизованные сессии требуют sticky IP на весь login flow — иначе cookie привяжется к одному адресу, а следующий запрос уйдёт с другого. Стратегии — в ротации прокси и sticky session.
Метрики и мониторинг блокировок
Ведите dashboard: доля 403 по proxy_id, median latency, captcha rate. Резкий рост на одной подсети — сигнал вывести ASN из ротации на 24 часа. Коррелируйте с изменениями в скрипте — часто «bot detection усилили» на самом деле означает, что deploy сломал заголовки Accept-Language.
A/B тестируйте residential vs datacenter на 5% трафика перед полной миграцией пула. Стоимость IP растёт, но иногда окупается снижением captcha spend.
Легальные границы
Обход bot detection для нарушения ToS, скальping билетов или credential stuffing — не целевое применение прокси. Используйте rate limits, robots.txt и официальные API. Капча как симптом блокировки — разбор в материале про капчу. Прокси — инфраструктура для тестов, мониторинга своих assets и открытых данных при соблюдении правил площадки.
Device fingerprint без прокси
Canvas, WebGL vendor, installed fonts, screen resolution — прокси не меняет. Antidetect синхронизирует fingerprint с гео прокси: DE IP + Berlin timezone + de-DE locale. Mismatch (US IP + ru-RU) повышает score быстрее чем datacenter ASN alone.
Behavioral biometrics: время между keystrokes, scroll patterns. Automation с fixed 100ms delay между actions детектируется — randomize human-like pauses. Не полагайтесь только на residential marketing без поведенческой дисциплины.
Device fingerprint без прокси
Canvas, WebGL vendor, installed fonts, screen resolution — прокси не меняет. Antidetect синхронизирует fingerprint с гео прокси: DE IP + Berlin timezone + de-DE locale. Mismatch (US IP + ru-RU) повышает score быстрее чем datacenter ASN alone.
Behavioral biometrics: время между keystrokes, scroll patterns. Automation с fixed 100ms delay между actions детектируется — randomize human-like pauses. Не полагайтесь только на residential marketing без поведенческой дисциплины.
Vendor-specific notes
Cloudflare Bot Score 1–99 — порог block custom per zone. DataDome JS tag heavy — block curl entirely. PerimeterX _px cookies — sticky session mandatory 20+ min. Kasada pow challenge — CPU intensive; scale workers not proxy count alone.
Чеклист перед автоматизацией
Проверьте прокси в чекере. Согласуйте timezone с гео. Отключите WebRTC в профиле браузера. Задайте реалистичный viewport. Логируйте коды ответов по URL. Ограничьте число concurrent workers. Пересматривайте ToS площадки ежеквартально.
Зафиксируйте baseline success rate до масштабирования пула — 95% успеха при 10 RPS лучше, чем 70% при 100 RPS с тем же бюджетом на IP.