Мониторинг цен конкурентов через прокси
Динамическое ценообразование в e-commerce держится на актуальных данных: если вы узнаёте о скидке конкурента через два дня, маржа уже потеряна. Маркетплейсы и крупные ритейлеры показывают разные цены в зависимости от региона, авторизации и A/B-тестов. Мониторинг через прокси даёт «взгляд с улицы» — ту же карточку товара, что видит покупатель в нужном городе, без привязки к вашему офисному IP.
Какие данные собирают
Базовый набор: текущая цена, зачёркнутая «старая» цена, размер скидки, наличие на складе, срок доставки, рейтинг продавца. Для маркетплейсов добавляют buy box — кто держит главную кнопку «Купить», и список офферов от других селлеров. В travel и подписках фиксируют валюту биллинга и налоги, которые меняются от геолокации.
Исторические ряды строятся при регулярном опросе: раз в час для flash-распродаж, раз в сутки для FMCG, раз в неделю для durables. Прокси нужны не только для обхода лимитов, но и для региональной корректности — цена в PLN и в EUR с польского IP может отличаться от той, что видит пользователь из Германии на том же домене.
Почему без прокси мониторинг ломается
Площадки защищают каталоги rate limit'ами, fingerprinting и блокировками датацентровых подсетей. Один IP, опрашивающий десять тысяч SKU каждые пятнадцать минут, быстро попадает в greylist. Ротация адресов из пула NEONPROXY распределяет нагрузку: каждый воркер тянет свою порцию SKU через свой канал.
Второй фактор — гео-прайсинг. Без прокси нужной страны вы сравниваете яблоки с апельсинами: ваш repricing-алгоритм реагирует на цену, которую реальный клиент в целевом регионе не видит. Перед масштабированием проверьте выдачу через Мой IP с активным прокси.
Архитектура пайплайна
Классическая схема: планировщик → очередь URL → воркеры с прокси → парсер → хранилище (PostgreSQL, ClickHouse) → дашборд и алерты. Воркеры не должны делить один IP: закрепите прокси за инстансом или используйте ротацию «один запрос — один IP» через API.
Для JavaScript-heavy карточек иногда нужен headless-браузер; SOCKS5 от NEONPROXY подключается и к Puppeteer, и к Playwright. HTTP-прокси достаточно для API маркетплейсов и JSON-LD в исходном HTML. Сравнение протоколов — в материале SOCKS5 vs HTTPS.
Обязательно логируйте: timestamp, SKU, цену, валюту, HTTP-код, ID прокси. При расхождении с эталоном ручной проверки можно быстро найти «битый» адрес и заменить его через кабинет без остановки всего контура.
Выбор прокси под объём каталога
До 5 000 SKU, один регион — 10–20 приватных IPv4 с умеренной ротацией. 50 000+ SKU, несколько гео — сотни IPv6 плюс резерв IPv4 для площадок без AAAA. Маркетплейсы с жёстким антиботом — приватный IPv4 на воркер, паузы 2–5 сек, заголовки как у обычного браузера; при необходимости — связка с ротацией User-Agent из отдельного гайда.
Shared-прокси экономят бюджет на тестах, но для production-мониторинга цен конкурентов не рекомендуются: соседний клиент может спровоцировать блок всей подсети.
Юридические и этические рамки
Собирайте только публично доступные данные без обхода авторизации и paywall. Уважайте robots.txt там, где это применимо к вашей юрисдикции и договору с площадкой. Частота опроса должна быть разумной — агрессивный scraping создаёт нагрузку на инфраструктуру продавца и повышает риск судебных претензий. Внутренней политикой многих компаний достаточно опроса 1–4 раза в сутки на SKU.
Метрики качества мониторинга
Отслеживайте долю успешных ответов (target > 98%), медиану latency, число CAPTCHA на 1000 запросов. Резкий рост ошибок 403/429 — сигнал сменить пул или снизить частоту. Сверяйте случайную выборку SKU с ручным просмотром в браузере через тот же гео-прокси раз в неделю.
Интеграция с repricing: правило «не опускаться ниже X% маржи» должно получать цену конкурента с пометкой региона и времени снимка. Устаревшая запись хуже отсутствующей — алгоритм может необоснованно демпинговать.
Быстрый старт с NEONPROXY
Оформите пул под целевое гео, прогоните чекер на всех адресах, подключите API для автоматической ротации. Пилот на 500 SKU за один вечер покажет, хватает ли текущего типа IP или нужен переход на IPv4. Поддержка поможет подобрать объём без переплаты за лишние тысячи адресов.