Трафик и bandwidth: как не переплатить
Цена прокси складывается не только из типа IP и срока аренды, но и из объёма переданных данных. Неправильная оценка bandwidth приводит к неожиданным доплатам или, наоборот, к покупке «безлимита», который вы не используете. Разберём модели тарификации и практики экономии на примере тарифов NEONPROXY.
Как считается трафик через прокси
Обычно учитывается суммарный объём байт через tunnel: запрос + ответ, включая HTTP-заголовки и TLS overhead. Inbound и outbound часто считаются симметрично — скачали 10 MB HTML, списали ~10 MB (плюс служебные пакеты).
На тарифах с фиксированной арендой (приватный IPv4, IPv6 за период) трафик часто не лимитируется в рамках fair use — вы платите за IP и время. У pay-as-you-go и некоторых резидентных моделей — оплата за гигабайт. Уточняйте актуальные условия на странице цен.
Unlimited vs metered
Unlimited (per IP / per month) — предсказуемый бюджет для парсинга текста, API, SMM-браузинга. Риск: злоупотребление (24/7 streaming) может попасть под fair use policy провайдера.
Metered (за GB) — выгодно при редких запросах с маленькими ответами (JSON API, HEAD-проверки). Дорого при загрузке изображений, PDF, видео preview.
Для краулера на 500 GB/месяц текста unlimited IPv6-пакет обычно дешевле metered. Для 2 GB/месяц — metered или один shared IPv4.
Что «съедает» bandwidth
Картинки и медиа. Парсинг карточек товаров с full-size images без отключения загрузки медиа умножает трафик в 10–50 раз. Используйте stream=True и early close, или блокируйте resource types в headless browser.
Retry и ошибки. Каждый retry 5 MB страницы = ещё 5 MB. Backoff и кэш ETag снижают дубли — см. стратегии при 429.
DevTools и autoplay. Браузер через прокси тянет фоновые запросы, ads, websocket — SMM-задачи лучше изолировать профиль с блокировкой лишнего.
Сжатие. Accept-Encoding: gzip, br уменьшает HTML в 3–5 раз. Убедитесь, что клиент не отключает compression.
Оценка расхода до покупки
Формула грубо: avg_page_size × pages_per_day × 30. Пример: 200 KB × 10 000 × 30 ≈ 60 GB/месяц. Добавьте 20% на retries и API overhead.
Прогоните пилот на 100 URL через один прокси, замерьте traffic counters на VPS (vnstat, iftop) или логируйте Content-Length в скрипте. Сравните с лимитами тарифа на price.
Оптимизация на уровне кода
Запрашивайте только нужные поля API (GraphQL selection, sparse fieldsets). HEAD вместо GET где достаточно проверить existence. Conditional requests: If-Modified-Since, If-None-Match → 304 без body.
Не качайте binary через прокси, если можно CDN URL напрямую с сервера storage (и это legal). Pagination с limit вместо full dump.
Параллелизм увеличивает peak bandwidth, не always total — но при rate limit retries total растёт. Баланс concurrency описан в статье про parallel requests.
IPv6 vs IPv4 с точки зрения бюджета
IPv6 NEONPROXY дешевле за адрес при том же unlimited-traffic model — для text-heavy crawl выгоднее пул v6. IPv4 нужен там, где v6 не принимается — не экономьте на типе IP в ущерб работоспособности. Сравнение — IPv6 vs IPv4.
Мониторинг расхода
Кабинет NEONPROXY показывает активные заказы и срок; для metered-тарифов (если применимо) — counters usage. На своей стороне: daily GB metric, alert при 80% лимита.
Разбивка по project/proxy_id в логах — какой краулер «течёт». Anomaly detection: вдруг ×3 traffic без роста pages — возможно, зациклились на pagination или скачивают assets.
Типичные ошибки
Покупка 100 GB metered «на вырост», использование 5 GB. Streaming video tests через datacenter proxy. Парсинг с включёнными images в Scrapy без ITEM pipeline filter. Shared proxy для heavy crawl — соседи не виноваты, но fair use может ограничить всех.
Игнорирование TLS resumption и keep-alive: каждый запрос новый TCP+TLS handshake — лишние KB на миллионах запросов.
Когда unlimited окупается
Ежедневный мониторинг цен конкурентов (десятки GB). SEO crawl крупного сайта. Load testing через прокси (осторожно с ToS цели). Мультиаккаунт SMM с видео upload — upload тоже считается в traffic.
Чеклист экономии
1) Оцените GB/месяц пилотом. 2) Отключите медиа в краулере. 3) Включите gzip/br. 4) Кэшируйте 304. 5) Выберите тариф unlimited per IP если > 30–50 GB. 6) IPv6 для text crawl. 7) Мониторьте daily usage. 8) Не retry giant pages без лимита.
NEONPROXY прозрачно делит тарифы по типу IP — начните с минимального пакета и масштабируйте через API v2 при росте объёма.