Как боты крадут бюджет интернет-магазинов и как с этим бороться
← К списку новостей

Как боты забирают бюджет интернет-магазинов и что с этим делать

Интернет-магазины 7 мин чтения

Владелец интернет-магазина замечает странность: сайт периодически подвисает на 5 секунд. Хостинг работает штатно, но пользователи жалуются. Анализ логов показывает неожиданную картину: за сутки приходит 72 700 запросов. Из них 41% генерирует один ClaudeBot. Общая доля ботов превышает половину всего трафика.

Четыре типа ботов: кто приносит пользу, а кто съедает ресурсы

Весь автоматизированный трафик делится на четыре категории. Они имеют разную ценность для бизнеса.

  • Поисковые роботы - самые полезные гости. Googlebot, YandexBot, Bingbot делают около 220 запросов в сутки. Они обеспечивают индексацию товаров и присутствие в поисковой выдаче.
  • ИИ-агенты живого поиска - новая категория ботов. Её нельзя игнорировать. OAI-SearchBot, ChatGPT-User, PerplexityBot генерируют всего 12 запросов в день. За каждым стоит реальный покупатель, который ищет товар через нейросети.
  • Краулеры обучения - главные пожиратели ресурсов. ClaudeBot, GPTBot, CCBot делают до 30 000 запросов. Они собирают контент для тренировки моделей. Покупателей не приводят, но серверы нагружают основательно.
  • SEO-скрейперы - работают на конкурентов. SemrushBot, AhrefsBot, MJ12bot (около 5100 запросов) анализируют структуру сайта и цены. Трафика не дают.

Почему боты вешают сайт сильнее, чем кажется

Проблема не только в количестве запросов. Боты обходят «холодные» страницы без кеша: карточки товаров, фильтры, сортировки. Каждый запрос создает новую сессию, поскольку cookie отсутствуют.

В описанном случае таблица сессий разрослась до 227 000 строк и 80 МБ. Это дополнительно тормозило базу данных. Когда человек заходит на сайт во время активности ботов, он попадает в общую очередь обработки. Даже кешированные страницы обслуживают те же процессы, что и бот-запросы.

Простое решение за один вечер

Блокировка вредных ботов через nginx заняла несколько часов. Она потребовала список примерно из двадцати User-Agent. Результат:

  • Доля медленных ответов (TTFB > 2 секунд) снизилась с 3,6% до 1,6%.
  • Средний ответ стабилизировался на уровне секунды.
  • Случайные подвисания исчезли.
  • Затраты - ноль рублей.

При этом полезная видимость сохранилась полностью. Двенадцать запросов ИИ-агентов обеспечивают присутствие товаров в нейросетевом поиске. А 30 000 запросов обучающих краулеров можно безопасно отсечь.

Как выявить бот-атаку в аналитике

Технические признаки:

  • Резкий рост Direct-трафика без понятных причин.
  • Аномально высокий показатель отказов или подозрительно идеальные метрики.
  • Повторяющиеся комбинации устройств и браузеров.
  • Всплески активности в нерабочее время.

Поведенческие сигналы:

  • Нулевая глубина просмотра при высоком времени на сайте.
  • Массовые переходы по одинаковым маршрутам.
  • Слишком быстрое заполнение форм.
  • Отсутствие географического разнообразия.

Влияние на рекламу:

  • Высокий расход при отсутствии заявок.
  • Несоответствие между кликами в рекламных системах и визитами в аналитике.
  • Рост трафика при стагнации конверсий.

Пошаговая стратегия очистки трафика

Этап 1: Анализ и сегментация

  • Проставьте UTM-метки для всех кампаний.
  • Разделите данные по устройствам, браузерам, регионам.
  • Выявите источники с высоким расходом и нулевой конверсией.

Этап 2: Техническая фильтрация

  • Настройте robots.txt для ограничения доступа.
  • Используйте встроенные фильтры в Яндекс.Метрике и Google Analytics.
  • Заблокируйте подозрительные IP-диапазоны через .htaccess.

Этап 3: Работа с рекламными площадками

  • Отключите низкокачественные площадки в РСЯ.
  • Ограничьте показы в нетипичных регионах.
  • Тестируйте автотаргетинг постепенно, отслеживая качество трафика.

Для маркетплейсов задача упрощается. Системы автоматизации ответов на отзывы помогают поддерживать активность с реальными покупателями. Они не тратят ресурсы на обработку бот-активности.

Автоматизация против ручной работы

Ручная чистка эффективна, но отнимает много времени. Специализированные сервисы анализируют каждый визит по сотням параметров. Они используют машинное обучение для выявления ботов и автоматической блокировки.

Такие решения интегрируются с рекламными системами. Они позволяют:

  • Исключать бот-сегменты из показов в реальном времени.
  • Корректировать ставки на основе качества трафика.
  • Защищать формы заявок ещё на входе.
  • Фильтровать трафик по поведенческим паттернам.

Экономика правильной фильтрации

Грамотная очистка от ботов дает измеримые результаты:

  • Рост конверсии на 20-40%.
  • Снижение стоимости целевого действия.
  • Экономия рекламного бюджета до 30%.
  • Корректная аналитика для масштабирования.

Главное правило для небольших интернет-магазинов: сначала отсортируйте трафик, перестав платить за тех, кто не приносит ценности. Только после этого инвестируйте в масштабирование инфраструктуры.

Современный e-commerce требует хирургической точности в работе с трафиком. Боты составляют значительную долю посещений, но не все из них вредны. Правильная сегментация позволяет сохранить SEO-видимость и присутствие в ИИ-поиске. Это избавляет от паразитной нагрузки на сервер и рекламный бюджет.