Определяйте известных AI-агентов и краулеров с помощью ExtractIP /agent API

Хотите сразу понять, идёт ли входящее соединение от реального пользователя или от автоматизированного агента — например, веб-краулера или популярного AI-ассистента? /agent API от ExtractIP позволяет это сделать: оно определяет, принадлежит ли IP-адрес известному агенту (краулеру, боту или AI-ассистенту) и возвращает его имя.

Этот лёгкий API отлично подходит для разработчиков, аналитиков и команд безопасности, которым важно видеть источники трафика.

Пример ответа API

При запросе к /agent вы получите простой JSON:

{
    "is_agent": false,
    "service_name": ""
}

• is_agent — true, если IP принадлежит известному агенту/краулеру/AI-ассистенту, иначе false.
• service_name — имя определённого сервиса (например, Googlebot, Bingbot, OpenAI-Agent, Perplexity). Пустое значение, если совпадение не найдено.

Что определяет API

/agent API распознаёт:

• Популярные веб-краулеры (Googlebot, Bingbot и др.)
• Коммерческие скрейперы и индексаторы
• Известные AI-агенты / ассистенты и их прокси-сервисы
• Автоматизированные инструменты мониторинга и сканирования

База регулярно обновляется по мере появления новых агентов.

Зачем это нужно

• Фильтрация ботов Не позволяйте нежелательным краулерам и скрейперам перегружать ваши серверы.

• Политики доступа Отдавайте разный контент или применяйте лимиты для агентов и реальных пользователей.

• Безопасность Определяйте агрессивных краулеров, сканеры и автоматизированные инструменты, которые могут исследовать вашу систему.

• Точность аналитики Отделяйте человеческий трафик от автоматического, чтобы данные были чище.

Как использовать API

CURL

curl "https://api.extractip.com/agent/1.2.3.4"

Или POST:

curl -X POST "https://api.extractip.com/agent" \
  -H "Content-Type: application/json" \
  -d '{"ip":"1.2.3.4"}'

JavaScript (fetch)

const ip = "1.2.3.4";
const res = await fetch(`https://api.extractip.com/agent/${ip}`);
const data = await res.json();
if (data.is_agent) {
  console.log("Это агент:", data.service_name);
} else {
  console.log("Вероятно, реальный пользователь");
}

Python (requests)

import requests

ip = "1.2.3.4"
url = f"https://api.extractip.com/agent/{ip}"

response = requests.get(url)
data = response.json()

if data["is_agent"]:
    print(f"Это агент: {data['service_name']}")
else:
    print("Вероятно, реальный пользователь")

Или через POST:

import requests

url = "https://api.extractip.com/agent"
payload = {"ip": "1.2.3.4"}

response = requests.post(url, json=payload)
data = response.json()

print(data)

Примеры использования

• is_agent: true, service_name: "Googlebot" → разрешить индексацию, но уменьшить «шум» в логах.
• is_agent: true, service_name: "UnknownCrawler" → применить мягкие лимиты и собирать дополнительные заголовки.
• is_agent: false → рассматривать как обычного пользователя, если нет других сигналов риска.

Идеи интеграции

1. Edge/CDN — применяйте кэширование или блокировку на уровне edge в зависимости от агента.
2. API Gateway — ограничивайте или перенаправляйте трафик в зависимости от того, агент это или реальный пользователь.
3. Логирование и аналитика — помечайте записи как agent=true для более точных отчётов.
4. Предотвращение мошенничества — используйте как один из факторов в системе оценки риска.

Лучшие практики

• Комбинируйте /agent с другими сигналами (ASN, прокси, приватность) для более надёжных решений.
• Используйте is_agent как индикатор, а не как единственный критерий.
• Периодически обновляйте политики обработки трафика — список агентов быстро меняется.

Начните сегодня

Отправьте IP-адрес на:

https://api.extractip.com/agent/{ip_address}

или:

https://api.extractip.com/agent

API вернёт понятный JSON, который легко встроить в ваши процессы. Попробуйте бесплатно на ExtractIP и начните фильтровать известных AI-агентов и краулеров уже сегодня!