使用 ExtractIP `/agent` API 检测已知 AI 代理和爬虫
使用 ExtractIP /agent API 检测已知 AI 代理和爬虫
你是否想立即知道某个传入连接来自真实用户,还是来自自动化代理(例如网络爬虫或流行的 AI 助手)?
ExtractIP 的 /agent API 可以做到这一点:它会告诉你某个 IP 是否属于已知代理(爬虫、机器人或 AI 代理),并返回其服务名称。
这个轻量级 API 非常适合需要清晰了解流量来源的开发者、分析师和安全团队。
API 响应示例
调用 /agent 接口时,你会收到一个简单的 JSON 响应:
{
"is_agent": false,
"service_name": ""
}
- is_agent — 如果 IP 属于已识别的代理/爬虫/AI 助手则为
true,否则为false。 - service_name — 检测到的服务名称(例如
Googlebot,Bingbot,OpenAI-Agent,Perplexity)。如果未匹配到,则为空字符串。
API 可以检测的内容
/agent API 能识别:
- 常见网络爬虫(如 Googlebot, Bingbot 等)
- 商业抓取器与索引器
- 已知 AI 代理/助手及其代理服务
- 自动化监控和扫描工具
数据库会定期更新,以涵盖新出现的代理。
为什么重要
-
机器人过滤 防止不必要的爬虫和抓取器过载服务器。
-
访问策略 针对代理和真实用户提供不同内容或速率限制。
-
安全性 检测可能探测你系统的恶意爬虫、扫描器和自动化工具。
-
分析准确性 区分人类流量和自动化流量,确保数据更干净。
如何使用 API
CURL
curl "https://api.extractip.com/agent/1.2.3.4"
或 POST 请求:
curl -X POST "https://api.extractip.com/agent" \
-H "Content-Type: application/json" \
-d '{"ip":"1.2.3.4"}'
JavaScript (fetch)
const ip = "1.2.3.4";
const res = await fetch(`https://api.extractip.com/agent/${ip}`);
const data = await res.json();
if (data.is_agent) {
console.log("这是一个代理:", data.service_name);
} else {
console.log("可能是真实用户");
}
Python (requests)
import requests
ip = "1.2.3.4"
url = f"https://api.extractip.com/agent/{ip}"
response = requests.get(url)
data = response.json()
if data["is_agent"]:
print(f"这是一个代理: {data['service_name']}")
else:
print("可能是真实用户")
或使用 POST:
import requests
url = "https://api.extractip.com/agent"
payload = {"ip": "1.2.3.4"}
response = requests.post(url, json=payload)
data = response.json()
print(data)
使用场景示例
is_agent: true,service_name: "Googlebot"→ 允许索引,但减少日志噪声。is_agent: true,service_name: "UnknownCrawler"→ 施加轻度速率限制并收集额外请求头。is_agent: false→ 当作正常用户处理,除非有其他风险信号。
集成思路
- 边缘/CDN — 在边缘应用缓存或阻断策略。
- API 网关 — 根据来源是否为爬虫来限速或路由流量。
- 日志与分析 — 将记录标记为
agent=true以获得准确报表。 - 防欺诈 — 将其作为风险评分系统的一个因子。
最佳实践
- 将
/agent结果与其他信号(ASN、代理、隐私检查)结合使用。 - 把
is_agent作为指标,而不是唯一决策点。 - 定期更新流量策略 —— 已知代理的列表变化很快。
立即开始使用
向以下地址发送一个 IP:
https://api.extractip.com/agent/{ip_address}
或:
https://api.extractip.com/agent
该 API 会返回清晰的 JSON 数据,可立即集成到你的工作流中。 现在就去 ExtractIP 免费试用,开始过滤已知 AI 代理和爬虫吧!
Tags
Related articles
Meet ipwho — a lightweight CLI tool by ExtractIP that lets you instantly retrieve geographical and administrative data for any IP address right in your terminal.
Check distance between provided geo coordinate and IP location using ExtractIP API
Find out if an IP belongs to a known AI agent or web crawler — a simple way to filter bots and automated traffic