使用 ExtractIP `/agent` API 检测已知 AI 代理和爬虫
使用 ExtractIP /agent
API 检测已知 AI 代理和爬虫
你是否想立即知道某个传入连接来自真实用户,还是来自自动化代理(例如网络爬虫或流行的 AI 助手)?
ExtractIP 的 /agent
API 可以做到这一点:它会告诉你某个 IP 是否属于已知代理(爬虫、机器人或 AI 代理),并返回其服务名称。
这个轻量级 API 非常适合需要清晰了解流量来源的开发者、分析师和安全团队。
API 响应示例
调用 /agent
接口时,你会收到一个简单的 JSON 响应:
{
"is_agent": false,
"service_name": ""
}
- is_agent — 如果 IP 属于已识别的代理/爬虫/AI 助手则为
true
,否则为false
。 - service_name — 检测到的服务名称(例如
Googlebot
,Bingbot
,OpenAI-Agent
,Perplexity
)。如果未匹配到,则为空字符串。
API 可以检测的内容
/agent
API 能识别:
- 常见网络爬虫(如 Googlebot, Bingbot 等)
- 商业抓取器与索引器
- 已知 AI 代理/助手及其代理服务
- 自动化监控和扫描工具
数据库会定期更新,以涵盖新出现的代理。
为什么重要
-
机器人过滤 防止不必要的爬虫和抓取器过载服务器。
-
访问策略 针对代理和真实用户提供不同内容或速率限制。
-
安全性 检测可能探测你系统的恶意爬虫、扫描器和自动化工具。
-
分析准确性 区分人类流量和自动化流量,确保数据更干净。
如何使用 API
CURL
curl "https://api.extractip.com/agent/1.2.3.4"
或 POST 请求:
curl -X POST "https://api.extractip.com/agent" \
-H "Content-Type: application/json" \
-d '{"ip":"1.2.3.4"}'
JavaScript (fetch)
const ip = "1.2.3.4";
const res = await fetch(`https://api.extractip.com/agent/${ip}`);
const data = await res.json();
if (data.is_agent) {
console.log("这是一个代理:", data.service_name);
} else {
console.log("可能是真实用户");
}
Python (requests)
import requests
ip = "1.2.3.4"
url = f"https://api.extractip.com/agent/{ip}"
response = requests.get(url)
data = response.json()
if data["is_agent"]:
print(f"这是一个代理: {data['service_name']}")
else:
print("可能是真实用户")
或使用 POST:
import requests
url = "https://api.extractip.com/agent"
payload = {"ip": "1.2.3.4"}
response = requests.post(url, json=payload)
data = response.json()
print(data)
使用场景示例
is_agent: true
,service_name: "Googlebot"
→ 允许索引,但减少日志噪声。is_agent: true
,service_name: "UnknownCrawler"
→ 施加轻度速率限制并收集额外请求头。is_agent: false
→ 当作正常用户处理,除非有其他风险信号。
集成思路
- 边缘/CDN — 在边缘应用缓存或阻断策略。
- API 网关 — 根据来源是否为爬虫来限速或路由流量。
- 日志与分析 — 将记录标记为
agent=true
以获得准确报表。 - 防欺诈 — 将其作为风险评分系统的一个因子。
最佳实践
- 将
/agent
结果与其他信号(ASN、代理、隐私检查)结合使用。 - 把
is_agent
作为指标,而不是唯一决策点。 - 定期更新流量策略 —— 已知代理的列表变化很快。
立即开始使用
向以下地址发送一个 IP:
https://api.extractip.com/agent/{ip_address}
或:
https://api.extractip.com/agent
该 API 会返回清晰的 JSON 数据,可立即集成到你的工作流中。 现在就去 ExtractIP 免费试用,开始过滤已知 AI 代理和爬虫吧!
Tags
Agent API机器人检测AI代理爬虫检测API安全欺诈防护
Related articles
blog_post.md
>cat metadata.json
[25.Sep.2025]
>cat excerpt.txt
Find out if an IP belongs to a known AI agent or web crawler — a simple way to filter bots and automated traffic
blog_post.md
>cat metadata.json
[10.Dec.2024]
>cat excerpt.txt
Verify your proxy connection using cURL
blog_post.md
>cat metadata.json
[17.Nov.2024]
>cat excerpt.txt
Get privacy related information about IP address