网页抓取

POST https://open.feiyutoken.com/v1/tools/fetch

请求参数

参数	类型	必填	说明
url	string	是	要抓取的网页地址，长度不超过 8192；必须为带 host 的 HTTP/HTTPS URL，且不能携带用户名或密码

请求示例

curl https://open.feiyutoken.com/v1/tools/fetch \
  -H "Authorization: Bearer <你的飞鱼Token API Key>" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/article"
  }'

响应

请求成功时返回 HTTP 200，正文已经转成 Markdown：

{
  "title": "Example article",
  "content": "# Example article\n\nArticle content."
}

字段	类型	说明
title	string	页面标题；缺失时为空字符串
content	string	抓取后的 Markdown 正文

content 为 Markdown 文本，可用于提示词，或按段落切分后存入知识库。

常见失败原因

抓取结果受目标站点的可用性和访问策略影响。以下情况可能拿不到正文：

• 页面需要登录，或只对特定地区、特定客户端开放；
• 目标站点明确拒绝抓取，或触发了站点的访问频率限制；
• 页面正文依赖 JavaScript 渲染，服务端拿到的 HTML 里没有内容；
• 目标地址不是网页，或内容类型不受支持；
• 页面本身没有可提取的正文（例如纯图片、纯视频页）。

上述情况通常返回 4xx 状态码，具体见错误处理。

错误处理

错误响应使用 OpenAI 兼容格式，param 恒为 null。Fetch 最常见的两个状态码：

状态码	含义
403	请求被安全策略拒绝，不要重试
404	没能取到可用正文，可换地址或放弃

完整的状态码表与重试建议见网页搜索与抓取 · 错误处理。

计费与限速

Fetch 按成功请求次数计费，每 1,000 次成功请求 5 元；只有返回 HTTP 200 且获取到正文的请求才计费。 Fetch 的账号级 QPS 限制为 25，另受目标域名 QPS 限制，超过限制返回 HTTP 429。详见计费与限速。