User-agent: *
Allow: /
Disallow: /admin
Disallow: /pay/
Disallow: /account/
Disallow: /*item=
Disallow: /*item=&
Disallow: /setlang
Disallow: /verify/?
Disallow: /check/?
Disallow: /market/?
Disallow: /licenses/?
Disallow: /issuances/?
Disallow: /regulatory/?
Disallow: /checklist/?
Disallow: /screener/?
Disallow: /dossier/new?
Disallow: /market/rows
# ↑ 上面这份禁令的实测依据：
# GEO-20261030：/corrections/?page=iss&item=X 这类参数化变体没有独立正文（实测仅 587 汉字），
# 却被站内每条记录的 ⚑ 链接放大成近乎无限的 URL 空间，吃掉全站 51% 的 AI 抓取预算。
# 只禁参数变体，正文入口 /corrections/ 本身保持可抓（含「已更正记录」信任公示）。
# GEO-20261030（第二轮）：/setlang 是纯语言切换重定向，没有任何正文，
# 但每个页面都在页头生成 3 个 /setlang?l=xx&to=<当前路径> 链接，实测被 GPTBot 抓 6250 次、
# ClaudeBot 抓 2134 次——是继 /corrections/ 之后的第二大抓取黑洞。
# GEO-20261031（第三轮）：站内筛选/搜索页的参数变体，实测 /verify/?q 2698 + /check/?q 2343 +
# /market/?f,q 1569 + /market/?q 963 + /licenses/?q 570 + /checklist/?name 538 +
# /dossier/new?name 536 ≈ 6600 次。只禁带参数的变体，不带参数的列表入口照常可抓。
# 注意：不能用 /*?q= 一刀切——那会连 /api/v1/verify?q=（我们主动希望 AI 调用的检索接口）一起禁掉。

# GEO-20261031：中文 AI / 搜索爬虫显式放行组。
# 豆包 / 头条搜索 = Bytespider，文心 = Baiduspider，Kimi = KimiBot / MoonshotAI，
# 通义 / 夸克 = 神马 Yisou，搜狗 = Sogou web spider。
# 实测（2026-10-31，本站专属路径、近 30 天全量日志）：Baiduspider 4 次、KimiBot 1 次、
# Sogou 1 次，字节系 Bytespider / DoubaoBot 为 0 次 —— 中文 AI 侧几乎从未发现本站。
# 这里用「多行 User-agent 合成一组」的写法显式放行，并原样复用上面那份禁令：
# 既给出明确放行信号，又不会让它们掉进参数黑洞。
User-agent: Bytespider
User-agent: DoubaoBot
User-agent: Baiduspider
User-agent: Sogou web spider
User-agent: 360Spider
User-agent: Yisou
User-agent: KimiBot
User-agent: MoonshotAI
Allow: /
Disallow: /admin
Disallow: /pay/
Disallow: /account/
Disallow: /*item=
Disallow: /*item=&
Disallow: /setlang
Disallow: /verify/?
Disallow: /check/?
Disallow: /market/?
Disallow: /licenses/?
Disallow: /issuances/?
Disallow: /regulatory/?
Disallow: /checklist/?
Disallow: /screener/?
Disallow: /dossier/new?
Disallow: /market/rows

# 说明：这里刻意不为每个「海外」AI 爬虫单开「User-agent: xxx / Allow: /」组。
# 按 robots 协议，爬虫只遵循「最具体匹配」的那一个组——一旦给 OAI-SearchBot 单开一组，
# 它就会无视上面 User-agent: * 里的 Disallow，继续抓 /corrections/?item=X 与 /setlang。
# 实测（2026-10-31）：OAI-SearchBot 1768 次抓取里 1722 次（97%）全耗在 /corrections/，
# 两大黑洞 /corrections/?item + /setlang 合计吃掉全站 52% 的机器抓取预算。
# 而 User-agent: * 已经 Allow: /，单开组不会额外放行任何东西，只有上述副作用。

# GEO-20261030：SEO SaaS 扫描器（实测 30 天 3578 次，占 /corrections/ 抓取的 23%）。
# 它们只做外链/关键词采集，不会在 AI 回答里引用本站，纯消耗带宽与抓取预算。
User-agent: DataForSeoBot
Disallow: /
User-agent: SERankingBacklinksBot
Disallow: /
User-agent: Reflect
Disallow: /
User-agent: WebSiphon
Disallow: /

Sitemap: https://365rwa.vip/sitemap.xml
# Guidance for LLMs: https://365rwa.vip/llms.txt
# Full data dump for LLMs: https://365rwa.vip/llms-full.txt
# Machine-readable APIs: https://365rwa.vip/api/v1/verify?q= , /api/v1/issuances , /api/v1/licenses , /api/v1/projects , /api/v1/regulatory , /api/v1/calendar