人工智能 · 扩展学习

AI 检索指标玩具实验

用小型原创英文语料展示 Recall@k 会随 k 变化；不是 Azure AI Search、向量或 LLM 质量基准。

运行本地实验

关键结果

指标值单位
平均 Recall@k100%
完整排序平均 MRR1
平均 MRR@k1

返回排序

指标值单位
private dns endpoint已知相关 ID: d1; 返回排序: d1(3) > d2(0) > d3(0) > d4(0) > d5(0); Recall@k: 100%; 倒数排名（完整）: 1; 倒数排名@k: 1
restore replication backup已知相关 ID: d2; 返回排序: d2(3) > d1(0) > d3(0) > d4(0) > d5(0); Recall@k: 100%; 倒数排名（完整）: 1; 倒数排名@k: 1
capacity cpu traffic已知相关 ID: d4; 返回排序: d4(3) > d1(0) > d2(0) > d3(0) > d5(0); Recall@k: 100%; 倒数排名（完整）: 1; 倒数排名@k: 1
evaluation recall已知相关 ID: d3, d5; 返回排序: d5(2) > d3(1) > d1(0) > d2(0) > d4(0); Recall@k: 100%; 倒数排名（完整）: 1; 倒数排名@k: 1
authorization evaluation已知相关 ID: d3, d5; 返回排序: d3(2) > d5(1) > d1(0) > d2(0) > d4(0); Recall@k: 100%; 倒数排名（完整）: 1; 倒数排名@k: 1
  • 中英文页面使用同一份原创英文合成语料；这是词面 token 匹配，不是嵌入或 LLM 基准。
每个查询的 Recall@kprivate dns endpoint100 %restore replication backup100 %capacity cpu traffic100 %evaluation recall100 %authorization evaluation100 %

实验步骤

  1. 使用固定的五篇短文档、五条查询和已知相关 ID。
  2. 查看每条查询的相关 ID、返回排序、分数、Recall@k 与倒数排名。
  3. 区分检索命中、答案生成质量、引用和权限过滤。

可复现的输入语料与相关性标签

下列五条原创英文句子与查询相关性 ID 是本实验的完整输入。分数按查询词的精确匹配数量计算，同分文档按 ID 排序。

d1
Private Endpoint design requires private DNS zones and public network review.
d2
Backup restore drills compare RPO, RTO, validation, and replication assumptions.
d3
RAG retrieval needs citations, authorization filtering, and answer evaluation.
d4
Container capacity depends on CPU service time, traffic, replicas, and headroom.
d5
Classification evaluation uses precision, recall, confusion matrices, and thresholds.
  • private dns endpoint — 相关 ID: d1
  • restore replication backup — 相关 ID: d2
  • capacity cpu traffic — 相关 ID: d4
  • evaluation recall — 相关 ID: d3, d5
  • authorization evaluation — 相关 ID: d3, d5

来源、公式与限制

原创英文合成语料、固定查询和已知相关 ID；本地计算 Recall@k、MRR@k 与完整排序 MRR。

中英文页面使用相同英文语料以便复现；没有嵌入、模型、网络调用或有效人工标注基准。

词面检索和小语料不能证明 RAG 可靠、接地、安全或生产质量。