kb-bench · 知识库答对率评测器
绝大多数知识库只报「命中率」——那东西能刷到 97%。这里报的是答对率:top1 必须命中你写的「预期特征」才算对。
同一份语料,两个检索器并排跑,差距一眼看见。
① 语料
支持 Markdown(### Q: 问题 / 关键词: a,b / A: 答案),或每行 问题 | 关键词 | 答案
② 题集
每行一条:客户会怎么问 || 正确答案必须包含的特征(正则)
示例是一套 9 条语料 / 10 道题的脱敏样例(小微企业 AI 客服知识库)。数字不是排好的:里面确实有 2 道题命中了却答错、1 道题完全没命中。
—命中率(一般工具只报这个)
—答对率 · 二字组检索
—答对率 · 关键词基线
—题数 / 语料条目