Checker 准确率监控
监控
数据集
调试台
161 · 棱镜二期
163 · 阿加莎二期
LIVE
真实数据 · 盯 prompt 改动前后
—
—
—
判打回率(AI fail 占比/日)
备注率(专家抗辩占比/日)
—
当期混淆矩阵
点格子看该类目下的题目 →
口径说明(点开)
TP 正确拦截
= 被拦截 + 无备注(含:被拦截+有备注但人工最终也打回)。
FN 漏放
= checker 判通过 + 人工最终打回。
FP 误杀
= 被拦截 + 有强制通过备注 + 人工最终认可(备注被背书)。
TN 正确放行
= checker 判通过 + 人工最终认可。
漏放率 = FN/(TP+FN);误杀率 = FP/(FP+TP)。主图两条线 = 每日判打回率 / 备注率(判定行为趋势)。⚠ FN 为上限口径:多轮 gate 下大部分题至少被打回一次,打回维度未必=本 checker 维度;此为 L1 生产信号,非精确准确率。