# 未知问题可分性分析（能否从分数几何判断"库里没有这个属性"）

训练集 1200 条（未知 199），评测集 300 条（未知 50）。
逻辑回归头**只在训练集上拟合**，AUC 在评测集上计算。AUC 0.5 = 完全不可分。

## 打分器 `cosine`

**单特征最佳 AUC**：margin 0.6257, entropy 0.6168, top1_minus_median 0.6166, z_top1 0.6125

**拟合头 AUC（评测集）**：0.6086

| 判定阈值 | 标出未知的比例 | 误拒可回答的比例 |
|---:|---:|---:|
| 0.05 | 0.00% | 0.00% |
| 0.10 | 0.00% | 0.00% |
| 0.20 | 0.00% | 0.00% |
| 0.30 | 0.00% | 0.00% |
| 0.40 | 0.00% | 0.00% |
| 0.50 | 0.00% | 0.00% |
| 0.60 | 0.00% | 0.00% |
| 0.70 | 0.00% | 0.00% |
| 0.80 | 46.00% | 30.00% |
| 0.90 | 96.00% | 84.00% |

## 打分器 `router`

**单特征最佳 AUC**：z_top1 0.5711, margin 0.5516, std 0.5447, top3_mean 0.5386

**拟合头 AUC（评测集）**：0.5130

| 判定阈值 | 标出未知的比例 | 误拒可回答的比例 |
|---:|---:|---:|
| 0.05 | 0.00% | 0.00% |
| 0.10 | 0.00% | 0.00% |
| 0.20 | 0.00% | 0.00% |
| 0.30 | 0.00% | 0.00% |
| 0.40 | 0.00% | 0.00% |
| 0.50 | 0.00% | 0.00% |
| 0.60 | 4.00% | 5.20% |
| 0.70 | 4.00% | 7.20% |
| 0.80 | 38.00% | 34.80% |
| 0.90 | 90.00% | 94.00% |

## 打分器 `text_retriever`

**单特征最佳 AUC**：margin 0.6076, top1_minus_median 0.5712, entropy 0.5655, z_top1 0.5512

**拟合头 AUC（评测集）**：0.4752

| 判定阈值 | 标出未知的比例 | 误拒可回答的比例 |
|---:|---:|---:|
| 0.05 | 0.00% | 0.00% |
| 0.10 | 0.00% | 0.00% |
| 0.20 | 0.00% | 0.00% |
| 0.30 | 0.00% | 0.00% |
| 0.40 | 0.00% | 0.00% |
| 0.50 | 0.00% | 0.00% |
| 0.60 | 0.00% | 0.00% |
| 0.70 | 0.00% | 1.20% |
| 0.80 | 14.00% | 15.20% |
| 0.90 | 100.00% | 100.00% |

## 打分器 `blend_50_50`

**单特征最佳 AUC**：margin 0.5446, z_top1 0.5132, n_within_10pct 0.5104, std 0.5042

**拟合头 AUC（评测集）**：0.5062

| 判定阈值 | 标出未知的比例 | 误拒可回答的比例 |
|---:|---:|---:|
| 0.05 | 0.00% | 0.00% |
| 0.10 | 0.00% | 0.00% |
| 0.20 | 0.00% | 0.00% |
| 0.30 | 0.00% | 0.00% |
| 0.40 | 0.00% | 0.00% |
| 0.50 | 0.00% | 0.00% |
| 0.60 | 0.00% | 0.00% |
| 0.70 | 2.00% | 0.40% |
| 0.80 | 22.00% | 28.40% |
| 0.90 | 72.00% | 74.00% |