WpyQwq
643e22ecb9
- 引入 MemoryRouterXL 与 v5/v6 流式多线程训练/编码管线 - 修复 prepare_memory_router_dataset 候选池重建缺陷（mega 家族 3568x 加速，输出逐字节相同） - 修复 v5 被破坏的拒答与多跳标签（train 未知样本 319 -> 16319，multi_hop 平均正例 1.00 -> 2.00） - 同存储预算下 V2-128 v6 逐轴 22/22 通过：Top-1 41.12% -> 94.62%，未知拒答 0.00% -> 100.00% - 记录三条被实测推翻的显然优化（logits_to_keep=1 反而慢 55%、XL 容量未带来收益） - 记忆手术跨架构可移植性 14/14，读写关闭时与原生模型逐位相同
82 lines
2.3 KiB
Markdown
82 lines
2.3 KiB
Markdown
# 未知问题可分性分析（能否从分数几何判断"库里没有这个属性"）
|
||
|
||
训练集 1200 条（未知 199），评测集 300 条（未知 50）。
|
||
逻辑回归头**只在训练集上拟合**，AUC 在评测集上计算。AUC 0.5 = 完全不可分。
|
||
|
||
## 打分器 `cosine`
|
||
|
||
**单特征最佳 AUC**：margin 0.6257, entropy 0.6168, top1_minus_median 0.6166, z_top1 0.6125
|
||
|
||
**拟合头 AUC（评测集）**：0.6086
|
||
|
||
| 判定阈值 | 标出未知的比例 | 误拒可回答的比例 |
|
||
|---:|---:|---:|
|
||
| 0.05 | 0.00% | 0.00% |
|
||
| 0.10 | 0.00% | 0.00% |
|
||
| 0.20 | 0.00% | 0.00% |
|
||
| 0.30 | 0.00% | 0.00% |
|
||
| 0.40 | 0.00% | 0.00% |
|
||
| 0.50 | 0.00% | 0.00% |
|
||
| 0.60 | 0.00% | 0.00% |
|
||
| 0.70 | 0.00% | 0.00% |
|
||
| 0.80 | 46.00% | 30.00% |
|
||
| 0.90 | 96.00% | 84.00% |
|
||
|
||
## 打分器 `router`
|
||
|
||
**单特征最佳 AUC**：z_top1 0.5711, margin 0.5516, std 0.5447, top3_mean 0.5386
|
||
|
||
**拟合头 AUC（评测集）**：0.5130
|
||
|
||
| 判定阈值 | 标出未知的比例 | 误拒可回答的比例 |
|
||
|---:|---:|---:|
|
||
| 0.05 | 0.00% | 0.00% |
|
||
| 0.10 | 0.00% | 0.00% |
|
||
| 0.20 | 0.00% | 0.00% |
|
||
| 0.30 | 0.00% | 0.00% |
|
||
| 0.40 | 0.00% | 0.00% |
|
||
| 0.50 | 0.00% | 0.00% |
|
||
| 0.60 | 4.00% | 5.20% |
|
||
| 0.70 | 4.00% | 7.20% |
|
||
| 0.80 | 38.00% | 34.80% |
|
||
| 0.90 | 90.00% | 94.00% |
|
||
|
||
## 打分器 `text_retriever`
|
||
|
||
**单特征最佳 AUC**：margin 0.6076, top1_minus_median 0.5712, entropy 0.5655, z_top1 0.5512
|
||
|
||
**拟合头 AUC（评测集）**：0.4752
|
||
|
||
| 判定阈值 | 标出未知的比例 | 误拒可回答的比例 |
|
||
|---:|---:|---:|
|
||
| 0.05 | 0.00% | 0.00% |
|
||
| 0.10 | 0.00% | 0.00% |
|
||
| 0.20 | 0.00% | 0.00% |
|
||
| 0.30 | 0.00% | 0.00% |
|
||
| 0.40 | 0.00% | 0.00% |
|
||
| 0.50 | 0.00% | 0.00% |
|
||
| 0.60 | 0.00% | 0.00% |
|
||
| 0.70 | 0.00% | 1.20% |
|
||
| 0.80 | 14.00% | 15.20% |
|
||
| 0.90 | 100.00% | 100.00% |
|
||
|
||
## 打分器 `blend_50_50`
|
||
|
||
**单特征最佳 AUC**：margin 0.5446, z_top1 0.5132, n_within_10pct 0.5104, std 0.5042
|
||
|
||
**拟合头 AUC（评测集）**：0.5062
|
||
|
||
| 判定阈值 | 标出未知的比例 | 误拒可回答的比例 |
|
||
|---:|---:|---:|
|
||
| 0.05 | 0.00% | 0.00% |
|
||
| 0.10 | 0.00% | 0.00% |
|
||
| 0.20 | 0.00% | 0.00% |
|
||
| 0.30 | 0.00% | 0.00% |
|
||
| 0.40 | 0.00% | 0.00% |
|
||
| 0.50 | 0.00% | 0.00% |
|
||
| 0.60 | 0.00% | 0.00% |
|
||
| 0.70 | 2.00% | 0.40% |
|
||
| 0.80 | 22.00% | 28.40% |
|
||
| 0.90 | 72.00% | 74.00% |
|
||
|