Natural Memory NM2.1: 记忆路由器分叉、数据集缺陷修复与全轴评测证据

- 引入 MemoryRouterXL 与 v5/v6 流式多线程训练/编码管线
- 修复 prepare_memory_router_dataset 候选池重建缺陷(mega 家族 3568x 加速,输出逐字节相同)
- 修复 v5 被破坏的拒答与多跳标签(train 未知样本 319 -> 16319,multi_hop 平均正例 1.00 -> 2.00)
- 同存储预算下 V2-128 v6 逐轴 22/22 通过:Top-1 41.12% -> 94.62%,未知拒答 0.00% -> 100.00%
- 记录三条被实测推翻的显然优化(logits_to_keep=1 反而慢 55%、XL 容量未带来收益)
- 记忆手术跨架构可移植性 14/14,读写关闭时与原生模型逐位相同
This commit is contained in:
WpyQwq
2026-09-19 11:11:31 +08:00
commit 643e22ecb9
484 changed files with 306821 additions and 0 deletions
+81
View File
@@ -0,0 +1,81 @@
# 未知问题可分性分析(能否从分数几何判断"库里没有这个属性")
训练集 1200 条(未知 199),评测集 300 条(未知 50)。
逻辑回归头**只在训练集上拟合**,AUC 在评测集上计算。AUC 0.5 = 完全不可分。
## 打分器 `cosine`
**单特征最佳 AUC**:margin 0.6257, entropy 0.6168, top1_minus_median 0.6166, z_top1 0.6125
**拟合头 AUC(评测集)**:0.6086
| 判定阈值 | 标出未知的比例 | 误拒可回答的比例 |
|---:|---:|---:|
| 0.05 | 0.00% | 0.00% |
| 0.10 | 0.00% | 0.00% |
| 0.20 | 0.00% | 0.00% |
| 0.30 | 0.00% | 0.00% |
| 0.40 | 0.00% | 0.00% |
| 0.50 | 0.00% | 0.00% |
| 0.60 | 0.00% | 0.00% |
| 0.70 | 0.00% | 0.00% |
| 0.80 | 46.00% | 30.00% |
| 0.90 | 96.00% | 84.00% |
## 打分器 `router`
**单特征最佳 AUC**:z_top1 0.5711, margin 0.5516, std 0.5447, top3_mean 0.5386
**拟合头 AUC(评测集)**:0.5130
| 判定阈值 | 标出未知的比例 | 误拒可回答的比例 |
|---:|---:|---:|
| 0.05 | 0.00% | 0.00% |
| 0.10 | 0.00% | 0.00% |
| 0.20 | 0.00% | 0.00% |
| 0.30 | 0.00% | 0.00% |
| 0.40 | 0.00% | 0.00% |
| 0.50 | 0.00% | 0.00% |
| 0.60 | 4.00% | 5.20% |
| 0.70 | 4.00% | 7.20% |
| 0.80 | 38.00% | 34.80% |
| 0.90 | 90.00% | 94.00% |
## 打分器 `text_retriever`
**单特征最佳 AUC**:margin 0.6076, top1_minus_median 0.5712, entropy 0.5655, z_top1 0.5512
**拟合头 AUC(评测集)**:0.4752
| 判定阈值 | 标出未知的比例 | 误拒可回答的比例 |
|---:|---:|---:|
| 0.05 | 0.00% | 0.00% |
| 0.10 | 0.00% | 0.00% |
| 0.20 | 0.00% | 0.00% |
| 0.30 | 0.00% | 0.00% |
| 0.40 | 0.00% | 0.00% |
| 0.50 | 0.00% | 0.00% |
| 0.60 | 0.00% | 0.00% |
| 0.70 | 0.00% | 1.20% |
| 0.80 | 14.00% | 15.20% |
| 0.90 | 100.00% | 100.00% |
## 打分器 `blend_50_50`
**单特征最佳 AUC**:margin 0.5446, z_top1 0.5132, n_within_10pct 0.5104, std 0.5042
**拟合头 AUC(评测集)**:0.5062
| 判定阈值 | 标出未知的比例 | 误拒可回答的比例 |
|---:|---:|---:|
| 0.05 | 0.00% | 0.00% |
| 0.10 | 0.00% | 0.00% |
| 0.20 | 0.00% | 0.00% |
| 0.30 | 0.00% | 0.00% |
| 0.40 | 0.00% | 0.00% |
| 0.50 | 0.00% | 0.00% |
| 0.60 | 0.00% | 0.00% |
| 0.70 | 2.00% | 0.40% |
| 0.80 | 22.00% | 28.40% |
| 0.90 | 72.00% | 74.00% |