WpyQwq
643e22ecb9
- 引入 MemoryRouterXL 与 v5/v6 流式多线程训练/编码管线 - 修复 prepare_memory_router_dataset 候选池重建缺陷（mega 家族 3568x 加速，输出逐字节相同） - 修复 v5 被破坏的拒答与多跳标签（train 未知样本 319 -> 16319，multi_hop 平均正例 1.00 -> 2.00） - 同存储预算下 V2-128 v6 逐轴 22/22 通过：Top-1 41.12% -> 94.62%，未知拒答 0.00% -> 100.00% - 记录三条被实测推翻的显然优化（logits_to_keep=1 反而慢 55%、XL 容量未带来收益） - 记忆手术跨架构可移植性 14/14，读写关闭时与原生模型逐位相同
25 lines
1.1 KiB
Markdown
25 lines
1.1 KiB
Markdown
| metric | V2-512 best(step1000) | V2-512 final(step100k) | XL-512 best(now) |
|
|
|---|---|---|---|
|
|
| 参数 | 4,741,902 | 4,741,902 | 7,898,127 |
|
|
| router_dim | 512 | 512 | 512 |
|
|
| 每条记录地址字节 | 2048 | 2048 | 2048 |
|
|
| **Top-1** | 0.6712 | 0.6063 | 0.6085 |
|
|
| Recall@1 | 0.6712 | 0.6063 | 0.6085 |
|
|
| Recall@3 | 0.8877 | 0.8501 | 0.9297 |
|
|
| Recall@5 | 0.9493 | 0.9013 | 0.9733 |
|
|
| MRR | 0.7908 | 0.7326 | 0.7598 |
|
|
| nDCG@3 | 0.8000 | 0.7457 | 0.7928 |
|
|
| 多跳证据全中(Top-3) | 0.8866 | 0.8490 | 0.9286 |
|
|
| hop 正确率 | 0.9784 | 0.9969 | 0.9938 |
|
|
| hop 欠预测率 | 0.0033 | 0.0033 | 0.0033 |
|
|
| need F1 | 0.9892 | 0.9989 | 0.9962 |
|
|
| need 召回 | 0.9978 | 0.9978 | 0.9978 |
|
|
| **未知拒答率**(specificity) | 0.6604 | 1.0000 | 0.9057 |
|
|
| **已知问题被误拒率** | 0.0022 | 0.0022 | 0.0022 |
|
|
| 未知问题误读率 | 0.3396 | 0.0000 | 0.0943 |
|
|
| 仲裁准确率 | 0.9794 | 0.9979 | 0.9928 |
|
|
| 已知/未知 need 概率均值 | 0.985/0.254 | 0.998/0.015 | 0.996/0.135 |
|
|
| 平均分数余量 | 0.5880 | 3.8837 | 6.7097 |
|
|
| 单查询延迟 ms(GPU) | - | - | - |
|
|
| 路由 QPS(GPU) | - | - | - |
|