arxiv · arXiv · 2026-09-25 22:01 · 评分 79
针对小语言模型大词表输出头推理成本高的问题,提出Softmax重参数化后训练方法:量化前从每个输出行减去词表行均值的标量倍数,用验证KL选择系数,得到功能等价输出头;可适配RTN、激活加权MSE和GPTQ等量化方案,降低量化损失。
原文:arXiv | 返回 AI 资讯列表