How Local Mixing Encodes Relative Position in Global NoPE Attention

arxiv · arXiv · 2026-09-30 01:47 · 评分 82

研究无显式位置编码的全局注意力中，局部混合层如何隐式编码相对位置，解释 NoPE 模型的位置感知机制。