AI 编程 › AI 资讯 › 正文

WNet: Discrete Wavelets Transform for Efficient Token Mixing

arxiv · arXiv · 2026-10-04 03:20 · 评分 79

提出WNet Transformer编码器,用离散小波变换替代自注意力完成token混合,避免序列长度二次方成本,同时保留全局上下文建模能力。适合长序列编码,是高效注意力替代方案。

原文:arXiv | 返回 AI 资讯列表