DirectSpeech2LLM: A Simple End-to-End Framework to Mitigate Prompt Overfitting in Speech-LLMs

arxiv · arXiv · 2026-10-06 18:16 · 评分 84

论文提出DirectSpeech2LLM，一个简单端到端框架，通过在冻结LLM嵌入矩阵上计算基于距离的CTC损失，缓解语音大模型对ASR指令的过拟合，使其能泛化到语音翻译等未见任务。