Agreement Is Not Validity: Cross-Model LLM Consensus in Diagnosing Student Failure Modes in K-12 Math Tutoring Dialogue

arxiv · arXiv · 2026-10-07 01:16 · 评分 87

研究考察K-12数学辅导对话中，跨模型LLM对学生错误模式诊断的一致性是否代表有效性。结果表明‘一致性不等于有效性’，依赖LLM自动分析学习过程时需进行效度检验，而非仅看模型间共识。