arxiv · arXiv · 2026-10-01 01:50 · 评分 90
研究网页中AI生成文本对预训练的影响。经FineWeb过滤，6月网络数据中27.5%的token被Pangram标记为AI生成，8月升至31.1%。这种“野生”AI文本来自多模型、面向人类读者且未标注，论文进一步探究其对语言模型预训练的价值与缩放规律。
原文：arXiv ｜ 返回 AI 资讯列表