Faster prompt lookup drafting in llama.cpp

hackernews · Hacker News · 2026-09-27 03:57 · 评分 90

Hayder Tirmazi优化了llama.cpp中的prompt lookup草稿生成，速度提升最高42倍、内存占用减少2.6倍，并基于Daniel Lemire等人的工作。