学到一个新的小技巧, 跟 AI 对话的时候, 尤其是多个context反复对话, 一直保持一个session 的情况, 如果你的算力非常紧张. 那么能不带动态内容, 尽量不要带动态内容, 比如当前时间戳, 会导致 KVCache 失效.

因为这样会导致每次生成的 token 序列不同, 迫使模型重新计算整个序列的 KVCache, 无法复用之前的缓存.

一些复杂的 UI, 比如 OpenWebUI, 会给当前聊天用 LLM 取名的这个操作, 虽然会更方便, 但如果发生在会话中间, 也会导致 KVCache 失效.

那么如何判断 KVCache 失效呢？实际应用中, 像 Llama.cpp 这类推理引擎确实对 KVCache 管理非常敏感. 一个简单的测试方法是观察推理时的内存波动 - 如果内存频大起大落, 说明 KVCache 未能有效复用.