https://www.ithome.me/tags/cost-optimization/ Recent content in Cost-Optimization on 编程心语 Hugo zh-CN Mon, 03 Aug 2026 19:09:21 +0000 https://www.ithome.me/post/2026/08/04/llm-api-cache-practical-guide/ Tue, 04 Aug 2026 08:00:00 +0800 https://www.ithome.me/post/2026/08/04/llm-api-cache-practical-guide/ <h2 id="为什么你的-llm-账单越烧越高">为什么你的 LLM 账单越烧越高</h2> <p>接入大模型三个月，账单比想象中高出一大截。翻日志发现一个扎心的事实：<strong>大量请求是重复的</strong>。</p> <ul> <li>定时任务每天早上用同一份模板汇总数据，prompt 一字不差，却每次全价调用；</li> <li>用户提问&quot;帮我解释下这段代码&quot;和&quot;这段代码什么意思&quot;，语义相同，模型却要重新推理一遍；</li> <li>长 system prompt（几千 token 的角色设定 + 知识库）每次请求都重复计费。</li> </ul> <p>LLM 按 token 计费，重复推理就是纯浪费。本文分享一套实战验证过的三层缓存方案，从上到下依次是：<strong>精确缓存 → 语义缓存 → 供应商 Prompt Cache</strong>，三层叠加通常能把成本降 50% 以上，顺带把响应延迟从秒级降到毫秒级。</p>