https://www.ithome.me/tags/%E9%87%8F%E5%8C%96/ Recent content in 量化 on 编程心语 Hugo zh-CN Tue, 04 Aug 2026 14:59:27 +0800 https://www.ithome.me/post/2026/08/05/mobile-llm-guide/ Wed, 05 Aug 2026 08:00:00 +0800 https://www.ithome.me/post/2026/08/05/mobile-llm-guide/ <h2 id="手机跑大模型先别急着说不可能">手机跑大模型？先别急着说不可能</h2> <p>想象一下：你把 ChatGPT 装进手机里，<strong>不联网</strong>、<strong>不收费</strong>、<strong>不上传任何数据</strong>，它依然能陪你聊天、写文案、改代码——这就是端侧大模型的魅力。</p> <p>2026 年，这不是科幻。参数 1B-4B 的小模型经过量化后，只需要 <strong>几百 MB 内存</strong>，在旗舰手机上能跑到 <strong>每秒 10-30 个 token</strong>（约等于&quot;边想边说的语速&quot;）。</p>