INT8 on 编程心语 https://www.ithome.me/tags/int8/ Recent content in INT8 on 编程心语 Hugo zh-CN Fri, 07 Aug 2026 12:10:05 +0800 端侧模型 INT8 量化实战：从 PyTorch 到 ONNX 的部署压缩全流程 https://www.ithome.me/post/2026/08/07/on-device-quantization-model/ Fri, 07 Aug 2026 08:00:00 +0800 https://www.ithome.me/post/2026/08/07/on-device-quantization-model/ <p>模型训练完只是一个 FP32 的&quot;大胖子&quot;——一个 8 bit 的比特、32 位浮点权重，参数动不动几 MB。手机、树莓派、边缘盒子内存有限，直接部署往往力不从心。量化就是把这段&quot;高清视频压成 MP4&quot;的过程：用更少的 bit 存权重（INT8 只用 8 bit），换更小的体积和更快的推理，代价是少量精度损失。今天我们用 <code>onnxruntime</code> 走一遍<strong>端侧模型 INT8 静态量化</strong>的完整套路：导出 → 校准 → 量化 → 移动端推理。</p>