https://www.ithome.me/tags/pytorch/ Recent content in PyTorch on 编程心语 Hugo zh-CN Thu, 17 Sep 2026 12:38:30 +0800 https://www.ithome.me/post/2026/09/17/executorch-llm-export-pte/ Thu, 17 Sep 2026 08:00:00 +0800 https://www.ithome.me/post/2026/09/17/executorch-llm-export-pte/ <h2 id="做端侧部署为什么多了一个-pytorch-原生选项">做端侧部署，为什么多了一个 PyTorch 原生选项</h2> <p>做端侧 AI，最痛的一环往往是模型转换：PyTorch 训练完，先导出 ONNX，再转 TFLite 或 Core ML，算子一缺就回头改模型；量化、Profile、调试也是每套工具配一遍。</p> https://www.ithome.me/post/2026/08/12/edge-ai-knowledge-distillation/ Wed, 12 Aug 2026 08:00:00 +0800 https://www.ithome.me/post/2026/08/12/edge-ai-knowledge-distillation/ <p>上次我们用 INT8 量化把 MobileNetV2 从 14 MB 压到 3.5 MB（见<a href="https://www.ithome.me/post/2026/08/07/on-device-quantization-model/" rel="">端侧模型 INT8 量化实战</a> ）。但量化是事后减肥：模型该多大还多大，该多笨还多笨。今天聊另一种压缩思路——<strong>知识蒸馏（Knowledge Distillation）</strong>，它发生在训练阶段：让小模型拜大模型为师，直接把大模型脑子里的判断力继承下来。</p> <p>一句话概括：<strong>量化管体积，蒸馏管智商</strong>。两者不冲突，先蒸馏再量化，是端侧部署的标准组合拳。</p>