端侧AI on 编程心语

端侧姿态估计实战：用 MediaPipe Pose Landmarker 给应用装上骨架追踪

Sat, 08 Aug 2026 08:00:00 +0800

为什么要在端侧做姿态估计

健身 App 的深蹲计数、体感游戏的角色控制、运动康复的关节角度分析、儿童体态监测——这些场景的共同点是需要实时追踪人体骨架，而画面里全是敏感的身体信息。把姿态估计模型跑在设备端，视频不出手机，延迟低到能跟上 30fps 的视频流，还不用为每次推理付云服务费。这就是端侧姿态估计（On-Device Pose Estimation）的价值。

端侧 Embedding 模型实战：为本地 RAG 选对编码器

Fri, 07 Aug 2026 08:00:00 +0800

为什么 Embedding 模型是 RAG 的"地基"

做本地 RAG（检索增强生成）时，大部分人把精力花在 LLM 选型上——7B 还是 13B？量化到 4bit 够不够？但真正决定 RAG 检索质量的，往往是管道入口处的 Embedding 模型。

端侧模型 INT8 量化实战：从 PyTorch 到 ONNX 的部署压缩全流程

Fri, 07 Aug 2026 08:00:00 +0800

模型训练完只是一个 FP32 的"大胖子"——一个 8 bit 的比特、32 位浮点权重，参数动不动几 MB。手机、树莓派、边缘盒子内存有限，直接部署往往力不从心。量化就是把这段"高清视频压成 MP4"的过程：用更少的 bit 存权重（INT8 只用 8 bit），换更小的体积和更快的推理，代价是少量精度损失。今天我们用 onnxruntime 走一遍端侧模型 INT8 静态量化的完整套路：导出 → 校准 → 量化 → 移动端推理。

端侧语音合成实战：用 Piper 让应用离线开口说话

Fri, 07 Aug 2026 08:00:00 +0800

为什么要在端侧跑语音合成

上一篇《端侧语音识别实战》解决了"听懂"，这篇解决"说话"。语音合成（TTS）同样有云端方案解决不了的问题：儿童故事机、导航提示、无障碍朗读、本地语音助手，要么没网，要么把文本上传云端合成既花钱又泄露内容——刚输入的文字、个人笔记、聊天记录都是敏感数据。

端侧语音识别实战：用 sherpa-onnx 让应用离线听懂中文

Thu, 06 Aug 2026 08:00:00 +0800

为什么要在端侧跑语音识别

智能音箱、会议纪要工具、车载语音助手、儿童故事机——这些场景的语音输入都有一个共同痛点：把音频上传云端识别，既慢又贵，还涉及隐私。端侧语音识别（On-Device ASR）把模型直接跑在设备 CPU 上，离线可用、零延迟感、音频不出设备。

手机也能跑大模型？从模型选择到部署的完整指南

Wed, 05 Aug 2026 08:00:00 +0800

手机跑大模型？先别急着说不可能

想象一下：你把 ChatGPT 装进手机里，不联网、不收费、不上传任何数据，它依然能陪你聊天、写文案、改代码——这就是端侧大模型的魅力。

2026 年，这不是科幻。参数 1B-4B 的小模型经过量化后，只需要 几百 MB 内存，在旗舰手机上能跑到 每秒 10-30 个 token（约等于"边想边说的语速"）。

端侧目标检测实战：YOLOv8 导出 Core ML 部署到 iPhone

Wed, 05 Aug 2026 08:00:00 +0800

为什么让手机自己"看"

云端识别 API 成熟好用，但三个痛点始终绕不开：隐私——画面要上传到别人服务器；时延——往返一次网络 200-500ms，实时视频流根本扛不住；成本——按次计费，摄像头一直开着就是烧钱。端侧部署把模型塞进手机，推理不出设备，隐私、时延、成本一次解决。这也是智能安防、工业质检、AR 应用的主流做法。