小模型为什么更适合端侧 AI：量化、蒸馏与设备约束的工程实践

端侧价值来自确定的本地能力

把模型放在设备上可以降低网络延迟、减少云端费用并保护隐私，但设备内存、带宽、散热和电量都很有限。选型时应从任务出发：离线分类、语音唤醒和结构化抽取通常不需要最大模型。真正指标是目标设备上的端到端耗时、峰值内存、耗电和任务准确率。

量化不是简单降低位数

权重从高精度压缩到 8 位或 4 位可以减少存储与计算，但不同层对误差的敏感度不同。应使用真实数据校准，并重点检查少数类、长文本和边界输入。若硬件不支持对应算子，理论压缩反而可能触发回退，导致延迟更高，因此必须在目标芯片与运行时上测试。

蒸馏需要围绕任务

学生模型可以学习教师模型的输出分布、推理步骤或中间表示。训练数据应覆盖线上真实分布，而不是只使用通用语料。对于高风险错误，可提高对应样本权重并加入规则校验。蒸馏后应重新评估校准度，因为小模型可能给出过度自信的错误答案。

运行时优化同样关键

模型结构、算子融合、线程数、内存复用和预热策略共同决定体验。应用需要控制输入长度，避免一次请求抢占全部资源；长任务可分段处理并允许取消。模型文件应签名校验和增量更新，防止被替换或下载失败造成应用不可用。

云端与端侧协同

端侧先处理隐私敏感和低难度任务，置信度不足时再在用户授权下调用云端。路由策略要考虑网络、剩余电量、数据敏感度和成本。端侧 AI 不是云模型的缩水版，而是一套围绕设备约束重新设计的数据、模型和产品体系。