近年来，各大芯片厂商和电脑品牌都在推广“AI PC”的概念，手机发布会上也频繁出现“端侧大模型”“NPU 算力”等字眼。NPU（神经网络处理单元）是专门为 AI 计算设计的处理器，它的核心价值在于以很低的功耗持续运行 AI 任务。 但对于普通用户和企业来说，更关心的问题是：这些本地 AI 算力，到底能带来什么实际价值？

NPU、GPU 和 CPU 的分工

  • CPU：通用计算，擅长处理复杂的逻辑和控制流程，但大规模并行计算效率不高；
  • GPU：大规模并行计算，算力强大，适合训练模型和高性能推理，但功耗较高；
  • NPU：专门针对神经网络的矩阵运算优化，在执行特定 AI 任务时能效比很高，适合长时间、低功耗地运行 AI 功能。

在一台 AI PC 中，三者通常协同工作：NPU 负责持续运行的轻量 AI 任务，GPU 负责需要高算力的任务，CPU 负责调度和其他计算。

本地 AI 的优势

隐私

数据在设备上处理，不需要上传到云端。处理个人照片、本地文档、会议录音等敏感内容时尤其有价值。

低延迟和离线可用

不依赖网络，响应更快，在飞机上、信号差的地方也能使用。

低功耗

NPU 的高能效比让 AI 功能可以长时间运行而不明显影响续航，例如持续的背景虚化和降噪。

无调用成本

本地运行不产生 API 费用，适合高频使用的功能。

端侧小模型的整体趋势可参考端侧小模型崛起。

典型应用场景

音视频增强

视频会议中的背景虚化、人像跟踪、眼神校正、噪声消除，这些功能需要实时持续运行，非常适合交给 NPU。

图像处理

照片的智能分类、搜索、修图、超分辨率等，在本地即可完成。

实时字幕与翻译

对正在播放的音视频或会议生成实时字幕，甚至进行翻译。

本地助手

用小规模语言模型实现文本改写、摘要、本地文件搜索等功能，复杂问题再转交云端大模型。

安全与管理

本地的异常行为检测、敏感信息识别等。

本地 AI 的局限

模型规模有限

受内存容量和带宽限制，能在个人设备上流畅运行的模型规模有限。在复杂推理、知识广度和长文本处理上，与云端大模型仍有明显差距。

软件生态仍在成熟

NPU 需要专门的软件支持，不同厂商的 NPU 编程接口和工具链不同。很多 AI 应用目前仍然主要使用 GPU 或 CPU，没有充分利用 NPU。

内存是关键瓶颈

运行本地大模型时，内存容量往往比 NPU 算力更关键。模型权重需要全部加载到内存中，内存不足时无法运行或速度很慢。量化可以降低内存需求，参见模型量化详解。

宣传指标需要理性看待

厂商常用每秒万亿次运算之类的指标宣传 NPU 算力，但不同厂商的测量口径可能不同，实际体验还取决于软件优化、内存带宽和具体应用的支持情况。

购买与采购建议

个人用户

  • 如果主要使用云端 AI 服务（在线聊天助手、云端办公 AI），NPU 不是必需品；
  • 如果经常开视频会议，或希望在本地运行开源模型处理隐私数据，可以关注 NPU 和内存配置；
  • 想在本地运行大模型，优先考虑更大的内存，参见用 Ollama 在本地运行大模型。

企业采购

  • 评估员工实际会使用的 AI 功能，以及这些功能是否真正利用了 NPU；
  • 对于处理敏感数据的岗位，本地 AI 能力有助于满足数据不出设备的要求；
  • 考虑设备的使用周期，软件生态在未来几年可能会进一步完善；
  • 内存配置要留有余量。

小结

NPU 让个人设备能够以低功耗持续运行 AI 任务，在音视频增强、图像处理、实时字幕和隐私敏感的本地处理中具有实际价值。但本地模型的能力有限，软件生态仍在发展，内存往往比 NPU 算力更关键。端云协同，即简单任务本地处理、复杂任务交给云端，是当前最务实的使用方式。