https://ai.wujiong.cc/tags/%E6%9C%AC%E5%9C%B0%E6%A8%A1%E5%9E%8B/Recent content in 本地模型 on AI 观察Hugozh-CNSat, 17 Oct 2026 09:23:00 +0800https://ai.wujiong.cc/posts/2026-10-17-local-model-cpu-offload-faq/Sat, 17 Oct 2026 09:23:00 +0800https://ai.wujiong.cc/posts/2026-10-17-local-model-cpu-offload-faq/<p>显存不够时，把部分层放到 CPU/内存能跑起来，但通常更慢。下面用 FAQ 建立正确预期。</p> <h2 id="什么时候该考虑-offload">什么时候该考虑 offload？</h2> <p>模型权重无法完整放入 GPU，但仍想本机跑通，且能接受速度下降。</p> <h2 id="offload-后还算本地私有吗">offload 后还算本地私有吗？</h2> <p>权重与请求仍在你机器上；隐私取决于进程与网络策略。offload 本身不等于自动更安全。</p>