量化 on AI 观察https://ai.wujiong.cc/tags/%E9%87%8F%E5%8C%96/Recent content in 量化 on AI 观察Hugozh-CNSat, 12 Sep 2026 12:23:05 +0800模型量化详解：INT8、INT4、GGUF 对大模型效果和速度的影响https://ai.wujiong.cc/posts/2026-09-12-llm-quantization/Sat, 12 Sep 2026 12:23:05 +0800https://ai.wujiong.cc/posts/2026-09-12-llm-quantization/<p>一个参数规模不大的开源模型，以原始的 16 位精度存储，也可能需要十几 GB 的显存，这已经超出了很多消费级显卡的容量。<strong>量化（Quantization）通过用更少的比特数表示模型参数，把模型体积和显存需求压缩到原来的一半甚至四分之一</strong>，让大模型能够在普通电脑、甚至手机上运行。它是开源模型能够普及的关键技术之一。</p>