Qwen3.8 27B 量化基准测试：4-bit 依然稳健，1-bit 彻底崩了

想跑 Qwen3.8 27B 又不牺牲效果，到底需要多少显存？ 完整 BF16 模型有 55 GB，大多数消费级硬件根本装不下。但 17 GB 的 Q4_K_M 在热门智能体编码基准 Terminal-Bench 2.1 上能追平完整模型，还能塞进 RTX 4090 这类 24 GB 显卡，同时留出大约 64k token 的上下文空间。 不过压缩终有崩盘的时候。压到 1 bit，模型在 GPQA Diamond 上的表现跟瞎蒙差不多，推理越长反而越糟。 ## 背景 Unsloth 在 Hugging Face 上提供的 Qwen3.8 27B GGUF 量化版本，选择是真多。这次我会检查 8