Qwen3.8-27B-4bit 本地部署,我拿 M1 Pro 32GB 实测了下 生成速度 10 tok/s,一句话等两三秒才开始出字。长 prompt 预填充等一分钟以上,128K 上下文理论上支持。 M1 Pro 上 27B 能跑得起来,但拿来做日常工具还差点意思。想要丝滑体验,内存带宽还得再翻一倍,达到 20 tok/s。
Qwen3.8-27B-4bit 本地部署,我拿 M1 Pro 32GB 实测了下