节省 95% 算力成本,单卡 4090 就能跑赢千亿级模型的推理方案 微博开源 VibeThinker-1.5B,用“频谱到信号”新范式证明:逻辑推理能力不靠堆参数,而靠精细化的训练策略。 原理其实像“特种兵特训”:先通过多位专家模型蒸馏,让模型见识各种解题思路(Spectrum);再用 MGPO 算法奖励那些“极少数但正确”的路径(Signal),专攻数理逻辑,而非死记硬背。 🔹 以小博大:在 AIME 24/25 数学测试中,1.5B 参数的分数(80.3/74.4)超过了 671B 的 DeepSeek R1,证明小模型足以胜任复杂推理。 🔹 成本极低:后训练全流程仅耗资 $7,800(约 5.6 万人民币),相比大模型动辄几十万刀的投入,把微调门槛降到了个人开发者可接受的范围。 🔹 部署友好:支持 PyTorch 和 GGUF,单张消费级显卡(如 RTX 4090)甚至端侧设备即可本地流畅部署,延迟降低 42%。 👨‍💻 配置建议:推理时推荐 Temperature 设为 0.6 或 1.0,Top-p 0.95,Max Context 设为 40,960 token 以确保长思维链(CoT)完整输出。 🔗 模型下载:huggingface.co/WeiboAI/VibeThinker-1.5B #AI工作流 #本地部署 #边缘计算 #VibeThinker
节省 95% 算力成本,单卡 4090 就能跑赢千亿级模型的推理方案