用 3B 算力跑 28B 模型的推理 百度新开源了多模态模型 ERNIE-4.5-VL-28B-A3B-Thinking,重点是通过 MoE 架构实现低成本高性能。 MoE (混合专家) 原理好比: 你有一个 28 人的专家团 (总参数),但回答问题时只喊 3 个最懂行的 (激活参数) 来干活。结果是 3B 模型的计算/显存占用,但接近 28B 模型的推理能力。 1️⃣ 免费可商用:Apache 2.0 许可。 2️⃣ 独特能力:“带图像思考” (Thinking with Images),可对图像局部缩放、裁剪和迭代推理,适合复杂图表、文档理解。 3️⃣ 性能参考:官方称在 VQA、MMBench 等基准上优于 Gemini 2.5 Pro。 🔹 注意:虽然激活参数少,但部署时需加载全部 28B 权重。最小配置需 80GB 显存 (如 A100),支持 vLLM。 Hugging Face: https://huggingface.co/baidu/ERNIE-4.5-VL-28B-A3B-Thinking #AIart #多模态 #开源模型 #MoE #ERNIE
用 3B 算力跑 28B 模型的推理