用 3B 算力跑 28B 模型的推理

用 3B 算力跑 28B 模型的推理 百度新开源了多模态模型 ERNIE-4.5-VL-28B-A3B-Thinking，重点是通过 MoE 架构实现低成本高性能。 MoE (混合专家) 原理好比： 你有一个 28 人的专家团 (总参数)，但回答问题时只喊 3 个最懂行的 (激活参数) 来干活。结果是 3B 模型的计算/显存占用，但接近 28B 模型的推理能力。 1️⃣ 免费可商用：Apache 2.0 许可。 2️⃣ 独特能力：“带图像思考” (Thinking with Images)，可对图像局部缩放、裁剪和迭代推理，适合复杂图表、文档理解。 3️⃣ 性能参考：官方称在 VQA、MMBench 等基准上优于 Gemini 2.5 Pro。 🔹 注意：虽然激活参数少，但部署时需加载全部 28B 权重。最小配置需 80GB 显存 (如 A100)，支持 vLLM。 Hugging Face: https://huggingface.co/baidu/ERNIE-4.5-VL-28B-A3B-Thinking #AIart #多模态 #开源模型 #MoE #ERNIE