NVIDIA 发布了 Nemotron 3 Nano Omni:一个模型实现文本/图像/视频/音频
30B MoE(激活仅 3B)混合架构。不需要拼 STT + 视觉模型 + LLM,所有模态在同一序列里联合推理,不是事后拼接。
- 文档:原生支持 100+ 页,动态分辨率最高 1840×1840
- 视频 + 音频:Conv3D + EVS 压缩,音画联合推理,支持 20 分钟音频
- GUI Agent:截图理解 + 自动操作,OSWorld 47.4(Qwen3-Omni 29.0)
- 吞吐:多文档 7.4x、视频 9.2x 于同类开源 omni
过去做多模态要跑 STT + 视觉 + LLM 三个循环,现在一步搞定。客服 agent 可以同时"看"屏幕 + "听"录音 + 查百页合同,一个推理循环输出,上下文不断。金融 agent 同步读财报、听业绩会、看图表,统一出结果。
开源(NVIDIA License),BF16/FP8/NVFP4 权重已上 HF。OpenAI 兼容 API,消费级显卡Ollama / vLLM 可以本地部署。