字节跳动 11 月发布的 Vidi2,彻底解决了长视频从“模糊理解”到“精准定位”的难题,让 AI 剪辑真正进入工业化可用阶段。 🔹 视频版 Ctrl+F 核心突破是 STG(时空定位)。传统模型像 RAG 一样只能模糊检索“大概讲了什么”,Vidi2 能实现端到端输出:不仅知道“有猫”,还能精确给出“第 14 分 20 秒、屏幕左下方”的 Bounding Box 坐标。 🔹 实战优于对话 在 VUE-STG 基准测试中,其定位精度(vIoU)比 GPT-5 和 Gemini 3 Pro 高出一倍。这说明它不适合“陪聊”,但极适合“干活”——比如自动识别主角,将 1 小时横屏素材无损裁切为适应手机端的竖屏短片(Smart Reframing)。 🔹 从理解到创作 基于 Gemma-3 架构,支持超长上下文(>1小时)。丢给它一堆杂乱的 Raw Footage,它能结合音频(如警笛声)与视觉信号,自动梳理故事线并生成剪辑脚本,而非简单的切片。 🔗 项目主页: https://bytedance.github.io/vidi-website #AI工作流 #视频自动化 #Vidi2 #多模态 #生产力工具