Google 让 LLM 学会了睡觉。 Google 推出了 Sleep 框架,让 LLM 在「清醒」和「睡眠」之间循环。白天积累,离线把短期记忆蒸馏进长期权重。 清醒时干活、把信息丢进易失的短期记忆;睡眠时停掉输入,用 MoE 扩容把记忆写进权重,再靠随机专家「做梦」自我精炼。
Google 让 LLM 学会了睡觉。 Google 让 LLM 学会了睡觉。