多模态
模型架构多模态(Multimodal)指 AI 能同时处理多种信息——文字、图片、声音、视频,而不是只会其中一种。它是 AIGC 往”全能”走的关键一步。
多模态(Multimodal)指的是 AI 能同时处理多种"模态"的信息——文字、图片、声音、视频,而不是只会其中一种。
早年的模型是"偏科生":LLM 只懂文字,Diffusion 只懂画画。多模态要做的是把它们打通,让一个模型既能看图又能说话还能听声。比如你拍张菜市场的照片问"这俩菜怎么做",它得先"看见"图,再组织语言答你——这背后是视觉和语言两套能力接在了一起。
它是 AIGC 往"全能"走的关键一步。纯文字的 LLM 像只会读书的人,多模态模型像长了眼睛耳朵的人,能直接理解真实世界。现在很多旗舰模型都标榜"原生多模态",意思是生来就能处理多种输入,而不是后期硬拼。
和 Diffusion 的区别:Diffusion 专注"出画面",多模态更像一个"全感官"框架,可以把画图、听声、对话都包进去。
和谁不一样
Diffusion
Diffusion 专注'出画面',多模态是把图文声视频打通的更宽框架。