wordpress调用列表页东莞百度seo在哪里
AIGC实战——多模态模型Flamingo
- 0. 前言
 - 1. Flamingo 架构
 - 2. 视觉编码器
 - 3. Perceiver 重采样器
 - 4. 语言模型
 - 5. FIamingo 应用
 - 小结
 - 系列链接
 
0. 前言
我们已经学习了文本生成图像模型 DALL.E 2,在本节中,我们将探索另一种多模态模型 Flamingo,它可以根据给定文本和视觉数据流生成文本。Flamingo 是 DeepMind 在 2022 年提出的一类视觉语言模型 (Visual Language Model, VLM),它是预训练的纯视觉模型和纯语言模型之间的桥梁。在本节中,我们将介绍 Flamingo 模型的架构,并将其与所学习的文本生成图像模型进行比较。
1. Flamingo 架构
Flamingo 的整体架构如下图所示。接下来,我们将对该模型的核心组件,视觉编码器、Perceiver 重采样器和语言模式进行介绍,以了解 Flamingo 的核心思想。
