一、图像建模，是不是也可以“大一统”
在前文中我们提到，多模态大模型打破“只能处理文字”的限制。
在 NLP 世界里，Transformer 已经证明自己是理解语言的王者。那么在图像世界，我们是否也能有一种“通用架构”，让模型像“理解语言”一样理解图像呢？
这篇文章，我们同样从开发者熟悉的角度，讲清楚 CNN 和 ViT 的核心原理与区别，以及为什么 ViT 被称为“视觉的 BERT”，开启了图像建模的新时代。
二、图像是怎么被“看懂”的？——介绍 CNN
想象你正在处理一张图片，比如一张猫的照片。你不是用人眼看，而是交给一个“滤镜系统”处理。
这时候，卷积核就像是一组特定用途的图像滤镜，比如：
有些滤镜专门“强调边缘”；
有些滤镜“只在看到竖线时有反应”；
有些滤镜“喜欢曲线”或“角落状的区域”；
当你用这些滤镜一层层地扫描整张猫图时（如上图）：
第一层滤镜可能捕捉到了猫耳朵的轮廓、胡须的线条、眼睛的对比边缘；
第二层把这些低级特征组合起来，形成“猫眼睛”或“猫耳朵区域”的高级特征；
更深的层能捕捉出“这可能是一只猫”的抽象概念。
这个过程可以理解成是Conv2D和MaxPooling2D的堆叠。
从优缺点上来看，CNN非常高效，部署成熟，以及“平移不变性”和“局部性”的特性，所以数据量不大也能训练出不错的模型。
但它也有明显局限：
缺乏全局建模能力，无法直接理解图像中远距离的元素之间的关系（比如“天空”和“地面”的相对位置）
架构复杂且难统一，不同任务需要设计不同网络结构（ResNet、EfficientNet 等）
三、ViT 的崛起：把图像变成 Token，统一进 Transformer
那有没有一种架构，既能保留 CNN 的特征提取能力，又能拥有更强的全局建模能力？
2020 年，Google 提出了 Vision Transformer（ViT），提出了一个惊人的想法：
图像也可以像句子一样，切分为 Token，然后直接输入 Transformer。
如上图，Transformer中一个重要特性是注意力机制（self-attention），当前token跟其他每个token计算重要程度。远距离也可以很好捕捉。
Bert、ChatGPT等现在主流的模型都是用到Transformer架构，那架构上也实现了统一。
四、ViT如何实现分词
之前文章中，我们讲到文本首先要“分词”，更专业称呼为Tokenization。
那ViT是如何实现tokenizer的呢？——切成一个个patch
如下面九宫格，将原始图片分成的一个一个patch。而每个patch，等同于自然语言中的token。
原始图片
九宫格
铺平
针对这个“九宫格”进行铺平，就变成了自然语言中长度为9的概念。
五、ViT 的意义：视觉也能加入“大模型俱乐部”
ViT 的真正意义在于：它让图像建模也走向 Transformer 范式，从而进入大模型时代。
有了 ViT，我们可以：
把图像和文本一起作为 token 输入 Transformer，实现图文统一理解
用文本 prompt 控制视觉模型，发展多模态交互（LLaVA）
将视觉编码结果作为语言模型的提示，让模型“看图说话”（Qwen-VL）
这些技术的基础，都是 ViT 将图像表示 token 化，并送入 Transformer 架构的能力。
六、总结
本篇粗略介绍了CNN和ViT这种更通用的“图像语言处理器”，即图像也能像语言一样，被统一处理。
后面，我们从更多案例出发，打下更多的认知基础。