1、基础模型
(1)卷积神经网络
**卷积:**卷积的本质是通过矩阵运算9的方式将输入数据进行空间上的滤波,有效地提取数据中的局
部特征,从而实现特征数据更高程度的抽象表示。
**池化:**可以理解成“压缩”,用来降低卷积层Q输出的特征维度,减少网络参数和计算量。
CNN通过多个卷积层和池化层Q对输入图像进行多次特征提取和降采样,最终得到全局特征表示,再通过全连接层Q进行分类。
优点:
参数数量小,训练时间短。
缺点:
不适用于序列数据Q,无法处理时序信息。
CNN的实际应用(更适合图像任务):
图像分类、图像检索、目标检测、人脸识别、文本分类、语音识别
(2)循环神经网络 RNN
RNN是将CNN进行了改造,简单来说就是把上一次的输出混合下一次的输入再做一次计算,每次计算都对上一次的计算结果有一定的依赖。
优点:
解决了输入数据是连续的序列问题(例如“我喜欢人工智能”每个字之间有时序关系,也有逻辑关
系)。
缺点:
梯度消失Q或梯度爆炸、训川练速度较慢,计算量较大、复杂序列数据支持得不够好
RNN的实际应用(更适合NLPQ任务):
机器翻译、语音识别、图片描述、时间序列分析等任务。
(3)长短期记忆网络 LSTM(long short-term memory)(基于RNN的扩展)
LSTM是RNN的一种变体,通过“门”结构引入“选择性遗忘Q“机制,解决RNN的这一弊端。
优点:
解决了传统RNN中存在的梯度消失和梯度爆炸问题,从而更好地处理长序列数据。
缺点
因为LSTM是RNN的一种变体,因此缺点方面,仍然是RNN的那些缺点。
LSTM的实际应用(更适合NLP任务):
文本情感分析、语音识别、机器翻译、序列预测、图像分析、语音生成、时间序列分析。
2、高级模型和技术
(1)生成对抗网络 GAN(Generative Adversarial Networks)
优点:
生成能力强、不需要显式监督
缺点:
训练过程复杂、数据要求高
GAN的实际应用:
图像生成、图像修复“、风格迁移、去掉图像遮挡、年龄转移、语音合成“等。
(2)Transformer:
2017年,Google发表论文《Attention is all you need)》Q,成为Transformer开山之作。通过引入自注意力机制、多头自注意力机制°、前馈神经网络和位置编码等技术,Transformer实现了高效的并行计算和强大的表示能力。
自此,Transformer架构一路开挂,形成了一个枝繁叶茂的大家族,在文本分类、命名实体识别Q、
情感分析、问答系统、机器翻译、语音识别、图像分类Q等领域都取得了显著的成果。
3、大型预训练语言模型(Large Language Model)(通常基于Transformer架构)
近年来,BERT、GPT4、LLaMa等一大批优秀大模型纷纷亮相,开启了大模型新时代的新篇章。
前不久,谷歌多模态大模型RGemini Ultra也重磅发布,如今大模型不能说是热点,而要说是沸点
了。
对于技术人员来说,无论是从原理还是从使用上,大模型都注定成为“兵家必争之地”。