一、标量
标量（Scalar）是只有大小，没有方向的量。他是一个单独的数，可以是整数、实数或复数。比如温 度、时间、质量等都是标量。
在数学计算中，标量可以进行常规的算术运算，如加、减、乘、除等。
二、向量
2.1、向量表现形式
向量（Vector）是既有大小又有方向的量，可以形象化的表示为带箭头的线段，箭头所指代表向量的方 向，线段长度代表向量的大小。在数学表示上，向量通常用粗体字母或字母上加箭头表示
2.2、行向量与列向量
行向量与列向量没有本质的区别 只是表现形式不同
行向量是按行把向量排开
列向量是按列把向量排开
2.3、向量的基本运算与范数
2.3.1、向量的加减法
向量的加法
就是它们的分量分别相加，显然两个向量的长度得是相等的
向量的减法
向量的减法就是它们的分量分别相减
2.3.2、向量的乘法
数乘运算
使用实数和这个向量的每个数据分别相乘
2.3.3、转置
把列向量变成行向量，把行向量变成列向量
2.4、向量的范数
范数的公式是向量每个分量绝对值p次方求和，再用幂函数计算p分之一
向量的范数就是把向量变成一个标量，范数的表示就是两个竖线来表示，然后右下角写上p.
范数公式：
1范数L1
2范数L2
2.5、向量的模与内积、外积
2.5.1、模
向量的长度叫做向量的模，用两个竖线包起来的向量就代表向量的模
2.5.2、内积
当两个向量相乘的结果是标量时，又叫做向量的内积、点积，使用 作为运算符。
2.5.3、外积
当两个向量相乘的结果是向量时，叫做向量的外积，使用 作为运算符，所以也叫做叉积。需要注意的 是，向量的外积运算只对三维空间中的向量有定义，二维空间中没有严格意义上的外积定义。
两个向量做外积相乘时，得到的新的向量的方向垂直于相乘的两个向量组成的平面，大小与相乘的两个 向量组成的平行四边形的面积的值相等。
当A(2,3,0),B(4,-1,0) 时,他们的外积为：
三、矩阵
3.1、定义
矩阵（Matrix） 矩阵是一个由数字组成的二维数组，通常用大写字母表示，如 A。矩阵的元素可以是标 量，矩阵的行数和列数分别称为矩阵的维度，一个 m×n 的矩阵有 m 行和 n 列，可以表示为：
其中这mxn个数称为矩阵A的元素，称为矩阵A的第i行第j列元素，矩阵的每一行或每一列都可以理解 为一个行向量或列向量。
3.2、特殊类型的矩阵
3.1.1、行距阵
只有一行的矩阵称为行矩阵或行向量
3.1.2、列距阵
只有一列的矩阵称为列矩阵或列向量
3.1.3、零矩阵
元素都为0的矩阵称为零矩阵
3.1.4、方阵
行数与列数相等的矩阵，称为方阵。 (行数与列数都等于n的矩阵,称为n阶方阵)
3.1.5、对称矩阵
对称矩阵是指以主对角线（从左上角到右下角的对角线）为对称轴，各元素对应相等的矩阵。
3.1.6、单位矩阵
主对角线元素为1，其余元素为0的方阵
3.1.7、同型矩阵
两个矩阵A和B的行数与列数对应相等的矩阵称为同型矩阵
3.3、矩阵的加减法
做运算的两个矩阵A和B必须是同型矩阵，其计算结果就是将两个矩阵的对应元素进行相加减得到一个新 的同型矩阵。
3.4、矩阵的乘法
3.4.1、矩阵的数乘
常数与矩阵相乘又称为矩阵的数乘。数乘是指一个矩阵的所有元素都乘以一个常数k，相当于将这个矩阵 内的所有元素缩放了k倍大小。
3.4.2、矩阵的内积
矩阵之间的乘法也叫做矩阵的点积、内积，是矩阵运算中的核心操作之一，其进行的前提条件是第一个 矩阵的列数必须等于第二个矩阵的行数。当满足这一条件时，矩阵乘法的结果将是一个新的矩阵，其行 数等于第一个矩阵的行数，列数等于第二个矩阵的列数。
3.5、矩阵的转置
指将矩阵的行和列互换得到的新矩阵。设矩阵A是m行n列的矩阵，则矩阵A的转置矩阵记作，它是一 个n行m列的矩阵。
标量就是一个单独的数，没有方向，只有大小。
向量是有方向和大小的量，可以表示为一组有序的标量。
矩阵是由行和列组成的二维数组，其中的每一行或每一列都可以看作一个行向量或列向量。
3.6、逆矩阵
对于n阶方阵A，如果存在n阶方阵B，使AB=BA=E，E为单位矩阵，则称方阵A是可逆的，并称方阵B为方阵A的逆矩阵，简称A的逆，记为A^-1^.
- 可逆矩阵一定是方阵，并且逆矩阵一定是其同阶方阵
- 定义中A与B互为逆阵
- 可逆矩阵也叫做非奇异矩阵 (non-singular)；不可逆矩阵叫做奇异矩阵 (singular)
逆矩阵的性质:
- 可逆矩阵的逆矩阵是唯一的
- 若A可逆，则A^-1^也可逆，且(A^-1^)^-1^=A
- 若A可逆，则A^T^也可逆，且(A^T^)^-1^=(A^-1^)^T^
- 若A、B为同阶方阵且均可逆，则AB也可逆，且(AB)^-1^=B^-1^A^-1^
四、张量
张量是可以具有任意维度的数组，零维张量就是标量，一维张量就是向量，二维张量就是矩阵，更高维 的张量可以看作是多维数组。比如可以将一张RGB彩色图表示成一个三维张量（三维数组），这三个维 度分别是图像的高度、宽度和颜色通道。
应用场景
1. 数据表示：
图像数据：彩色图像通常表示为三维张量，维度为高度、宽度和颜色通道（例如RGB）。
视频数据：视频可以被看作是四维张量，增加了一个时间维度。
语音数据：语音信号可以表示为一维张量，其中每个元素代表一个时间点的音频样本。
文本数据：通过词嵌入技术，文本数据可以转换为二维张量，其中每一行代表一个单词的向量 表示。
2. 神经网络参数：
权重和偏置：神经网络的权重和偏置通常以张量的形式存储。
3. 运算和变换：
矩阵乘法：在神经网络的全连接层中，输入张量与权重张量进行矩阵乘法。
卷积操作：卷积神经网络（CNN）中的卷积操作是张量之间的运算，用于特征提取。
池化操作：池化是在张量上执行的操作，用于降低数据的维度，同时保留重要信息。
4. 激活函数：
非线性变换：激活函数应用于神经网络的每个神经元，对输入张量进行非线性变换。
5. 优化和反向传播：
梯度：在训练过程中，损失函数关于网络参数的梯度也是以张量的形式存在。
参数更新：优化算法（如梯度下降）使用梯度张量来更新网络的权重和偏置。
6. 并行计算：
GPU加速：张量运算特别适合在GPU上进行并行计算，因为GPU专门为处理大规模并行张量 运算而设计。
张量的这些应用使得深度学习框架（如TensorFlow、PyTorch、PaddlePaddle等）能够高效地构建、训 练和部署复杂的深度学习模型。