学习目标：
学习python数据分析与展示
所采用到的课程链接是北理-Python数据分析与展示-Numpy、Matplotlib、Pandas
学习内容:
CSV文件存储
CSV是一种用来存储批量数据的文件格式
文件形式的分类
np.savetxt(frame, array, fmt='%.18e', delimiter=None)
• frame : 文件、字符串或产生器，可以是.gz或.bz2的压缩文件
• array : 存入文件的数组
• fmt : 写入文件的格式，例如：%d %.2f %.18e
• delimiter : 分割字符串，默认是任何空格
具体的应用
设置一个数组J并保存为j.csv并且用逗号分隔开,保存结果如下:
csv可以有效进行存取,但是也具有一定的局限性
CSV只能存储一维和二维数组
np.savetxt() 和**np.loadtxt()**只能有效的对一维以及二维数组
多维数组存储
a.tofile(frame, sep='', format='%s')
• frame : 文件、字符串
• sep : 数据分割字符串，如果是空串，写入文件为二进制
• format : 写入数据的格式
保存如下
二进制的内存需要更小
另外一种方法
np.fromfile(frame, dtype=float, count=‐1, sep=' ')
• frame : 文件、字符串
• dtype : 读取的数据类型
• count : 读入元素个数，‐1表示读入整个文件(一个excel表格来看,count=0那么就是将第一列的读入)
• sep : 数据分割字符串，如果是空串，写入文件为二进制
在该方法下,读取文件中的维度和元素类型.a.tofile()和np.fromfile()要进行配合使用,可以通过元数据文件来存储额外信息
Numpy的便捷文件存取
np.save(fname, array)
np.savez(fname, array)
• fname : 文件名，以.npy为扩展名，压缩扩展名为.npz
• array : 数组变量
np.load(fname)
• fname : 文件名，以.npy为扩展名，压缩扩展名为.npz
文件进行数据缓存
Numpy的随机函数
| 函数 | 说明 |
|---|---|
| rand(d0,d1,…,dn) | 根据d0‐dn创建随机数数组，浮点数，[0,1)，均匀分布 |
| randn(d0,d1,…,dn) | 根据d0‐dn创建随机数数组，标准正态分布 |
| randint(low[,high,shape]) | 根据shape创建随机整数或整数数组，范围是[low, high) |
| seed(s) | 随机数种子，s是给定的种子值 |
高级一点的函数
| 函数 | 说明 |
|---|---|
| shuffle(a) | 根据数组a的第1轴进行随排列，改变数组x |
| permutation(a) | 根据数组a的第1轴产生一个新的乱序数组，不改变数组x |
| choice(a[,size,replace,p]) | 从一维数组a中以概率p抽取元素，形成size形状新数组 replace表示是否可以重用元素，默认为False |
具体实例如下
n=np.random.poisson(100,(4,25))
#泊松分布
n
返回值如下
array([[106, 89, 87, 110, 111, 87, 102, 119, 108, 102, 91, 106, 96,
98, 104, 96, 90, 90, 111, 118, 91, 104, 95, 89, 78],
[ 97, 79, 107, 98, 115, 98, 89, 96, 100, 108, 96, 92, 107,
91, 91, 88, 114, 105, 92, 108, 100, 81, 93, 91, 85],
[116, 99, 106, 102, 103, 107, 100, 102, 89, 91, 102, 101, 109,
99, 81, 95, 85, 96, 91, 102, 101, 98, 95, 117, 110],
[ 99, 107, 118, 94, 109, 92, 108, 109, 109, 110, 86, 92, 88,
102, 95, 82, 94, 109, 103, 92, 108, 103, 100, 110, 95]])
| 函数 | 说明 |
|---|---|
| uniform(low,high,size) | 产生具有均匀分布的数组,low起始值,high结束值,size形状 |
| normal(loc,scale,size) | 产生具有正态分布的数组,loc均值,scale标准差,size形状 |
| poisson(lam,size) | 产生具有泊松分布的数组,lam随机事件发生率,size形状 |
Numpy的统计函数
可以直接进行调用
axis为标配参数,可以根据需要进行更改
| 函数 | 说明 |
|---|---|
| sum(a, axis=None) | 根据给定轴axis计算数组a相关元素之和，axis整数或元组 |
| mean(a, axis=None) | 根据给定轴axis计算数组a相关元素的期望，axis整数或元组 |
| average(a,axis=None,weights=None) | 根据给定轴axis计算数组a相关元素的加权平均值 |
| std(a, axis=None) | 根据给定轴axis计算数组a相关元素的标准差 |
| var(a, axis=None) | 根据给定轴axis计算数组a相关元素的方差 |
在统计当中有各自的含义
| 函数 | 说明 |
|---|---|
| min(a) max(a) | 计算数组a中元素的最小值、最大值 |
| argmin(a) argmax(a) | 计算数组a中元素最小值、最大值的降一维后下标 |
| unravel_index(index, shape) | 根据shape将一维下标index转换成多维下标 |
| ptp(a) | 计算数组a中元素最大值与最小值的差 |
| median(a) | 计算数组a中元素的中位数（中值） |
对视频里的例子进行实际的操作和应用
p=np.arange(60).reshape(4,15)
p
p的输出如下
array([[ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14],
[15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29],
[30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44],
[45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59]])
对p进行统计性操作
np.sum(p)
#1770
np.var(p)
#299.9166666666667
np.average(p,axis=0,weights=[3,4,7,5])#进行加权操作
#array([26.05263158, 27.05263158, 28.05263158, 29.05263158, 30.05263158,
# 31.05263158, 32.05263158, 33.05263158, 34.05263158, 35.05263158,
# 36.05263158, 37.05263158, 38.05263158, 39.05263158, 40.05263158])
np.random.seed(10)#随机数种子
b=np.arange(15,0,-1).reshape(3,5)#通过reshape将数值转换成一个数组
b
b=np.arange(15,0,-1).reshape(3,5)#通过reshape将数值转换成一个数组
b
array([[15, 14, 13, 12, 11],
[10, 9, 8, 7, 6],
[ 5, 4, 3, 2, 1]])
np.max(b)
15
np.argmax(b)#扁平化后的下标
0
np.unravel_index(np.argmax(b),b.shape)#重塑成多维下标
(0, 0)
np.ptp(b)#最大值和最小值之间的差
14
b
np.median(b)
8.0
Numpy的梯度操作
对梯度的含义进行理解.可以简单将梯度理解为斜率,在高维函数当中表示这变化率最快最大的位置和方向
XY坐标轴连续三个X坐标对应的Y轴值：a, b, c,公式为:
$$ g a r d ( b ) = c − a 2 gard(b)=\frac{c-a}{2} gard(b)=2c−a
$$
| 函数 | 说明 |
|---|---|
| np.gradient(f) | 计算数组f中元素的梯度，当f为多维时，返回每个维度梯度 |
注意到最后一个数的梯度计算方法
内容总结
我们不难发现,Numpy具有很多强大的函数包,我们可以进行调用,而且在很多方面,其与Matlab一样可以解决一些数据预处理的一些问题和情况,希望我们可以继续多加练习,更好的掌握这方面的知识