【遥感综合实习】专题一 多时相多波段遥感影像的机器学习地物分类研究

1.实习目的

1）熟悉植被指数计算、分类样本准备等分类步骤：植被指数作为遥感影像处理中重要的指标之一，通过计算植被指数，我们可以有效地提取和分析地表植被的信息，并进行分类样本的准备工作，确保分类的准确性和科学性；

2）掌握基于时序影像进行作物分类的思路及操作方法：作物分类需要综合考虑作物在不同生长阶段的光谱特征，基于时序影像的方法可以更全面地反映作物的生长周期，实习通过分析不同时间节点的影像特征，制定合理的分类策略，并最终实现准确的作物分类；

3）了解影响分类效果的因素：分类效果受到多种因素的影响，包括影像数据的质量（如分辨率、噪声等）、分类样本的选择、分类算法的参数设置以及地物光谱特征的复杂性等，实习通过对比分析不同分类情况下的分类结果，识别和分析这些因素，理解其对分类结果的影响，并探索优化分类效果的方法。

2.实习数据

1）遥感影像数据：2019年1月-8月共11景Sentinel-2 L2A影像；

2）样本数据：2019年水稻、稻虾田、其他作物训练和验证矢量数据；ENVI中手动勾画水体、建筑地样本数据。

3.实习内容

1）计算植被指数，绘制不同地物的植被指数时序曲线并进行关键特征分析；

2）勾绘部分分类样本，基于机器学习分类器进行地物分类，并比较不同分类方法，不同样本数量，不同时相特征的分类结果；

4.实习步骤

4.1植被指数计算

通过老师所提供的实验指导我们可以清楚了解到，遥感影像中的波段1-5分别对应蓝、绿、红、近红外和短波红外波段，基于此我们可以利用Python编写代码，批量计算11个时相的植被指数，部分代码如下图所示：

需要特别注意的是EVI的计算，在后续的实验过程中通过与老师同学沟通发现EVI结果易出现极大与极小的异常值，因此我们特意将EVI值的大小限制在（-1，1）之间。

4.2波段合成

依次计算完11个时相所有时期的NDVI，EVI和LSWI后，我们依然利用Python编写代码，将11个时相所有的NDVI，EVI和LSWI植被指数按特定顺序，合成为一个拥有33个波段的遥感影像，此步骤的目的在于利用多波段的特征帮助我们进行地物分类，部分代码如下所示。

4.3建立人工样本

基于遥感影像的地物分类的过程是把未知地物类别的像元自动的分类到已知地物类别当中，人工样本的建立是遥感分类技术实现的基础，样本的数量和质量对分类结果精度有着重要的影响，在此次实习中，我们希望重点分析研究的是，不同分类方法对相同数量样本的响应程度差异，以及同一分类方法对不同数量样本的响应程度差异。

4.3.1 数据准备—.shp文件转ROI

因此在正式开始对地物进行分类前，我们首先需要建立对应遥感影像的人工样本，在老师提供的实验数据中已有水稻、稻虾田、其他作物的训练和验证矢量数据，因此在ENVI软件中，我们只需要将.shp文件转为ROI文件即可，右键遥感影像选择【New Region Of interest】，在File中选择【Import Vector】。

在如右图所示弹出的参数框中，我们直接接受默认值即可，该参数框表示的意思为，因为我们输入的.shp文件中有非常多的像素，需不需要将每个像素子集都转换为一个ROI，此处我们不需要该操作，因此直接选择默认即可。

4.3.2 数据准备—建立人工样本

除上述所谈到的已有人工样本的三个地物外，我们还需要在ENVI中手动勾画水体与建筑地样本数据（包括验证集与训练集），考虑到在遥感影像中凭借人工目视解译的方法，我们难以直接识别得到水体与建筑地，因此我们可以在ENVI中借助【SPEAR Google Earth Bride】工具，基于谷歌地图建立人工样本，最终得到结果如下图所示。

4.4绘制时序曲线

完成上述步骤后，我们首先打开样本点数据和分类特征合成影像，绘制得到水稻、稻虾田、其他作物、水体、建筑用地类别的平均NDVI、EVI、LSWI时序曲线。

具体步骤为：打开ROI TOOL->File->Export->Export to csv，选择样本点类别，将每个类别的样本经纬度和特征信息分别提取导出至.csv。最后在Excel中，计算每个特征的平均值，每个特征对应一个影像获取时间，以时间为横坐标，平均特征值为纵坐标，绘制每类地物的特征时序曲线，最后得到结果如下图所示。

4.5基于MLC方法的地物分类

基于机器学习进行图像监督分类，模型的学习是在被告知每个训练样本属于哪个类的“指导”下进行的，每个训练样本还有一个特定的类标签与之对应。而通过上述的实习步骤，我们已成功建立了所需的人工样本，也具有了相应的遥感影像数据作为分类对象。

接下来，我们将利用不同的机器学习方法对遥感影像进行地物分类，首先是最大似然分类法（Maximumlikelihood classification，MLC）。在ENVI软件的Toolbox中，选择【Classification】->【Supervised Classification】->【Maximum Likelihood Classification】，在弹出的参数框中，设置参数如下所示：

如下图所示为我们利用ENVI中的【Toolbox】->【Confusion Matrix Using Ground Truth ROIs】工具，计算得到的混淆矩阵结果，在后续的结果分析部分，我们将进行更为详细的分析与解释。

4.6基于NNC方法的地物分类

接下来是机器学习中的神经网络方法，在ENVI软件的Toolbox中，我们选择【Classification】->【Supervised Classification】->【Neural Net Classification】，在弹出的参数框中，设置参数如下所示：

神经网络方法在运行过程中会动态计算得到一个Neural Net RMS plot，其表示随着训练层数的增减均方根误差的变化，但需要注意的是，随着我们训练层数和隐藏层的增加，训练所需要的时间也会随着增加。

如下图所示为我们利用ENVI中的【Toolbox】->【Confusion Matrix Using Ground Truth ROIs】工具，计算得到的混淆矩阵结果，在后续的结果分析部分，我们将进行更为详细的分析与解释。

4.7基于SVM方法的地物分类

最后是机器学习中的支持向量机方法，在ENVI软件的Toolbox中，我们选择选择【Classification】->【Supervised Classification】->【Support Vector Machine Classification】，在弹出的参数框中，设置参数如下所示：

如下图所示为我们利用ENVI中的【Toolbox】->【Confusion Matrix Using Ground Truth ROIs】工具，计算得到的混淆矩阵结果，在后续的结果分析部分，我们将进行更为详细的分析与解释。

4.8使用不同数量的训练样本

在上述实习步骤中，我们利用多种机器学习方法实现了对遥感影像进行地物分类，但为了更深入研究基于时序数据的遥感影像分类，我们将5类地物的训练样本数量减少为原始数量的90%、80%、70%，通过使用不同数量的训练样本，基于SVM分类方法重新实行分类，最后将100% 训练样本及此处设置的不同训练样本数量下的分类结果进行对比。

我们首先利用Python编写代码，基于划分样本集与测试集的方法，将训练样本分别减少为原始数量的90%、80%、70%，部分代码如下图所示。

随后基于SVM的分类方法，使用不同数量的训练样本进行地物分类，并且利用【Confusion Matrix Using Ground Truth ROIs】工具计算得到混淆矩阵，最终得到三个结果如下图所示，在后续的结果分析部分，我们将进行更为详细的分析与解释。

4.9使用不同时相特征的训练样本

除上述的实习步骤外，我们还通过设置不同时相场景（例如只选择11个时期中的1个时期影像计算出的3个特征合成为分类影像），并选择一种分类器重新实行分类，将得到的结果进行对比。

在此次实验的此步骤中，我们选择8月1日时期计算得到的植被指数，合成得到的影像（3个特征波段），与5月23日至8月16日的五幅遥感影像的植被指数合成得到的影像（15个特征波段），分别采用MLC分类器实行重新分类。

如下图所示为我们利用ENVI中的【Toolbox】->【Confusion Matrix Using Ground Truth ROIs】工具，计算得到的混淆矩阵结果，在后续的结果分析部分，我们将进行更为详细的分析与解释。

5.结果分析

5.1对比不同地物的时序曲线

在上述的实验步骤中，我们得到了五类地物的时序曲线，通过对比分析我们可以观察得到，不同地物都有区别于其他地物独特的时间窗口和特征。在分析之前我们首先深入了解各个植被指数的具体含义：（1）EVI（增强型植被指数）:；（2）LSWI（土壤水分指数）:；（3）NDVI（归一化植被指数）:.

1. 建筑：常态情况下，EVI＞NDVI＞LSWI，三者的数据均保持在较低的水平（-0.2至0.3之间），此特征较为符合地物特性与植被指数含义。并且受地物特征的影响，该地物作为较为典型的人造地物，其基本特征与物理性质在短时间内不会发生巨大变化，因此整个时间段内，LSWI的值都非常低，接近-0.1，且波动较小；NDVI的值同样保持在0.15到0.2，且波段较小；仅EVI值变化较大，从1月到7，EVI基本保持在0.2以上，有轻微的波动，但7月之后，EVI迅速下降，8月降到接近-0.2，然后略有回升但仍保持在-0.2以下；
2. 虾稻田：常态情况下三类植被指数并无确切的大小对比，具体数值接近，并且三类植被指数具有相似的发展变化趋势。7月份之前，LSWI明显高于其余两类植被指数，7月份之后，NDVI指数涨势惊人，超越另外两类植被指数。该现象基本符合地物特性与植被指数的内在含义，虾稻田作为水田，7月之前正处于快速生长阶段，需要大量的水分，因此LSWI较高，反映了高水分含量的土壤和植被状况；而7月份之后，稻田农作物进入快速生长期，健康状况和覆盖度达到高峰，NDVI因此显著上升并超过其他指数；
3. 其它作物：常态情况下，NDVI＞EVI＞LSWI，对于其它作物这一地物，不同植被指数具有相同的变化趋势，4月初三类植被指数有一明显波峰，5月末三类植被指数有一明显的波谷，7月末三类植被指数再次出现一明显的波峰，但总体而言，NDVI始终处于较高值，而LSWI始终处于较低值，基于实习指导的内容，结合该地物的时序曲线特征，我们姑且可以判断其它作物这一地物的主要作物为春玉米与棉花；
4. 水稻：常态情况下，NDVI＞EVI＞LSWI，对于水稻这一地物1-5月，LSWI的值在0到0.2之间波动，之后LSWI值开始不断上升，尤其是在7月之后；1-5月，EVI值在0.2到0.3之间波动，随后EVI值开始上升，最高接近0.7；1-5月NDVI值在0.3左右波动，5月后 NDVI值开始上升，最高接近0.8；可以明显观察到，三类植被指数的相似之处在于5月底之后，LSWI、EVI和NDVI指数都开始上升，这一特征基本符合我们水稻移栽后的现象，并且NDVI 7月底的最值，也与水稻抽穗期NDVI值达到最大的现象相符合；
5. 水体：常态情况下，LSWI＞EVI＞NDVI，水体地物与建筑物这一人造地物相同，其基本特征与物理性质在短时间内不会发生巨大变化，因此水体地物的LSWI、EVI和NDVI指数整体较低，并且变化幅度较小不比其它三类的作物地物，但LSWI指数在7月27日之后显著下降，并且NDVI指数在同一时间段内迅速下降，该现象的出现反映了水体表面水分的减少和水体覆盖面积的减少，但具体原因暂不明晰。

5.2机器学习分类器进行地物分类–方法对比

表 基于NCC分类器的地物分类结果

Table Classification results of ground objects based on NCC classifier

表 基于SVM分类器的地物分类结果

Table Classification results of ground objects based on SVM classifier

表 基于MLC分类器的地物分类结果

Table Classification results of ground objects based on MLC classifier

表 不同机器学习分类器结果精度对比

Table Comparison of Accuracy of Different Machine Learning Classifiers' Results

如上所示的四个表格分别为我们基于不同机器学习分类器得到的地物分类结果表与分类器结果精度对比表格，基于对三种机器学习分类器（NCC、SVM、MLC）进行地物分类的结果分析，我们可以得出如下结论：

1. 在总体精度和Kappa系数方面，SVM分类器表现最佳，总体精度达到99.93%，Kappa系数为0.9991；其次是MLC分类器，总体精度为99.80%，Kappa系数为0.9973；NCC分类器则稍逊一筹，总体精度为98.62%，Kappa系数为0.9814；
2. 在具体地物分类表现上，三种分类器在水稻和稻虾田的生产者精度和用户精度都非常高，接近或等于100%；在其他作物训练集方面，SVM和MLC分类器的表现略优于NCC分类器；而在建筑区和水域的分类中，SVM分类器再次表现突出，误分率和漏分率极低，MLC分类器稍次之，NCC分类器在水域的用户精度较低，仅为81.82%；
3. 总体来看，SVM分类器在各项指标上均表现最优，是地物分类任务中的最佳选择，MLC分类器次之，也可作为备选方案，而NCC分类器相对表现较差，并且考虑到NCC方法相较于其它两类地物分类方法的所耗时间较长，NCC分类器为其中最次的地物分类方法。

5.3探究不同样本数量对分类结果的影响

表 基于70%样本数量的的地物分类结果

Table Classification results of ground objects based on 70% of the sample size

表 基于80%样本数量的的地物分类结果

Table Classification results of ground objects based on 80% of the sample size

表 基于90%样本数量的的地物分类结果

Table Classification results of ground objects based on 90% of the sample size

表 不同样本数量分类结果精度对比

Table Comparison of classification accuracy with different sample sizes

如上所示的四个表格为我们基于不同样本数量进行地物分类，得到的结果表与分类结果精度对比表，通过对表格数据分析对比我们可以明显看出，随着样本数量的增加，分类精度将会明显提高，具体分析如下：

1. 就具体的总体精度和Kappa系数而言，使用70%、80%、90%样本数量的总体精度分别为97.7163%、97.9239%、98.2699%，Kappa系数分别为0.9698、0.9726、0.9771，表明90%样本数量的分类结果最佳；
2. 在具体地物分类表现上，三种样本数量下，水稻训练集和其他作物训练集的生产者精度均为99.66%和100%，稻虾养殖区在三种样本数量下的生产者精度和用户精度均为100%，建筑区的生产者精度在70%、80%、90%样本数量下分别为93.6%、94.2%、100%，用户精度均为100%；从误分率和漏分率来看，也均为随着样本数量的增加，分类效果提高；
3. 综合考虑总体精度、Kappa系数以及各类别的分类精度，90%样本数量是最优的样本数量选择，但是通过与上述的实习内容与实习结果对比我们可以发现，100%样本数量下的地物分类才是分类精度最优的结果，但这也印证了我们的结论：随着样本数量的增加，分类精度将会明显提高。

5.4探究不同时相特征对分类结果的影响

表 基于三波段的的地物分类结果

Table Classification results of ground objects based on three wavebands

表 基于十五波段的的地物分类结果

Table Classification results of ground objects based on fifteen wavebands

表 基于不同时相特征分类结果精度对比

Table Comparison of classification accuracy based on different temporal features

如上所示的三个表格分别为我们基于不同时相特征数据进行地物分类得到的分类结果与精度对比，通过对比分析，我们可以发现使用十五波段数据的分类效果显著优于三波段数据，具体分析如下：

1. 在总体精度和Kappa系数方面，十五波段数据的总体精度为88.7065%，Kappa系数为0.8493，而三波段数据的总体精度为82.2718%，Kappa系数为0.7632，表明增加波段数显著提升了分类精度。
2. 在具体地物分类上，十五波段数据在水稻训练集、其他作物训练集、稻虾养殖区、建筑区和水域的生产者精度和用户精度均有显著提升。水稻训练集的生产者精度从三波段的84.36%提升至十五波段的91.94%，用户精度从50.86%提升至59.88%；稻虾养殖区的生产者精度从77.66%提升至100%，用户精度从76.61%提升至89.81%；除上述内容之外，十五波段数据在各类别的误分率和漏分率也有所降低，特别是在稻虾养殖区和水稻训练集上提升明显；
3. 结合上述内容，我们可以得出结论：使用更多波段的数据能够显著提高地物分类的精度，显著降低分类对象的降低误分率和漏分率，特别是在复杂地物类型的分类中效果尤为显著，因此，在地物分类任务中，我们应使用更多的波段数据以获得更高的分类精度。

6.常见错误

6.1分类错误—无法分类水体

在实习的具体操作过程中，遇到各个问题自然是无法避免的，其中较为常见的一个错误为：在进行地物分类时报错，显示无法分类水体。通过与老师同学沟通可以发现，出现该错误的主要原因为：合成33个波段后的大影像中出现了异常值，即空值，这种情况多半是因为我们在计算植被指数中出现的问题，其中EVI最容易出现此类错误。

目前出现该问题后暂无较好的解决办法，但我们可以从源头解决该问题，即利用Python通过编写代码计算植被指数，在编写代码中，我们可以通过设置相关语句，规定我们的植被指数处于某个固定范围内，这一方法从根本上规避了植被指数的异常值问题，可以有效解决我们遇到分类报错的问题。

7.思考题

7.1从遥感识别特征上分析，农作物与其他常见地物有哪些区别

谈及遥感识别特征中农作物与其他常见地物的区别，我们需要从遥感图像的四个基本特征（光谱特征，形状特征，纹理特征，空间关系特征）出发进行分析。

1. 光谱特征：受植物生理特性的影响，农作物在可见光和近红外波段表现出特定的特征，尤其是在近红外波段反射率较高，且光谱特征在各个生长期有着不同的体现，因此我们可以基于该特性利用植被指数对农作物生长状况进行分析与研究。而其它地物，例如：水体在近红外波段吸收光线，裸土在各波段反射率都较高，人造地物的光谱特征则因材料不同而有较大差异；
2. 形状特征：一般而言，农作物作为人类活动体现的一种，其形状一般呈现规则的几何形状，具有规律性且边界平滑，与另一人类活动的主要体现——建筑物相同，二者均一般呈现出规则的矩形或其他规则多边形形状，边界清晰。而其它地物，例如：水体通常有连续且不规则的形状，裸土的形状不规则且边界模糊；
3. 纹理特征：纹理特征作为遥感影像的一种重要特征，是复杂视觉实体或子模式的组合，有亮度、色度、陡度、大小等特征，每一种地物所呈现的纹理都有自己的特点。依据不同植被的密度和生长状况，农作物的纹理具有一定的重复性和规律性，但通常较为均匀。而其它地物，例如：水体的纹理较为平滑，裸土的纹理粗糙且亮度和色度变化大，建筑物的纹理多样，亮度和色度变化较大；
4. 空间关系特征：农作物的空间关系特征与形状特征类似，作为人类活动的主要体现之一，农田通常成片出现，呈现出规律性的排列，空间分布特征明显，农作物之间的空间关系紧密，常常连接成大面积的种植区。而其他地物，例如：水体与周围地物的空间关系明确，裸土的空间关系较为分散且不规则，建筑物则集中在城市或乡村区域，空间关系紧密且排列有序。

7.2农作物遥感识别存在哪些难点

1. 完善不同传感器之间的协同：现有的单一遥感数据难以同时兼顾高光谱、高空间和高时间分辨率的特性，多源遥感数据的融合和协同成为解决这一问题的重要途径。然而，不同传感器的数据在光谱分辨率、空间分辨率、时间分辨率、极化方式和方向上存在显著差异。因此，研究如何消除这些差异，减小异源反射率间的系统性误差，并抑制噪声以复原农作物的真实光谱和植被指数，是多源数据融合面临的关键挑战；
2. 深层次挖掘多源遥感信息：多源遥感数据融合可以提高空间分辨率和时间分辨率，但目前的信息挖掘方法和技术在刻画农作物波谱响应特性方面存在不足。深入挖掘农作物类型类内和类间的一致性和差异性，优化分类策略，可以采用多分类器融合的方法，或者发展自动化、定量化的分类模型，以最大限度地利用单一遥感信息源的优势；
3. 多尺度长时间序列农作物空间分布数据集的应用：多源数据融合增强了农作物物候特征或数学特征上的差异信息，有助于排除短时间段内不同农作物类型生育期交叉的影响。然而，目前全球尺度土地覆盖数据集的空间分辨率普遍偏低，农用地空间分布识别能力有限。需要引入基于地块的精度评价体系，以及采用空间采样与面积统计误差的双重精度评价标准，以更全面、客观地评估农作物类型识别及面积提取的精度。

参考文献：宋茜,周清波,吴文斌,等.农作物遥感识别中的多源数据融合研究进展[J].中国农业科学,2015,48(06):1122-1135.

8.实习心得

1）不同机器学习方法的比较：在本次实习中，我们对最大似然法、神经网络法和支持向量机三种机器学习方法进行了较为详细的比较和应用。最大似然法基于统计学原理，通过已知样本的概率分布进行分类，操作相对简单且计算效率较高，适用于光谱信息明确的场景，然而该方法在处理复杂光谱特征时表现略显不足；神经网络法通过模拟生物神经元的工作机制，具有强大的自学习和自适应能力，能处理复杂的遥感数据，但需要大量的训练样本和计算资源且时间成本较大；支持向量机则通过寻找最优超平面实现分类，特别适用于高维特征空间的数据分类，分类精度较高。总体而言，各个方法各有优劣，我们应根据具体应用场景和数据特点进行选择；

2）代码编写处理数据的便捷与准确度：在本次实习的数据处理与具体操作过程中中，我们通过编写并运行了多个数据处理和植被指数计算的代码，深刻体会到代码编写的便捷性和准确度对实验结果的重要性。通过合理的代码结构和算法优化，可以显著提升数据处理的效率和分类结果的准确性，例如，在处理大规模遥感影像数据（计算植被指数）时，利用代码进行批量化处理可以显著减少我们的运行时间并提高结果准确度。总而言之，熟练掌握编程技能和算法优化技巧，是我们进行高效、准确数据处理的实用技巧；

3）利用植被指数特征对地物进行监督分类的相关原理的理解：通过本次实习，进一步加深了本人对利用植被指数特征进行地物监督分类的理解。植被指数因其特性，能够有效地反映植被的生长状况和健康程度，是遥感影像处理中常用的指标。在监督分类过程中，我们首先从遥感影像中提取植被指数，并基于地面数据选取代表性的样本数据，随后通过训练分类模型，将遥感影像中的像元分配到不同的地物类别中，植被指数的计算和分类样本的选择对分类结果有着重要影响，因此在实际操作中，我们需要仔细选择和验证样本数据，确保分类模型的准确性和可靠性。