面向小麦生育进程监测的卷积神经网络精简化研究
李祥宇 任艳娜 马新明 席磊
摘要：目前，利用机器视觉进行小麦生育进程监测主要是通过人工来进行特征提取，存在客观性差、效率低等问题，为了解决该问题，把深度学习引入到小麦生育进程监测研究中。卷积神经网络作为深度学习中常用的算法被广泛应用于图像分类任务中，使用深层的特征提取网络能够自动识别和提取图像特征，但常规深度卷积网络带来的大量参数和计算开销使这些算法难以应用到对存储空间和参数量有一定限制的嵌入式设备中。为此提出将知识蒸馏方法用于目标检测网络的特征提取网络，以提升浅层特征提取网络的性能，在降低模型的计算量和模型大小的同时尽可能地保证识别结果的准确性。通过使用ResNet50、VGG-16这2个不同教师网络分别指导学生模型MobileNet进行训练，试验结果表明，当ResNet50作为教师模型、MobileNet作为学生模型时识别效果最好，学生模型MobileNet的平均识别准确率达到了97.3%，模型大小压缩为仅19.7 MB，相比于ResNet50缩小了88.9%，通过知识蒸馏的方法，使得到的模型能够在提高准确率的情况下还能减少网络模型的参数量和模型运行时间的消耗，大幅降低部署模型的成本，可以为田间小麦智慧化生产提供技术支撑。
关键词：小麦生育期;深度学习;卷积神经网络;模型压缩;知识蒸馏
中图分类号：S126 文献标志码：
A
文章编号：1002-1302（2022）08-0199-08
小麦是世界第二大粮食作物，全世界约35%～40%的人口以小麦为其主要粮食[1]。中国小麦种植面积占耕地面积的70%以上，河南省冬小麦产量占全国小麦总产量的25%以上，河南省冬小麦的稳产和高产对保障国家粮食安全至关重要，作为作物生长信息的主要基础之一，生育期信息一直以来都在为作物自动化监测服务，例如在特定发育期阶段进行相应的监测或农事活动等;因此，作物生育期进程监测是必不可少的。目前，作物的生育期信息的获取主要是通过人工观测来实现的，然而，人为观测费时费力、有误差，还会对作物造成破坏。使用智能化的方法对小麦生育期进行监测可以大大提高小麦高观测结果的准确性和实时性，同时降低投入的成本。因此，迫切需要一种智能化的技术来解决小麦生育进程监测问题。
近年来，机器学习方法在处理分类、回归等问题中得到广泛应用，也逐渐被应用于作物的生育期提取研究。但是这些研究主要集中于玉米[2-3]、水稻[4]、棉花[5]等相对容易采集处理的作物上，对小麦生育期的研究还处于不成熟阶段。张明伟等基于中分辨率成像光谱仪-增强型植被指数（MODIS-EVI）时间序列数据对冬小麦返青期與抽穗期长势进行判断[6]，黄青等利用冬小麦中分辨率成像光谱仪-归一化植被指数（MODIS-NDVI）差值模型对冬小麦长势进行监测[7]。以上方法须要对每一类作物构建大量特征标准，工作量大且泛化能力不足。
深度学习是近年来一种热门的模式分析方法，广泛应用于语音识别[8]、人脸识别[9]、图像分类[10]、行为分析[11-12]等工业领域中，近年来也逐步应用在农业领域[13-14]。有研究学者将深度学习应用在花生[15]、水果[16-18]、蔬菜[19-20]等作物的目标检测。吴茜利用图像处理技术实现棉花生育期3个时期的自动观测，但是此方法只是针对固定的棉花种植区域和固定的棉花品种，如果对其他的棉花种植地区和不同品种情况下会出现误差[21];余正泓将计算机视觉技术用于玉米发育期的自动检测中，利用空间均匀度检测出苗期，建立连通域株数、端点数与到达3叶期概率的概率模型检测是否到达3叶期，基于覆盖度和冠层高度判定是否到达拔节期，最后利用时空显著性检测玉米雄穗进而判断玉米抽雄期[22]。吴兰兰基于图像处理方法，结合支持向量机和 BP 神经网络研究了复杂背景的田间苗期玉米和杂草的分类，为田间杂草实时识别系统提供技术支持[23]。尽管现代深度神经网络的性能有了显著的提高，但是在模型训练时，仍然需要从巨大且冗余的数据中提取特征结构。通常情况下不考虑实时性要求，最后训练得到的模型参数量较多。由于计算资源和延迟的限制，深度神经网络较难在实际中得到应用。
近年来有学者提出了不同的模型精简方法。Hinton 等最早提出知识蒸馏方法，其核心方法就是利用常规的深度卷积网络教师模型来指导一个精简网络的学生模型[24]。本研究基于这一方法，尝试使用常规的网络 ResNet50[25]和VGG16模型作为教师模型来指导精简网络MobileNet模型的训练，并将其首次应用于小麦生育期进程监测。通过知识蒸馏的方法，使MobileNet经过蒸馏学习后模型能够在提升准确率的情况下还能减少网络模型的参数量和大大缩短模型的运行时间，能够大幅降低部署模型的成本。
1 数据与方法
1.1 数据材料
本研究试验选择在河南省长葛市河南农业大学许昌校区试验区（地理位置34°12′06″N， 113°58′26″E）进行。试验区属北温带大陆性季风气候区，年均气温为14.3 ℃，年均降水量为 711.1 mm，无霜期为217 d。
由于田间环境复杂，通常要在田间固定摄像设备并在相同距离下进行拍摄。采集时间为2019年10月至2020年6月，选择豫麦49、周麦27、西农509为试验对象，在河南省小麦生产中，这3个品种在豫东、豫中地区都保持一定的种植面积，都属半冬性小麦，且具有一定的普适性。
每次采集选择密度300株/m2为1组数据，密度350株/m2为1组数据，氮含量15 kg/667 m2为1组数据，氮含量0 kg/667 m2为1组数据。每隔 2 d 在08：00—15：00 这段时间内进行拍摄，使用尼康D3100相机，采用三脚架进行固定高度拍摄，所有图像都是在自然光照条件下采集。采用许昌站点冬小麦生育期所需的有效积温，记录数据作为样本标记，从获取的图片数据中分别筛选出小麦的出苗—分蘖期（出苗的第1天到分蘖的前1 d），分蘖—越冬期（分蘖的第1天到越冬的前1 d），越冬—返青期（越冬的第1天到返青的前1 d），返青—拔节期（返青的第1天到拔节的前1 d），拔节—抽穗期（拔节的第1天到抽穗的前1 d），5个阶段共12 750 张图片数据，采集到的部分图像见图1。
对采集到的5个小麦生育时期图像进行预处理操作。通过相机采集的小麦生育时期的图像像素为4 600×3 070，一张图像的大小都已经达到了 16 MB，这样的图像如果直接放入模型进行学习，必然会对模型的训练计算带来巨大的负担，所以首先通过调整图像规格的方法对小麦5个生育时期的图像进行图像的归一化操作。小麦生育期图像都是在复杂背景下进行采集的，图像的四周会有与小麦图像无关信息的田间背景，因此把含有无关信息的小麦图像利用中心裁剪的方法裁剪掉，然后将所有
的图像统一缩放为224×224的图像，最终实现了所有图像的尺寸归一化处理。
随着模型计算深度的加深，随之而来的是参数量逐渐变多，如果数据集达不到一定的数量，此时模型就会发生过拟合的现象，模型在对训练集识别的准确率很高，但是放到测试集就不能准确地识别，整个模型的泛化能力就非常弱。所以为了防止过拟合现象发生，采用增加图像数据量的方法，一般可以利用图像的平移、图像的缩放、图像的切割等方法来进行数据集的扩增。本研究选择了对小麦5个生育时期图像旋转的方法来进行数据集的扩增，具体方法是使图像按照不同角度进行旋转，增加不同角度的小麦图像数据，将图像分别顺时针旋转90°、180°、270°。
5个小麦生育期图像的数据集扩增了3倍。最终将5种小麦冠层图像数据扩充为均衡样本共 38 250 张（16 050张豫麦49，15 450张周麦27，6 750 张西农509）在每个小麦生育期中随机抽取共1 350张构成测试集，本研究進行对比试验等都是在这个数据集上完成的。数据样本分布见表1。
1.2 研究方法
1.2.1 知识蒸馏 知识蒸馏方法最早是被应用到图像识别分类任务中的，其核心思想是找到一种方法，把多个模型的知识和性能提炼给单个模型。一般认为模型的参数保留了模型训练过程所学到的知识，最常见的迁移学习方式就是在1个大型数据集上做预训练，然后利用预训练得到的参数根据任务要求做微调后应用于目标数据。知识可以看做是输入到输出的映射关系，因此先训练好1个教师网络，然后将该网络的输出结果q作为学生网络的目标，以此来训练学生网络，尽量使得学生网络的输出结果p接近q，损失函数L=CE（y，p）+aCE（q，p），其中CE代表交叉熵;y是真实标签的onehot编码;q是教师网络的输出结果;a是系数;p是学生网络的输出结果。
VGG16和ResNet50模型作为常规的大型卷积神经网络在众多分类试验中都能够取得良好的分类结果，标准模型由于本身占用了过多的参数量，从而模型运行过程中消耗了巨大的资源，会给运行设备带来过多负担。为了解决模型本身参数量过多无法在算力不高的设备上运行的问题，MobileNet运用深度可分离卷积技术极大地降低了模型大小[26]。本研究把标准模型VGG16和标准模型Resnet50来作为教师网络，通过让学生模型MobileNet学习教师网络的知识，从而提升MobileNet模型在小麦各生育期识别精度。
Hinton在知识蒸馏方法中首次提出用生成的软标签来辅佐正常标签进行训练。软标签是经过软化的教师网络的输出结果，软化具体方法是在教师网络的输出函数Softmax里加入参数T来放大软标签其他分类的概率值，使得学生网络能够更全面地学习到更多的信息。式（1）是软化的输出函数qi。
qi=exp（zi/T）∑jexp（zj/T）。（1）
其中：zi表示第i个类别的输出值。之所以加入参数T的原因是Softmax输出函数是一条陡峭的曲线，错误分类的概率值经过Softmax函数输出后会变得极其低，这会造成学生网络在知识传输时能够通过教师网络学习的信息很少。一个复杂网络能够得到较好的分类效果，对于1张目标图像输出正确的概率比错误的概率大很多，但对于一个较小网络无法实现，因此在小网络Softmax处加1个T参数。加上这个参数并设置较大的值时，错误分类再次经过Softmax时输出值变大，则输出结果的概率分布越近似，相当于一个平滑的作用，起到保留相似信息的作用。用相同T值对小网络进行训练，目标输出就是一个均匀分布。这时如果将T重新取1，小网络的分类概率就更加接近大网络的较高识别准确率。
知识蒸馏，可以将1个网络的知识转移到另1个网络，2个网络可以是同构或者异构。知识蒸馏，可以用来将网络从大网络转化成1个小网络，并保留接近于大网络的性能;也可以将多个网络学到的知识转移到1个网络中，使得单个网络的性能接近大网络的结果，过程见图2。
蒸馏的基本步骤如下：
（1）用大量数据训练1个较大且性能较好的模型做教师网络。
（2）设置超参数T，使用预训练的教师网络对学
生网络进行蒸馏，首先是将计算出软化后的学生网络的预测和软化后的教师网络的预测进行交叉熵计算得到L（soft），将不经过软化的学生网络的预测和正常标签进行交叉熵计算得到L（hard），最后将2个交叉熵按比例α组成最终的损失函数进行训练，通过这种方式使得教师网络能够联合学生网络一起训练。公式（2）是最终的损失函数
L=αL（soft）+（1-α）Lhard。（2）
（3）训练得到的学生网络在单独预测阶段，使用正常的Softmax函数进行分类。
2 试验结果与分析
进行试验的计算机配置是内存16 GB，CPU型号为Intel i7-8750H，显卡型号NVIDIA GTX 1060TI，运行 Windows10系统。利用Python语言中Keras包进行代码的编写。
2.1 蒸馏模型训练结果
为了保证整个试验过程及结果具有科学性和有效性，试验的过程所有的超参数都进行了统一化处理，对一次训练所选取的样本数定义为 64，L2正则化定义为 0.000 5，为了不让模型发生过拟合的问题，把模型的学习进度都控制在0.001。
为了保证教师模型与学生模型为最佳模型，试验在224×224大小的3通道RGB 图像下，从生育时期识别的准确率、模型运行时间以及模型参数量，对比VGG16、 MobileNet、ResNet50这3个网络模型，对比了这3种比较主流的深度卷积神经网络结构对。3种模型在迭代过程中小麦5个生育时期验证集准确率变化情况见图3。
由图3可以看出，这3种模型在迭代的过程中小麦生育时期验证集的准确率变化总体呈现出了不同的特点。具体来说，这3种模型在迭代的过程中，准确率都出现了明显的抖动现象，对于轻量化模型 MobileNet 来说，虽然在刚开始迭代过程中小麦生育期验证集的准确率出现比较低的表现，但是随着模型整体训练的逐步加深，准确率整体呈现逐步上升趋势。
由表2可知，模型对5 类小麦生育时期的识别准确率都是很高的。尤其是对小麦出苗—分蘖期的分类，分类准确率达到了96.8%，即使是返青—拔节期的分类准确率也达到了89.9%，这说明模型是有效的。通过对误判数据分析可以发现，误判的发生主要是集中在各生育时期的后期以及下一个生育时期的前期，其主要原因是此时的物候特征不明显。
为了验证不同深度的网络模型作为教师模型对学生模型准确率的影响，试验分别利用 VGG16、Resnet50作为教师模型来指导学生模型MobileNet的训练，3 种教师模型蒸馏前后识别结果见表3。
由表3可知，经过对这VGG-16和ResNet50知识蒸馏后单个小麦生育时期的准确率与小麦这5个时期的平均准确率都有一定的提升，其中出苗期的准确率最高，相比蒸馏前的准确率提高了1.5百分点，5个生育时期ResNet50模型的平均准确率最高，提高了1.2百分点。VGG16和ResNet50都在经过蒸馏后对小麦生育时期识别的准确度有了略微的提升，虽然提升效果不明显，但这已经是这2个模型在蒸馏前对小麦生育时期识别准确率已经很高的基础上带来的提升，通过试验对比可以说明对VGG16和ResNet50的蒸馏是有效果的，MobileNet通过学习VGG16和ResNet50模型里的知识，获得MobileNet本身一些所缺少的信息，从而提高了模型最终的准确率，甚至超过了VGG16和RestNet50这2个教师模型。
从试验结果可以看出，模型的识别结果与模型的网络深度有关，当教师网络为ResNet50时学生模型MobileNet的网络识别准确率最高，这说明当教师模型网络深度越深对学生模型的影响越大，最终模型识别结果的准确率越高。当教师网络为ResNet50时学生模型MobileNet的网络识别准确率为 98.3%。为了能看出通过知识蒸餾能够给模型带来多少提升，把学生模型MobileNet与教师模型VGG16和ResNet50的识别精确率和模型的参数量、模型所占的内存和模型训练所用的时间这4个方面进行对比。通过表4可以看出，在模型的参数量方面，VGG16模型的参数量是蒸馏后MobileNet 模型的100.8倍，教师模型ResNet50 的参数量是经过蒸馏后MobileNet模型的20.9倍之多。
模型计算所带来的参数量能够直观地看出模型的复杂程度，模型参数量的多少能够直接影响模型本身是否能够在计算力相对小的设备上进行部署，参数量越多部署到算力小的设备上就越困难。在模型训练时间上可以看出，经过学习蒸馏之后的学生模型MobileNet的收敛时间为20 h左右，在准确率方面，蒸馏后MobileNet模型的准确率为98.3%。
经过知识蒸馏后的MobileNet模型与常规的深度卷积神经网络模型相比，蒸馏后的MobileNet模型可以在小幅提高准确率的同时大大缩减模型的大小和训练模型的时间，从而加快模型的收敛速度。
2.2 特征图可视化结果
通过对教师网络卷积层进行特征可视化，可以更好地理解模型的运行过程。从浅层到深层选择卷积层进行可视化，结果见图4。神经网络的前面卷积层为浅层卷积层，后面的卷积层为深层卷积层，它们所关注的重点不同。每个小图由不同卷积层可视化得到，它们按照从浅层到深层递增的顺序排序。图像的形状越来越不明显，因为浅层卷积层提取的特征强调的是纹理、细节信息，物体的基本形状能够比较清晰地展现出来。随着层数的增加，将会提取更多的抽象特征，通过更多的变换操作来更加完整地描述一个物体。相对而言，层数越深，提取的特征越具有代表性。通过对网络的可视化[27]，可以更好地了解网络对物体进行识别时所着重关注的地方，图像越亮的区域表示特征越明显。
3 结论
研究针对神经网络训练中模型中庞大的模型体积和过长的模型的训练时间，提出使用知识蒸馏技术建立了识别5种不同小麦生育期的分类模型。主要结论如下：
小麦生育期识别的标准卷积神经网络模型VGG16、ResNet50和轻量化卷积神经网络模型MobileNet，对小麦生育期测试集样本进行预测，模型的平均准确率分别为93.5%、94.9%、92.6%，表明了利用卷积神经网络在小麦生育期图像上分类识别可行且高效。
当ResNet50作为教师模型时，学生模型MobileNet的准确率提升到了98.3%;然后使用小麦单个生育期的准确率、模型的参数量、模型所占的内存与模型训练所用时间4个指标对训练好的学生模型MobileNet进行评估。经过蒸馏后的MobileNet模型的平均准确率达到了96.1%，模型的参数量只有130多万个，模型大小压缩为仅19.7 MB，相比于ResNet50缩小了80.8%，模型的运行收敛时间只有20 h，约为教师模型的一半，具备较高的准确性和实时性要求。
通过知识蒸馏可以使得一个小的模型准确率接近大的模型的准确率，使得小麦生育期识别模型参数量、模型大小和运行时间大大减少，便于在低算力设备部署运行，可以为田间小麦智慧化生产提供技术支撑。
参考文献：
[1]赵广才，常旭虹，王德梅，等. 小麦生产概况及其发展[J]. 作物杂志，2018（4）：1-7.
[2]和兴华. 基于卷积神经网络的玉米冠层图像分割与生育期鉴定方法[D]. 南昌：江西农业大学，2018.
[3]陆 明，申双和，王春艳，等. 基于图像识别技术的夏玉米生育期识别方法初探[J]. 中国农业气象，2011，32（3）：423-429.
[4]乌玲瑛，徐 奂，蔡喨喨，等. 基于机器学习的水稻发育期预测模型构建[J]. 扬州大学学报（农业与生命科学版），2012，33（3）：44-50.
[5]胡锦涛，王苗苗，李 涛，等. 基于深度学习的棉花发育期自动观测[J]. 安徽农业科学，2019，47（11）：237-240，243.
[6]张明伟. 基于MODIS数据的作物物候期监测及作物类型识别模式研究[D]. 武汉：华中农业大学，2006.
[7]黃 青，李丹丹，陈仲新，等. 基于MODIS数据的冬小麦种植面积快速提取与长势监测[J]. 农业机械学报，2012，43（7）：163-167.
[8]黎 煊，赵 建，高 云，等. 基于连续语音识别技术的猪连续咳嗽声识别[J]. 农业工程学报，2019，35（6）：174-180.
[9]郑秋梅，谢换丽，王风华，等. 一种基于局部三值模式的深度学习人脸识别算法[J]. 计算机与现代化，2018（2）：112-117.
[10]林相泽，张俊媛，朱赛华，等. 基于K-SVD和正交匹配追踪稀疏表示的稻飞虱图像分类方法[J]. 农业工程学报，2019，35（19）：216-222.
[11]储彬彬. 基于深度学习的人类行为分析技术的研究与实现[D]. 南京：东南大学，2017.
[12]占 超. 基于视频对象和深度学习的异常行为分析系统设计和实现[D]. 北京：北京邮电大学，2019.
[13]汪传建，赵庆展，马永建，等. 基于卷积神经网络的无人机遥感农作物分类[J]. 农业机械学报，2019，50（11）：161-168.
[14]贾少鹏，高红菊，杭 潇. 基于深度学习的农作物病虫害图像识别技术研究进展[J]. 农业机械学报，2019，50（增刊1）：313-317.
[15]黄 云，唐林波，李 震，等. 采用深度学习的遥感图像花生种植区域分类技术研究[J]. 信号处理，2019，35（4）：617-622.
[16]王丹丹，何东健. 基于R-FCN深度卷积神经网络的机器人疏果前苹果目标的识别[J]. 农业工程学报，2019，35（3）：156-163.
[17]罗 琪. 基于深度学习的水果图像识别系统[J]. 农业工程，2018，8（10）：31-34.
[18]宋晓倩，张学艺，张春梅，等. 基于深度迁移学习的酿酒葡萄种植信息提取[J]. 江苏农业学报，2020，36（3）：689-693.
[19]谢忠红，徐焕良，黄秋桂，等. 基于高光谱图像和深度学习的菠菜新鲜度检测[J]. 农业工程学报，2019，35（13）：277-284.
[20]Ma J C，Du K M，Zheng F X，et al. A recognition method for cucumber diseases using leaf symptom images based on deep convolutional neural network[J]. Computers and Electronics in Agriculture，2018，154：18-24.
[21]吴 茜. 基于图像处理技术的棉花发育期自动观测研究[D]. 武汉：华中科技大学，2013.
[22]余正泓. 基于图像的玉米发育期自动观测技术研究[D]. 武汉：华中科技大学，2014.
[23]吴兰兰. 基于数字图像处理的玉米苗期田间杂草的识别研究[D]. 武汉：华中农业大学，2010.
[24]Hinton G ，Vinyals O，Dean J. Distilling the knowledge in a neural network[EB/OL]. （2015-03-09）[2021-03-21]. https：//arxiv.org/pdf/1503.02531.pdf.
[25]Soudani A，Barhoumi W. An image-based segmentation recommender using crowdsourcing and transfer learning for skin lesion extraction[J]. Expert Systems with Applications，2019，118：400-410.
[26]Sandler M，Howard A，Zhu M L，et al. MobileNetV2：inverted residuals and linear bottlenecks[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City，2018.
[27]Protas ，Bratti J D，Gaya J F O，et al. Visualization methods for image transformation convolutional neural networks[J]. IEEE Transactions on Neural Networks and Learning Systems，2019，30（7）：2231-2243.
猜你喜欢 卷积神经网络深度学习 基于深度学习的初中生物教学对学生思维品质的培养当代家庭教育(2021年18期)2021-07-19深度学习在高中化学教学中的应用探究基础教育论坛·上旬(2021年6期)2021-07-14寓教于乐,深度学习中学课程辅导·教学研究(2021年8期)2021-07-14基于卷积神经网络的微表情识别中国新技术新产品(2018年16期)2018-10-31基于深度学习的肺结节检测神州·下旬刊(2018年7期)2018-07-28基于残差网络的图像超分辨率算法改进研究软件导刊(2018年4期)2018-05-15基于卷积神经网络的图像检索计算机时代(2018年1期)2018-01-26基于深度卷积神经网络的人脸年龄分类智能计算机与应用(2017年3期)2017-07-15促进深度学习，提升数学核心素养江苏教育(2016年19期)2017-03-12历史深度学习的六个着力点教学与管理(中学版)(2016年12期)2017-01-07