单独控制杂草而不是统一处理整块地的想法很有意义。为什么要浪费除草剂，在没有杂草的地区进行不必要的耕作或使用其他杂草控制方法?除了减少意外的环境影响之外，这还意味着农民可以节省成本，减轻作物压力，并有机会集中精力在需要的地方。
在这个除草剂抗性普遍存在的时代，后者为新的杂草控制工具——如激光或电除草——打开了大门。碳的机器人举个例子)。不幸的是，所有这些都完全依赖于在各种作物杂草条件下可靠地识别杂草的能力。接下来是相机、电脑和蛋糕食谱。
除了头韵之外，它们都是通过它们在实时作物杂草识别中的作用联系在一起的。那么，为什么杂草识别技术还没有得到广泛应用?这三人组将如何改变这一现状?在我看来，如果我们的脸是杂草，这个问题早就解决了。换句话说:新技术意味着这一挑战可以通过必要的关注、投资和研究来解决。
在过去的几年里，实时杂草识别的研究和开发有了阶段性的变化，这推动了作物内特定地点杂草控制的快速进展。随着全球范围内基于图像的green-on-green (GoG) see-and - spray系统的出现，我们看到了这一点，其中许多系统在下表中列出。
| 传感器 | 位置 |
| AutoWeed | 澳大利亚 |
| Agtecnic SenseSpray | Austraila |
| 越桔 | 法国/澳大利亚 |
| 碳蜂-智能前锋 | 法国 |
| DeepAgro | 阿根廷 |
| EXXACT机器人 | 法国 |
| GreenEye | 以色列/美国 |
| John Deere / bluerriver | 美国 |
| OpenWeedLocator (OWL)-由作者开发的DIY开源杂草检测系统。 | 澳大利亚 |
| Xarvio / Bosch / BASF | 加拿大/欧洲 |
然而，过去50年的植物检测、识别和识别研究表明，可靠的杂草识别是一个具有挑战性的问题。这篇文章的目的是带你踏上杂草识别的旅程——从20世纪70年代简单的植物疏疏检测到每米都配备了相机-电脑-蛋糕配方组合。幸运的是，我们正在朝着更有效的杂草识别的方向前进。
褐绿杂草检测
就现有的研究表明，植物检测的第一次尝试是为了20世纪70年代初，甜菜变薄。这种方法的简单性令人印象深刻——两个传感器(光电二极管)根据入射光强度产生信号，每个传感器都被一个只允许特定波长的光通过的滤波器覆盖。通过了解植物的反射率光谱，并比较这两个传感器的比值/输出，意味着你可以检测到植物是否进入了视野，但不一定能准确地检测到它在哪里。
在这种情况下，杂草检测“算法”是传感器值和一些预定义阈值的比率，可以作为“灵敏度”的一种形式进行调整。这个概念在很大程度上是今天WEEDits和WeedSeekers的基础。该系统具有先进的基于图像的系统的所有原理:(1)来自传感器/摄像机的数据流+(2)运行杂草识别算法的计算机+(3)某种形式的可操作输出(例如打开喷嘴)。
基于图像的杂草识别
由于SSWC的基本原理在传感器和基于图像的系统之间基本一致，如果我们深入研究来自相机的数据流(图像)和在计算机上运行的算法，就会发现GoG技术的有趣细节和驱动因素。
最基本的，数码彩色相机是一个传感器，它根据入射光强产生信号。与光电二极管的不同之处在于相机记录了相机中每个像素在光谱的红、绿、蓝(RGB)部分的反射率强度信息。例如，一个1200万像素的相机有1200万像素报告每个RGB通道的反射率强度。这意味着每张照片产生3600万个单独的数字。了解更多关于数字成像的基础知识，在这里．
当你把这些组合在一张图像中，你就有了空间中物体关系的信息，不仅提供了“光谱”维度(RGB)，还提供了“空间”维度。使用计算机来理解图像内容被称为计算机视觉。拥有所有这些数据(颜色和空间信息)意味着在区分两种植物时有更多的工作要做，增加了成功的机会。有更多工作要做的缺点，就是不得不做更多的工作!在这种情况下，计算机需要处理每秒接收30次的3600万个数字。
这个杂草识别难题的下一部分是计算机和相关的杂草识别算法，它们接收传入的图像并确定图像中是否有杂草。在“传统”或非卷积神经网络(CNN)方法的情况下(我们将在后面讨论)，这个分析过程主要由图2所示的四个阶段组成(1)预处理，(2)分割，(3)特征提取和(4)分类。如果您对这一领域所做的大量研究的细节感兴趣，我强烈推荐这篇评论王等，2019．
在一个简单的基于颜色的检测系统中，只需要找到休耕的绿色植物，就像我们的DIY杂草探测器OpenWeedLocator (OWL)，该算法在很大程度上是在绿色通道上使用RGB的阈值颜色空间．这种方法有一定的风险——例如，如果光线变化很大，或者杂草不是绿色的，这种方法就会失效。然而，我们走了这条路，因为它的简单性和速度，可以在计算相当有限的树莓派上使用。
我们的现场测试在不同的休耕条件下也表现出可接受的性能水平。我们通过结合多种基于颜色的算法来解决这些问题;根据“过剩绿色”(ExG)植被指数的RGB颜色空间中的绿色程度，并结合色相、饱和度和值(相当于亮度)(HSV)色彩空间，以避免在过曝/欠曝区域出现错误检测，这在茬中经常发生。即使进行了这些调整，系统也容易出错，但使用摄像机的好处是，它们可以升级为更先进的算法，用于作物内检测。
没有机器学习的“仅绿色检测”方法在分割阶段有效地退出了图2，这也可能在John Deere的green-on-brown的初始发布中出现参见& Spray Select™．可能是出于上述原因，他们还警告不要在接近日出和日落的时候使用，因为那里的光线变化很快。正如预期的那样，该系统将在2022年初通过深度学习转向作物内检测，因为图像和嵌入式处理器允许仅通过软件对绿色进行更改。
如果对绿使用需要进行杂草种类分类或作物-杂草区分，则需要进行特征提取和分类的其余两个阶段。在传统的过程中，有人选择你想要使用的植物属性(称为图像特征)，根据这些特征训练算法，然后在现场运行，这种方法通常被称为机器学习。尽管采用了这种更先进的方法，但测试数据集和可变现场条件之间的性能下降意味着该方法仍然无法在大规模系统中商业使用。那么，发生了什么变化呢?
2012年，一个研究小组成功做到了大大超过所有这些方法都使用了一种称为卷积神经网络(CNN)的算法。算法本身可以选择并学习哪些特征是最重要的，而不是由“专家”来识别图像中哪些植物属性是重要的，这使得算法更加健壮。CNN有效地跳过了传统过程中的所有步骤(图2)，取而代之的是手动突出显示大量训练图像——这本身就是一个新发现的瓶颈，但并非不可克服。
cnn的鲁棒性部分来自于算法能够分析几十个特征和特征的组合，这些特征对人类来说不一定是明显的。在训练过程中，它会测试一个特征组合，然后根据您提供的训练数据集进行自我纠正，并测试另一个。最大的改进之一是，通过自动进行特征提取和选择过程，它消除了决定哪些特征/植物属性最重要的缓慢且有些定性的过程。除此之外，算法非常庞大。一些现代cnn有超过1亿个(!)不同的表盘，可以自动调整以学习杂草的模式。
结合这些算法，我们现在也有低成本(< 150美元)信用卡大小的计算机，如树莓派(当它有额外支持时)和Jetson Nano，可以实时运行这些算法，或每秒分析15 - 20帧。即使通过具有超过1亿个参数的cnn每秒15次处理数百万个像素，它们消耗的电量也非常少，可以很容易地安装在农业设备上。每次想到它的巨大规模，我都感到难以置信。
这就剩下蛋糕的配方了，它怎么合适呢?技术的进步，尤其是用于图像分析的深度学习，很大程度上归功于开源软件、数据和硬件的使用。可访问的数据集产生了第一个有效的CNN;开源深度学习库(例如Tensorflow和Pytorch)，以广泛采用和开发，开源和/或低成本硬件，以实现工作的现场规模。我听过的用来描述开源方法的最好的比喻是，它就像分享蛋糕的食谱——除了代码/汇编指南是食谱，成分列表中列出了使它工作所需的所有工具/语言/包/组件。
即使我可以用我储藏室里的材料做一个普通的巧克力蛋糕，我仍然会因为很多不同的原因去买一个——质量、方便或支持/退货，以防它不太符合标准。这种方法强调的是整个产品体验的质量，而不一定是秘密组合或组合成分的方法。此外，这意味着每个拥有基本工具的人都可以尝试制作蛋糕或训练算法，发现修复、优化或容易实现的目标的机会，这可能会完全改变其用例。
我是说，澳大利亚人用海绵蛋糕做拉明顿蛋糕！根据我自己使用OpenWeedLocator的经验，我们建造了一个设备，用于在大规模休耕的情况下检测绿色杂草。但在真正的开源方式下，这已经被用于特定地点的杀菌剂喷洒、干燥剂应用和树下杂草控制。〇加拿大的创新AgOpenGPS-由Brian Tischler开发的是一个开源的拖拉机GPS转向系统，同样支持农民驱动的开发。不同用途的例子非常特别。
开源技术的主要原则之一是，通过允许人们看到软件和硬件的细节，更多和更多样化的人可以检查代码，并且可以更快地发现任何低效率和错误。除此之外，它还使那些可能需要技术的人(农民)能够获得研究和开发，而不是把技术锁在无法获得客户支持的大公司里。农民驱动的创新有着悠久而成功的历史，开源开发有助于这种创新在农业科技时代继续发生。
在过去50年的发展中，摄像机、计算机和开源食谱都在不同程度上为特定地点的杂草控制做出了贡献。现在看来，它们正汇聚在农业领域，在杂草识别和定向应用的兴趣和发展风暴中。