相机,计算机和蛋糕食谱将如何推动杂草识别的未来

发表于

关于盖伊·科尔曼

盖伊·科尔曼(Guy Coleman)是悉尼大学的博士生,曾在精密杂草控制方面工作,具有激光除草,机器人技术和计算机视觉的经验。盖伊(Guy)在西澳大利亚州的珀斯长大并研究解剖结构后,决定离开医学道路,从事农业职业。2021年,盖伊(Guy)在得克萨斯州A&M大学之间度过了一年的富布赖特奖学金,哥本哈根大学学习了不同的杂草识别方法。特定地点的杂草控制,杂草识别和开源开发的领域汇集了所有人对农业,技术和农业教育的热情。现在,他的研究重点是如何将农作物生物学纳入杂草识别方法中,以进行更高效,更先进的作物中的杂草。

查看所有帖子盖伊·科尔曼

The idea of controlling weeds individually instead of treating the whole field uniformly makes a lot of sense. Why waste herbicides, till soil unnecessarily or use other weed control methods on areas without weeds? Besides reducing unintended environmental impacts, it means cost savings for the farmer, reduced crop stress and the opportunity to concentrate efforts where they are needed.

在这个广泛的除草剂耐药性时代,后者为新的杂草控制工具打开了大门,例如激光或电除外(Carbon Robotics作为一个例子)。不幸的是,以上所有内容绝对依赖于在各种作物条件下可靠地识别杂草的能力。输入相机,计算机和蛋糕食谱。

除了谓词外,它们都通过在实时的,作品内杂草识别中的作用来联系。那么,为什么杂草识别已经广泛可用,这三重奏将如何改变呢?好吧,我看的方式,如果我们的脸是杂草,这个问题将很久以前解决。换句话说:新技术意味着可以通过必要的重点,投资和研究来应对这一挑战。

在过去的几年中,实时杂草识别的研究和开发发生了变化,这些杂草识别正在推动特定于特定地点的杂草控制的快速增长。我们看到了这一点,在全球范围内基于图像的绿色绿色(GOG)看到和喷雾系统的出现,其中许多列在下表中。

Sensor 地点
AutoWeed 澳大利亚
Agtecnic Sensespray 澳大利亚
覆盆子 法国 /澳大利亚
碳蜜蜂 - Smartstriker France
Deepagro 阿根廷
exxact机器人技术 France
绿眼 以色列 /美国
John Deere / BlueRiver 美国
OpenWeedLocator(OWL)- 由作者开发为DIY开源杂草检测系统。 澳大利亚
Xarvio / Bosch / Basf 加拿大 /欧洲

然而,正如植物检测的最后50年,识别和识别研究表明,可靠的杂草识别是一个具有挑战性的问题。本文的目的是带您进行杂草识别的旅程 - 从1970年代的简单植物检测到配备摄像头蛋糕蛋糕配方组合的动臂的每米。幸运的是,我们正在走上更有效的杂草识别的道路。

Green-on-brown weed detection

就可用的研究表明而言,进行了首次尝试检测1970年代初期稀疏甜菜。The method is impressive in its simplicity – two sensors (photodiodes) that generate a signal based on incoming light intensity, are each covered by a filter that only allows specific wavelengths of light through. By knowing the reflectance spectrum for plants and comparing the ratio/output of these two sensors means you can detect if a plant has entered the field of view, but not necessarily exactly where it is.

在这种情况下,杂草检测“算法”是传感器值和一些预定义阈值的比率,可以根据“灵敏度”进行调整。这个概念在很大程度上是当今除草剂和除草剂的基础。该系统具有基于高级图像的系统的所有原理:(1)传感器/摄像头 +(2)运行杂草识别算法 +(3)某种形式可行的输出(例如打开喷嘴)的数据流。

基于图像的杂草识别

的基本面SSWC b大体一致etween sensor and image-based systems, the interesting details and drivers for GoG technology emerge if we dive into the data stream (images) from the camera and the algorithm running on a computer.

从最基本的角度来看,数字颜色摄像机是一种传感器,该传感器基于传入的光强度生成信号。与光电二极管的不同之处在于,相机记录了频谱的红色,绿色和蓝色(RGB)部分的相机中每个像素的反射强度信息。例如,一个12百万像素的摄像头具有1200万像素,为每个RGB通道报告反射强度。这意味着每张照片生成3600万个单独的数字。了解有关数字成像基础知识的更多信息,here

When you bring this together in an image, you have information on object relationships in space, providing not just a ‘spectral’ dimension (RGB) but also a ‘spatial’ dimension. The use of computers to understand image content is known as computer vision. Having all this data (colour and spatial information) means there is a lot more to work with when differentiating two plants, increasing your chances of success. The downside of having more to work with, is having to work with more! In this case, the computer needs to deal with the 36 million numbers it receives 30 times per second.

该杂草识别难题的下一部分是计算机和相关的杂草识别算法,该算法接收到传入的图像并确定图像中是否有杂草。In the case of ‘conventional’ or non-convolutional neural network (CNN) methods (we’ll get to those later), this analysis process is largely formed of four stages shown in Figure 2 – (1) pre-processing, (2) segmentation, (3) feature extraction and (4) classification. If you’re interested in the details on the volumes of research done in this space, I’d highly recommend this review byWang等,2019

图2图像分析过程的概述,包括卷积神经网络(CNN),这些卷积神经网络(CNN)可以用手动特征提取的更传统的方法自动执行大量操作。改编自Wang等人。2019。

如果是一个简单的基于颜色的检测系统,该系统只需要在休耕中找到绿色植物,例如我们的DIY杂草检测器OpenWeedLocator(OWL),使用RGB,该算法在很大程度上是绿色通道上的阈值彩色空间。这会带来一些风险 - 例如,如果照明发生很大变化或杂草不绿色,则该方法可能会分解。然而,我们走上了这条路径,因为它可以在相当计算受约束的覆盆子PI上使用。

我们的现场测试在可变的休耕条件下还显示出可接受的性能水平。我们通过结合多种基于颜色的算法来管理这些问题;依靠“多余的绿色”(EXG)植被指数中的RGB色彩空间中的绿色,并结合阈值色相,饱和度和价值(相当于亮度)(HSV)颜色空间,以避免在过度/未充分的区域上进行虚假检测,这通常发生在茬中。即使进行了这些调整,该系统也容易出错,但是使用摄像头的好处是,可以将它们升级为在更先进的算法中进行练习。

The ‘green detection only’ approach without machine learning that effectively exits Figure 2 at the segmentation stage is also likely in the initial launch of John Deere’s green-on-brown查看&Spray Select™。可能是出于上述原因,他们还警告不要在迅速变化的日出和日落附近使用。正如预期的那样,该系统在2022年初旋转到具有深度学习的作用检测,因为图像和嵌入式处理器允许绿色绿色的仅软件更改。

如果需要绿色绿色的绿色物种分类或农作物冰分歧视,则需要剩下的两个特征提取和分类阶段。在常规过程中,您选择要使用的植物属性(称为图像功能)的人在这些功能上训练了算法,然后在现场运行它,这是一种通常称为机器学习的方法。尽管采用了更高级的方法,但测试数据集和可变场状况之间的性能下降意味着该方法在大规模系统中仍然无法使用。那么,发生了什么变化?

好吧,2012年,一个研究小组设法大大跑赢大度所有这些其他具有称为卷积神经网络(CNN)的算法的方法。该算法本身可以选择并了解哪些功能最重要,从而使其更强大,而不是“专家”识别图像中哪些植物属性很重要。CNN有效地跳过了传统过程中的所有步骤(图2),而是用手动突出显示的杂草的大量训练图像代替它们 - 一种新发现的瓶颈本身,但不能无法无法克服。

CNNS鲁棒性的一部分来自该算法能够分析数十种功能和功能的组合,这些功能对人类来说不一定是显而易见的。在培训过程中,它根据提供的培训数据集并测试另一个功能,然后测试一个功能的组合。最大的改进之一是,通过自动进行此功能提取和选择过程,它可以消除缓慢而有些定性的过程,以决定哪些功能/植物属性最重要。除此之外,算法非常大。一些现代的CNN具有超过1亿(!)的不同表盘,可以自动调整以学习杂草的模式。

Combined with these algorithms, we now also have low-cost (

Figure 3 The fully assembled OpenWeedLocator without the cover showing all the parts necessary for a site-specific weed control system. Camera at the front, a credit card-sized computer in the middle (Raspberry Pi) and a relay control board at the back to activate solenoids for spot spraying. The OWL is an open-source, DIY weed detection system and can be accessedhere

That leaves us with the cake recipe – how does that fit? Well, the step-changes in technology, particularly deep learning for image analysis can be largely attributed to the use of open-source software, data and hardware. Accessible datasets gave rise to the first effective CNN; open-source deep learning libraries (e.g. Tensorflow and Pytorch) to widespread adoption and development and open-source and/or low-cost hardware to field-scale implementations of the work. The best analogy I have heard used to describe an open-source approach is that it’s like sharing the recipe for a cake – except the code/assembly guide are the recipe and the ingredient list all the tools/languages/packages/components required to make it work.

即使我可以用储藏室中的食材制作一个普通的巧克力蛋糕,但由于许多不同的原因,我仍然会去购买一个 - 质量,便利或支持/回报,以防万一它不完全符合标准。这种方法的重点是整个产品体验的质量不一定是结合成分的秘密组合或方法。另外,这意味着每个拥有基本工具的人都可以尝试制作蛋糕或训练算法,发现修复程序的机会,优化或低悬挂的水果,这些机会可能会完全改变其用例。

I mean, Australians took sponge cake and made拉明顿呢根据我在OpenWeedLocator上的经验,我们建造了一个用于在大规模休耕情况下检测绿色杂草的设备。但是以真正的开源方式,现在已用于特定于现场的杀菌剂喷雾剂,干燥剂应用和树木以进行杂草控制。加拿大创新 -Agopengps– developed by Brian Tischler is an open-source GPS steering system for tractors, similarly enabling farmer-driven development. The examples of different uses are quite extraordinary.

One of the main tenets of open-source technology is that by allowing people to see the details of software and hardware, a larger and more diverse array of people can examine the code and any inefficiencies and errors can be picked up faster. Besides this, it makes research and development accessible to those that might need the technology – the farmers – instead of it being locked away in large companies with inaccessible customer support. Farmer-driven innovation has a long and successful history and open-source development facilitates this continuing to occur in the era of agritech.

在过去的50年的开发中,相机,计算机和开源配方各自在不同的点贡献了特定地点的杂草控制。看来,现在他们正在为杂草识别和有针对性应用的感兴趣和开发风暴中的农业融合。

Baidu