Elektronikou napěchovaná robotická farma, kde člověk plní jen funkci příležitostného ošetřovatele. Tak působí projekt BERABOT, za kterým stojí technologická skupina NWT, Univerzita Tomáše Bati ve Zlíně (UTB) a Farma Bezdínek. Společně vyvíjejí systém, který dokáže kontrolovat růst rostlin, varovat před škůdci, upozornit na vhodný čas sklizně nebo prostřednictvím rozšířené reality umožnit inspekci farmy na dálku.
Systém autoři testují na hydroponní farmě v Dolní Lutyni. Co se zkušebních rostlin týče, volba padla zatím na rajčata, ale po dokončení vývoje bude možné systém aplikovat i na další plodiny. BERABOT do budoucna počítá s nasazením robota, který bude projíždět mezi řádky rostlin a postupně je snímat. Umělá inteligence pak vyhodnotí řadu parametrů.
„Cílem našeho projektu je návrh a ověření funkčnosti komplexního inteligentního systému pro precizní zemědělství, který je dále možno komerčně aplikovat. V rámci toho systému chceme sledovat čtyři oblasti. Zaprvé chceme velmi detailně znát rostlinu, která v hydroponním skleníku je. Chceme vědět, jak se vyvíjí, jak roste a případně zda nemá nějaké anomálie, například ve srovnání s vedlejším řádkem. Nutno zmínit, že rajčata rostou rychlostí zhruba 30 cm za týden, dosahují délky až 30 metrů a rostou do výšky 5 metrů. Je tedy poměrně složité zachytit je v růstu,“ popisuje základní vlastnosti systému Vít Štěpánek, ředitel divize efektivní IT firmy NWT.
Pozor na škůdce
„Náš další cíl je boj se škůdci, kteří pro skleník mohou představovat velký problém,“ dodává Štěpánek. „V Česku se staly případy, kdy někdo zavlekl škůdce do skleníku a ti zcela zničili úrodu. To samozřejmě vedlo k obrovským ekonomickým škodám. Náš projekt analyzuje porost pomocí obrazových a dalších vstupních dat a identifikuje ložiska nákazy. Například podle toho, že je někde menší produkce než ve vedlejším řádku nebo tím, že vidí škůdce přímo na kameře. A dokáže velmi rychle dát zprávu farmáři či rostlinolékaři, že se někde něco děje. Farma Bezdínek představuje obrovskou plochu a není v lidských silách procházet každý porost a vyhodnocovat každý list, který tam je. Náš systém ale takovou kontrolu umožňuje.“
Škůdce ve skleníku „loví“ lepicí štítky, které snímá kamera.
BERABOT z dostupných dat zároveň predikuje úroveň sklizně v horizontu jednoho až dvou týdnů. Algoritmy dokáží identifikovat prakticky každé rajče rostoucí ve skleníku, určit, v jakém je vegetativním stavu, kdy nastane ideální čas sklizně a odhadnout i jeho velikost a váhu. „A nakonec nám jde o zpřístupnění celého skleníku farmáři nebo rostlinolékaři prostřednictvím rozšířené reality tak, aby v případě, že systém najde škůdce nebo jiný problém, mohl člověk provést inspekci rostlin ve skleníku, i když není přímo na místě, a to prostřednictvím robota. Navíc, během návštěv by se lékař hodně nachodil a zároveň by tam mohl zavléci nějakou chorobu, poškodit rostliny a podobně,“ říká Štěpánek.
Pro zmíněnou predikci sklizně ale data získaná pouze strojovým viděním nestačí. Systém proto sbírá komplexní soubor informací z celého skleníku a jeho okolí, jako jsou údaje o slunečním svitu a počasí, vnější a vnitřní teplotu a také subjektivní hodnocení stavu rostlin od rostlinářů.
Vizuální data pak má v konečné fázi projektu snímat robot, který bude cíleně projíždět skleníkem a pořizovat snímky rostlin. Vzhledem k tomu, že rostliny mohou měřit na výšku až šest metrů a rajčata rostou od výšky 1,2 metru nad zemí až po vrchol rostliny, musí robot zvládnout zabrat velkou plochu. Kromě samotných rostlin pak kontroluje i lepové desky, které slouží jako pasti na škůdce. „V každém velkém produkčním skleníku na světě jsou mezi řádky kolejnice. Po nich standardně jezdí vozík, pomocí kterého se ošetřuje rostlina a také se potom sklízí. Stejné kolejnice využíváme pro náš robot, aby jezdil autonomně v rámci skleníku a sbíral obrazová data. Ta jsou přenášena do datového centra, kde jsou analyzována a vyhodnocována a výstupy jsou předávány farmářovi,“ vysvětluje Štěpánek. Zatím výzkumníci obrazová data získávají pomocí kamery přidělané na vozík.
„Za pomoci data miningu, neuronových sítí a hlubokého učení systém analyzuje jak vizuální data, tak informace o mikroklimatických podmínkách, úrodě v minulosti a zpětnou vazbu od rostlinářů a dívá se na ně komplexně. Z toho určí, v jakém celkovém stavu se skleník nachází a snaží se najít jakékoliv anomálie, které by poukázaly na problém, který v danou chvíli nemusí být lidskému oku patrný,“ dodává Peter Janků z Ústavu informatiky a umělé inteligence UTB.
„Kromě klasických kamer využíváme i 360°, abychom v jeden okamžik při průjezdu řádkem zaznamenali obě strany řádků a co největší část porostu. Testujeme i laserové měření pomocí lidaru. Od něj si slibujeme možnost získat hloubkové informace a tím pádem i údaj o velikosti rajčete. Pokud víme, jak daleko je od kamery, jsme schopni spočítat, jak velké je. Tím pádem pak můžeme daleko přesněji odhadnout množství sklizně,“ říká Janků.
Neuronka vycvičená na koloběh života
Data z robota pak zamíří do neuronové sítě, která je zpracuje a odhadne skryté problémy na farmě či potenciální objem sklizně. Konkrétní technologii ale zatím výzkumníci hledají a momentálně testují několik přístupů. „Tím, že sbíráme velké množství dat, vyhodnocujeme je v nestabilní zátěži, která je variabilní, a dál s nimi pracujeme a objem dat zároveň dlouhodobě narůstá, tak je to samozřejmě ideální adept na technologii Cloud Native. Systém jako takový je distribuovaný, poběží na Kubernetesu, bude mít svou část jak na farmách, tak v datových centrech. I návrh aplikací, které s tím souvisí, se snažíme dělat tak, aby to byly micro services, a spojovat výsledky jednotlivých aplikací dohromady,“ vysvětluje Štěpánek.
„Rozhodli jsme se pro konvoluční neuronové sítě, protože zpracováváme obrazy, fotografie, používáme tzv. deep learning. V rámci konvolučních neuronových sítí je samozřejmě několik konkrétních typů, my momentálně zkoušíme na základě posledních vědeckých publikací ty, které odpovídají dnešnímu state of the art, a porovnáváme, co nám dává lepší výsledky. Doposud jsme řešili to, že jsme neměli nasbíraný dostatečný dataset, tudíž jsme generovali umělé obrazy, kde jsme zkoušeli jednotlivé sítě. Nyní po zhruba roce a půl přecházíme na to, že učíme nové modely na datasetech, které jsme nasbírali, a tím směrem půjdeme i nadále,“ doplňuje Tomáš Tureček z UTB.
Sběr vizuálních dat zatím probíhá přes kameru přidělanou na vozík. Do budoucna tuto práci zastane robot.
Strojové vidění zaměřené na živé organismy je ale tradičně komplikované tím, že živé věci se v průběhu času výrazně mění. Rajčata dozrávají, škůdci rostou nebo se rozkládají. „Aktuálně máme ve skleníku umístěné zařízení, které kontinuálně snímá jeden štítek v průběhu celého dne v pravidelných periodách. Tím pádem získáme informace i o tom, jak se průběžně mění zaplnění štítku. Zároveň se v průběhu stáří štítku, které může dosahovat několik týdnů, mění grafická podoba, vzhled škůdce. Nějakým způsobem degraduje. Kontinuální snímání nám předá informaci, jak v jednotlivých fázích, v jednotlivých fázích záchytu, škůdce vypadá a samozřejmě to pomůže dál zpřesnit tu neuronovou síť,“ vysvětluje Štěpánek.
To samé podle Petera Janků platí i pro detekci rajčat. Ta ve skleníku rostou velmi rychle a jejich podoba se tak dramaticky mění. „Nejde nám jen o výsledná zralá rajčata, protože pro účely predikce potřebujeme vědět, i kolik máme nezralých plodů, abychom byli schopni odhadnout, za jak dlouho která část dozraje. Dobré je, že rajčata postupně dozrávají a postupně se sklízí. To znamená, že pokud naskenujeme porost jako takový, tak tam máme všechny fáze zralosti a prakticky po celou dobu produkce daného porostu se nám všechny fáze různě opakují a jsme schopni z toho obrazová data získávat.“
„Trochu problém je brzká fáze zralosti, kdy jsou rajčata ještě zelená, skrytá v porostu. Tam je potřeba dataset připravit tak, aby byl schopný rozlišovat, co je v porostu ještě rajče a co už není. Samozřejmě problémem jsou pak i rajčata, která nejsou vidět celá, nelze se tedy spolehnout na jejich tvar, ale je třeba sledovat různou barevnost,“ doplňuje Štěpánek z NWT.
Autoři BERABOTu zatím přiznávají, že s detekcí rajčat mají plné ruce práce, takže na další plodiny se zatím nezaměřují. Do budoucna by ale rádi chtěli systém rozšířit i do fóliovníků, kde rostou třeba okurky. „Obchodní řetězec požaduje okurky v nějakém rozmezí gramáží. V tuto chvíli pracovník na farmě musí na základě svých znalostí odhadnout, jestli už má okurku odtrhnout, nebo nemá. My mu tuto cestu chceme zjednodušit systémem, který by mu třeba tím, že by si nasadil nějaké brýle, přímo na porostu pomáhal s určením, která okurka je vhodná k tomu, aby se v danou chvíli sklidila,“ říká Štěpánek.
Na trhu za dva roky
Ačkoliv je BERABOT zatím akademický projekt, jehož hlavním výstupem je momentálně několik vědeckých článků, autoři pomýšlejí i na komerční využití. Podle Štěpánka tak od začátku kladou důraz na přenositelnost systému.
„Proto jsme se při návrhu datového modelu snažili umět abstrahovat informace, které z druhé farmy nedostaneme pomocí nějakých zástupných ukazatelů, jako je třeba ukazatel obecného zdraví skleníku. Snažíme se i standardizovat přístrojovou techniku na měření těch základních klimatických dat, aby to bylo jednoduše připojitelné, a snažíme se identifikovat informační systémy, které jsou běžně dostupné a používané po celém světě, které používají ti farmáři, a napojujeme se na tato data. Jako datovou základnu jsme si zvolili Elasticsearch, takže jdeme cestou NoSQL databází. Abychom mohli být pružní v tom přidat do datového modelu, respektive do základny jiné zdroje dat, jinak je popisovat a pracovat s nimi trochu abstraktně. Abychom nebyli závislí, že na jedné farmě je konkrétní SQL, s konkrétními parametry. Nás by to blokovalo v tom, abychom to mohli přenášet na jinou farmu.“
Momentálně vědci zapojují ve skleníku v Dolní Lutyni robota pro autonomní snímání obrazových dat. Příští rok chtějí dodělat algoritmy tak, aby byly stabilní a bylo tak možné vyhodnotit jejich účinnost. Rádi by také rozšířili systém do dalšího skleníku, aby ověřili jeho přenositelnost. A pokud vše půjde podle plánu, v roce 2023 již chtějí autoři BERABOT nabízet na mezinárodním trhu jako finální produkt určený k ostrému provozu.
