Mekanisk planteringsmaskin lär sig ”se” var plantan ska sättas

I syfte att effektivisera skogsbruket har Plantma Forestry AB tagit fram en maskin för mekaniserad plantering, som man vidareutvecklar i samverkan med Holmen, Sveaskog och SCA. PlantMax, som maskinen kallas, är en konventionell skotare med ett markberedningsaggregat i midjan av typen MidiFlex. Längst bak sitter två planteringsarmar, där varje arm kan göra ett planteringsförsök ungefär var tredje sekund. 

Utveckling av maskinseende

Planteringsmaskinen visar god potential när det gäller mekanisk plantering, men förbättringsmöjligheter finns när det gäller godkända planteringspunkter. För att försöka komma till rätta med det håller Skogforsk på att utveckla underlag för så kallat maskinseende. Det innebär att maskinen genom djupinlärning av digitala bilder kan lära sig att identifiera och klassificera objekt och därefter agera utifrån vad den ”ser”. I det här fallet handlar det om att välja eller avstå planteringspunkt beroende på hur marken där plantan ska sättas ser ut.

System för bildinsamling

Projektet inleddes med insamling av en mängd bilder och tester av olika koncept. Den första inriktningen var att utveckla ett koncept baserat på så kallad Semantic segmentation, där varje pixel i bilden tillhör en specifik klass. Konceptet var mycket lovande, men alldeles för tidskrävande, då ett stort antal masker med olika klasser för varje bild skulle göras manuellt. Ett sådant arbete rymdes inte inom projektets tidsram och budget. Det gjorde att man i stället valde att gå vidare med så kallad Multiclass classification, där bildrutor på ca 25 x 25 cm på marken klassificerades i tre olika klasser beroende på andelen humus. Bildrutorna hämtades från kameror monterade på maskinens plantmatningsarmar. 

Bedömningen av humusinblandning i bilderna visade sig bli väldigt subjektiv, vilket gjorde det svårt att genomföra en konsekvent bedömning. Därför ändrades konceptet till tre rena klasser där modellen predikterar sannolikheten för varje klass och man sätter tröskelvärden för de olika klasserna. Följande tre klasser valdes ut:

1.     Ej planterbart

. 

2.     Humus

3.     Mineraljord

Programvara för visuell studie

För att kunna studera hur bra modellen fungerar utvecklades en särskild programvara, som visuellt visar hur de olika klasserna predikteras för varje bild.  Programvaran har även en tröskelfunktion som markerar grönt om det är planteringsbart och rött om det inte är planteringsbart (figur 1 och 2).  

Det går också att i programvaran samla in bilder för att kvalitativt träna om modellen samt att inkludera bilder som modellen har svårt att prediktera rätt. Det gör man genom att skrolla igenom ett bildset och klicka i den klass man tycker att bilden tillhör när man anser att modellen predikterat fel.

Figur 1. Utvärdering med godkänd planteringspunkt.

Figur 2. Utvärdering med ej godkänd planteringspunkt.

System för operatörer

Även för operatören utvecklades ett system och programvara. Det består av en kraftfull fordonsdator med pekskärm som kan köras med två kamerasystem med ca åtta bilder per sekund och kameraström. På pekskärmen kan operatören bland annat ställa in tröskelvärden för hur tolerant modellen ska vara för att maskinen ska sätta en planta utifrån den sannolikhet som modellen predikterar (Figur 3). Vilken toleransgrad som operatören ska ställa in beror på vilken mark som ska planteras.

Är det till exempel en bördig mark med mycket humus där gran ska planteras kanske toleransnivån för humus sätts till 80 procent, medan en mager mark där tall ska planteras kanske bara har 20 procents tolerans för humus.  

I exemplet nedan måste det vara mindre än 27 procents sannolikhet att det är ej planterbart och mindre än 49 procent sannolikhet att det är humus för att plantan ska sättas. Det innebär att kamera 1 får grönt ljus att plantera medan kamera 2 blockerar planteringen. 

Figur 3. Grafiskt gränssnitt för operatören.

Modellen visar potential

Hela konceptet med Multiclass classification visar god potential vid datorkörningar och initiala utvärderingar i fält pekar åt samma håll. 

Här är några exempel på hur modellen predikterat olika bildrutor:     

Det händer framåt

Framåt finns det många intressanta spår för projektgruppen att jobba vidare med. Man kommer bland annat att titta på vilka tröskelvärden som är lämpliga för olika marktyper.

För att hantera enstaka missbedömningar i modellens prediktioner av enstaka bilder ska en funktion utvecklas där man kontrollerar att ett antal bilder klarar tröskelnivån innan man byter från okej att plantera till blockera, eller tvärtom. Det blir en typ av filtrering som inte bedöms påverka prestanda/kvalitet i övrigt, då systemet hanterar ca åtta bilder per sekund.

Ett annat utvecklingsområde är en automatisk justering av planteringsavstånd för att få ut tillräckligt många plantor, det vill säga om modellen har blockerat plantering under en sträcka, ska avståndet mellan planteringspunkterna automatiskt minska där kvaliteten på planteringspunkterna är bra.

Ambitionen är också att samla in ett stort antal bilder som modellen bedömt och "taggat" med prediktionsresultat, för att använda till att träna en mer generell modell som baseras på större variation av marktyper samt väder- och ljusförhållanden.

Det finns även planer på att vidareutveckla systemet till att innefatta bilder på satta plantor och koppla dessa till AI-modellens bilder och prediktioner samt positionera bilderna med mycket hög noggrannhet med hjälp av RTK-GPS. Detta skulle möjliggöra bättre uppföljning av planteringsresultat och utvärdering av AI-modellen.