Fjärrstyrning för smidigare terrängkörning testas i markberedningssimulator

Troëdsson Forestry Teleoperation Lab etablerades 2019 och har sedan dess varit centrum för flera projekt inom fjärrstyrning och automation av skogsmaskiner. Här pågår också ett projekt för att utveckla funktionalitet för fjärrstyrning av markberedare. En stark drivkraft för fjärrstyrning av markberedare är att förbättra förarmiljön. I markberedningen måste maskinen i praktiken köra över hela ytan som ska markberedas. Det finns inte möjlighet att använda kranlängden för att undvika körning i svårare terräng, som avverkningsmaskinerna kan göra, vilket innebär att förarna utsätts för betydande doser av skadliga helkroppsvibrationer.  

Ett led i utvecklingen av fjärrstyrning är att utforma en operatörsstation där föraren ska ha tillgång till all information som behövs för att köra maskinen och utföra markberedningen. Den främsta informationskällan är de kameror som sitter på maskinen. Tidigare fjärrstyrningsprojekt har fokuserat på krankörning. Att styra kranen med kamerabilder har inte upplevts som särskilt mycket svårare än att styra från maskinhytten. Däremot har det visat sig mer utmanande att köra maskinen i terrängen, delvis eftersom det är svårt att uppfatta hur maskinen lutar och hur mycket utrymme den tar i terrängen. Av den anledningen är fokus i projektet kring fjärrstyrd markberedning att utveckla förarstöd för olika aspekter av terrängkörningen.  

Ny simulator för fjärrstyrd markberedning

En markberedningssimulator har tagits fram för att underlätta utvecklingen av funktioner, val av kameror, kameravinklar och användargränssnitt. I en kontrollerad miljö kan fokus läggas på funktionsutvecklingen i stället för på praktiska problem och begränsningar. Dessutom kan operatörer provköra olika varianter av kameror och vyer utan att behöva bygga fysiska prototyper. Simulatorn baseras på Gazebo som är en del av ROS (Robot Operating System), ett ramverk för att utveckla styrsystem till robotar. Genom att använda ROS kan modeller, kod och användargränssnitt användas för fjärrstyrning av den fysiska maskinen. CAD-modeller av markberedaren tillhandahölls av Bracke och har anpassats för att fungera i simuleringen. En CAD-modell av en skotare från Komatsu har bearbetats på samma sätt. Regulatorer för styrning och drivlina har tagits fram för att efterlikna en vanlig maskin. Aggregatets funktioner för lyft och in-/utbreddning har även implementerats. Miljöerna har byggts med en markmodell där höjddata tas från Skogsstyrelsens API och markens textur från Lantmäteriets API för ortofoto. Miljön kompletterades sedan manuellt med stenar, träd, lågor, buskar och kulisser.  

Användargränssnitten som testas

Förarna behöver få all nödvändig information presenterad på en eller flera skärmar. I projektet valdes en större välvd skärm för att presentera kameravyer och instrumentpanel och en mindre skärm för att visa översiktskartan (Figur 1). 

Figur 1. Framåtvy med AR-stödlinjer. Här styr maskinen till vänster, varpå lyftlinjen i blått syns i vyn. Det märks även på att den vänstra hjulbreddslinjen (rött) korsar den vänstra gula arbetsbreddslinjen.  

Tre olika användargränssnitt togs fram som kombinerade olika kameravyer (framåt, bakåt, sidovyer, rättvända eller speglade). Användargränssnitten innehåller också AR (Augmented Reality, förstärkt verklighet) i form av stödlinjer för att underlätta navigering och hindertagning.   

Grönt – ett spår för planerad körrutt (Pathfinder).
Blått – indikerar det tillfälle när föraren ska minska arbetsbredden för aggregatet för att undvika hinder.
Gult – markberedarens arbetsbredd.
Rött – maskinhjulens ytterbredd.
Lila – Bearbetade spår från de fyra armarna på markberedningsaggregatet.  

Figur 2. En tv-spelskontroll och pedaler användes för maskinstyrning. Aggregatet styrdes med en konventionell Bracke-joystick. En 34 tums skärm med upplösning 3440 x 1440 pixlar användes för det primära användargränssnittet, med en kompletterande laptopskärm för överblicksvy. 

Pathfinder 

I ett angränsande projekt om autonom markberedning och plantering (Autoplant) utvecklas ett beslutsstöd för föryngringsplanering på hyggen. Beslutsstödet kallas Pathfinder och bygger på Skogforsk-verktyget Plantbeställning [länk till dokumentation] och en ny del för ruttplanering för planteringsmaskiner eller markberedare. Pathfinder tar fram en nettoyta för föryngring som baseras på skördarens produktionsfiler (hpr) och olika geodata som vattenkartor och jordartskartor. Rutterna läggs ut så att stråken blir långa och vändningarna få, samtidigt som körning i kritisk sidolutning (här över 27 procent eller 15 grader) undviks. Rutterna syntes i översiktsbilden, samt i vissa av kameravyerna som grön stödlinje. 

Metod för användartester 

De tänka slutanvändarna har involverats under projektets gång för att säkerställa att produkt- och konceptutveckling blir bra. På så vis kan viktiga användbarhetsproblem identifieras, samtidigt som användarens upplevelse av produkten förbättras. Användartester är en resurseffektiv metod där utvalda användare får testa hela, eller delar av, produkten under utvecklingens gång. 
Användartesterna i projektet inkluderar två iterationer där den första gjordes tillsammans med Skogforsks medarbetare som har erfarenhet av att köra skogsmaskiner. De fick testa användargränssnitten under totalt 40 minuter; 30 minuter vid första tillfället och 10 minuter vid andra tillfället efter att justeringar för kameravyerna hade gjorts. Användartestet gav både värdefulla insikter gällande vilka vyer som användarna föredrog och att användarna behöver längre tid på sig för att förstå hur simulatorn och användargränssnitten fungerande.  

Figur 3. Vid det första användartestet provar Skogforsks medarbetare Petrus Jönsson hur det känns att köra i simulatorn på en större skärm.

Den andra iterationen var ett användartest med tre markberedningsförare där testtiden förlängdes till två timmar. Projektet, simulatorn och användargränssnittet introducerades under 20 minuter. Därefter fick förarna i uppgift att börja markbereda en trakt genom att följa rutten från Pathfinder och väja för hinder. Under 40 minuter fick de prova tre gränssnitt som hade olika uppsättningar av kameravyer, mätare och instrument (Figur 2). Den sista timmen av användartestet fick förarna reflektera över interaktionen och hur deras upplevelser hade varit. Passet avrundades med att förarna själva fick bestämma vilka kameravyer och mätare som skulle finnas med i gränssnittet och testa detta.

Resultat från tester med markberedningsförare

Förarna hade inga problem med att köra och styra den virtuella markberedaren. De noterade några skillnader i styrrespons men anpassade sig till det utan problem. Testerna visade dock att två timmar är för kort tid för att användaren ska förstå och utföra uppgifterna korrekt i den virtuella miljön. De tre förarna fokuserade på en av de 6–8 kameravyer som presenterades. Detta ledde till att de missade viktig information från andra kameravyer som till exempel hinder eller hur de följde rutten. Även information från instrumentbrädan, som lutning och hastighet, missades lätt. Förarna fokuserade oftast på en sak i taget och den uppgiften klarade de av och förstod på ett intuitivt sätt, men missade då samtidigt något annat. Ett exempel var att när de följde rutten noggrant kunde de köra rakt in i ett träd eller då de skickligt undvek en massa hinder tappade de bort ruttriktningen.

De visuella stödlinjerna (AR) fungerade som stöd för att orientera sig och sätta de saker som syntes i kamerabilderna i ett sammanhang. De blåa sidolinjerna tyckte alla förare var användbara som stöd för att undvika hinder genom att smalna av aggregatet, och därför ville de ha dem synliga i den främre vyn som de använde mest. De röda stödlinjerna som visade basmaskinens bredd och de gula för aggregatets arbetsbredd tyckte förarna var användbara för att förutsäga maskinens placering i svängarna. Det fanns många idéer på hur strecken kunde utvecklas för att förmedla information. Ingen av förarna tyckte att stödlinjerna blev för mycket information eller att de var i vägen i kameravyn. En av förarna tyckte att det blev lite mycket linjer i framåtvyn när även körplaneringen från Pathfinder visades där.

Nästa steg

Efter utvecklingen i simulatorn ska utformningen av operatörsstationen och förarstöden implementeras i operatörsstationen kopplad till den riktiga markberedaren. En utmaning i implementeringen är positioneringen av maskinen. Förarstöden som utgörs av grafiska AR-element som illustreras i kameravyerna kräver kontinuerlig GNSS-positionering av maskinen med hög precision. Av den anledningen kommer maskinen att utrustas med ett RTK-GNSS-system. Preliminära tester i labbmiljö indikerar att grafiska element stämmer mycket väl med fysiska objekt som syns i kamerabilderna. Fortsatta tester i maskinen kommer att inriktas på att utforska hur bra det blir i den verkliga miljön. En utmaning där är att GNSS-antennernas position påverkas av att maskinen lutar, främst i sidled, när den kör i terrängen.

En viktig del i det fortsatta arbetet är att vidareutveckla simulatorn som utbildningsstöd för de förare som ska fjärrstyra den fysiska maskinen. På så sätt kan föraren sätta sig in i gränssnitten utan tillgång till den riktiga maskinen.