Stereokamera fungerar bra för autonom stockplockning

Introduktion 

Denna studie presenterar en enkel metod för att med en skogskran automatiskt greppa stockar på marken med en stereokamera som enda sensor. En stereokamera består av två kameror som arbetar i par, vilket gör att positionen på objekt som identifierats i bildströmmen kan estimeras. I denna studie körs kranen av en dator på samma sätt som en människa gör, det vill säga både gripens och stockens position estimeras med hjälp av visuella intryck som sedan översätts till joystickrörelser. Både noggrannhet och möjlighet att plocka upp stockar på marken utvärderas i denna studie.  

Material och metod 

Experimentplats och utrustning 

Tester genomfördes vid Troëdsson Forestry Teleoperation Lab utanför Uppsala. Skotaren som användes var Extractors XT28 som är utrustad med en Loglift 91F-kran och en stereokamera (Stereolabs ZED 2) monterad nära kranens bas. För objektidentifiering användes YoloV5. 

Utveckling av kontrollsystemet 

För att få fram en tillförlitlig objektidentifieringsmodell, som fungerar i olika väder, årstider och sollägen, togs ca 500 bilder på stock och grip under ett år. I varje bild markerades stocken, stockänden, de två gripbultarna, rotatorn och gripen (se nedanstående bild). 

Då skotaren har ROS (Robot operating system) implementerat skrevs en kontrollnod i det systemet med den tränade objektidentifieringsmodellen som bas. 

I stora drag fungerar programmet så här: 

1. Från 50 bilder tas medianvärdena för stocken och stockändens position. Stockens vinkel beräknas genom att dra en linje från stockens mittpunkt till stockänden. 
2. Programmet genererar en styrsignal utifrån linjen mellan rotatorn och en punkt som ligger två meter ovanför stockens mittpunkt. Detta upprepas tills rotatorn befinner sig direkt ovanför stocken. 
3. Gripens vinkel beräknas genom att dra en linje mellan gripens bultar och en styrsignal genereras för att ställa gripen vinkelrät mot stocken. 
4. Gripen sänks tills rotatorn är ca 90 cm ovanför stocken. 
5. Gripen stängs. För att avgöra om stocken greppats korrekt tittar kontrollnoden på om stockens ände flyttats uppåt minst två decimeter jämfört med före greppningen. 
6. Om greppningen bedöms som lyckad lyfts stocken upp, annars öppnas gripen och sänks en decimeter till innan greppningsförsöket upprepas. Misslyckas även detta försök skickas felsignal och gripen öppnas. 
7. Om greppningen lyckats vrids stocken så att den hänger i linje med kranen. Detta för att den senare ska kunna läggas på lastredet. För att vrida in stocken används rotatorns position vid greppning och stockändens position. 

Beräkning av styrsignaler görs på enklast möjliga sätt. Från vektorn som räknats fram mellan de olika positionerna tas helt enkelt x, y och z och skickas som signal (omskalat) till respektive led, där z manipulerar bommen, y manipulerar stickan och x svänger hela kranen. På grund av systemets snabbhet fungerar detta trots att varje signal genererar både önskade och oönskade rörelser. Om kranen exempelvis ska röras utåt kommer den också att röras i höjdled. Systemet ser detta väldigt snabbt och justerar höjden, vilket ger en för ögat ganska mjuk kranrörelse. 

Tester 

Två tester genomfördes för att utvärdera systemet: 

1. Mätning av noggrannhet och repeterbarhet

Kranen fick starta från två positioner och röra sig till en punkt ovanför stocken ett flertal gånger. Slutpositionen mättes för varje test och testet genomfördes med stocken vriden i tre olika vinklar enligt figuren nedan. 

2. Praktisk utvärdering av hur väl systemet kan plocka upp en stock 

Stocken lades på tre olika positioner i tre olika vinklar. Noden kördes och för ett lyckat test måste gripen ha gått igen under stocken och gripens placering måste vara minst 25 procent från stockens ände. 

Resultat 

Test 1 

Resultaten visade på hög repeterbarhet med ett genomsnittligt avstånd på mindre än tio cm från medelpositionen. Små systematiska avvikelser observerades beroende på stockens vinkel, men dessa bedömdes vara för små för att påverka framgångsgraden om systemet hade fått fortsätta och även greppa stocken. 

Test 2 

Systemet lyckades gripa och lyfta stockarna i 82 procent av försöken. Av de misslyckade försöken berodde några på att systemet inte kunde avgöra stockens position, medan andra misslyckades då gripen måste ställas i ett läge där inte båda bultar syns för kameran, vilket medför att gripens vinkel inte kan beräknas av systemet. 

Diskussion 

Resultatet visar på att en kamera kan användas som enda sensor för att greppa stockar på marken med en fullskalig skotare. Systemet visade en hög repeterbarhet och tillräcklig noggrannhet, dock med några begränsningar. I det läge där gripen måste vridas så att den hamnar i linje från kameran syns inte bultarna och vinkeln kan då inte beräknas med denna metod. Detta problem skulle dock enkelt kunna undvikas genom att flytta lite på maskinen.  

Fördelarna med denna metod är att den inte kräver signaler från andra system eller sensorer, vilket gör det lätt att montera på nästan alla typer av maskiner. Det enda som behöver göras är att kalibrera styrsignalernas storlek. Genom att använda enbart en sensor gör det heller ingenting om kameran skulle komma ur sin position, eftersom både kranposition och stockposition mäts av samma sensor. Därav är det enbart ett koordinatsystem att hålla reda på. Även påverkan av eventuella mätfel blir mindre, då dessa fel påverkar båda objektens position. 

Slutsats 

Denna studie visar att det går att greppa stockar från marken med en skogskran genom att enbart använda en kamera som sensor.