Een autonoom zeilbootje kan binnen afzienbare tijd leren zeilen, zo laten onderzoekers van MARIN zien.
Zonder ook maar iets weten van windrichting, aerodynamica of hydrodynamica kunnen de kleinste kinderen toch leren zeilen. Zet een kind in een Optimistje, een kleine zeilboot, en na wat uren van prutsen en proberen is de kans groot dat het jonge zeilertje al een beetje vooruitkomt.
Min of meer dezelfde aanpak van trial-and-error gebruiken onderzoekers van MARIN bij hun onderzoek naar artificial intelligence (AI) in de scheepvaart. Ook een algoritme dat draait op een computer blijkt binnen korte tijd te kunnen leren om een zeilbootje te besturen
Bassin in Wageningen
Op een vrijdagmiddag, eind november, laten de MARIN-medewerkers zien hoe dat werkt. In een bassin van het maritieme onderzoeksinstituut in Wageningen vaart een Optimist helemaal zelf op de wind die wordt gemaakt door een rij ventilatoren aan de zijkant van het bassin.
Met behulp van een reinforcement learning-algoritme heeft het systeem steeds beter geleerd hoe het in verschillende situaties zeil, roer en gewichtsverdeling in het bootje in moet stellen om vooruit te komen. Het systeem past steeds een instelling een beetje aan en kijkt dan hoe het gaat.
‘Daarbij moet je een beloning definiëren, waarop het algoritme kan sturen. Snelheid van de boot is bijvoorbeeld een beloning’, zegt Hannes Bogaert, trekker van de AI-werkgroep bij MARIN die het onderzoek leidt.
Leerstijlen
De onderzoekers testten verschillende algoritmen, die op verschillende manier bijleren, vertelt Bogaert. ‘Net zoals kinderen van elkaar verschillen in leerstijlen. Het ene leert in het begin razendsnel bij, maar blijft dan vastzitten. Terwijl een ander langzaam op gang komt, maar bij wie de leercurve maar blijft stijgen.’
Zo af en toe kwam er iets onverwachts naar voren. ‘Zo was er één algoritme dat het zeilbootje aandreef door snel met het roer heen en weer te bewegen’, vertelt Bogaert. Dat is niet bepaald een efficiënte manier van aandrijven, maar vooruit ging het wel. ‘Toch is het gedrag dat we niet willen.
Trainen in een computer
Het trainen van een algoritme vindt voor het grootste deel buiten het bassin plaats: in een computer. ‘We hebben daarin de omgeving van de Optimist nagemaakt in een simulatiemodel’, vertelt Fanny Rebiffe, AI- en dataspecialist bij MARIN. Zie de illustratie hierboven.
‘Die gesimuleerde omgeving is nodig om alvast de instellingen van de algoritmen te vinden en het grootste deel van de leercurve door te maken. Je kan niet vanaf nul beginnen in het bassin.