Microsoft wil dat ChatGPT robots vervolgens bestuurt

Als onderdeel van een voortdurende samenwerking met OpenAI, de makers van ChatGPT, is het volgende plan van Microsoft om de chatbot te gebruiken om robots te besturen.

“Ons doel met dit onderzoek is om te zien of ChatGPT verder kan denken dan tekst en redeneren over de fysieke wereld om te helpen met robotica-taken,” zei Microsoft deze week in een blogpost. “We willen mensen helpen gemakkelijker met robots te communiceren, zonder complexe programmeertalen of details over robotsystemen te hoeven leren.”

Robots besturen onze wereld, van de gemechaniseerde wapenbouwproducten in fabrieken tot de trieste, gemechaniseerde robo-stofzuigers die de vloer van mijn oom schoonmaken. Als u wilt dat een robot iets nieuws doet, hebt u een ingenieur nodig met geavanceerde technische kennis om code te schrijven en meerdere tests uit te voeren.

Maar stel je een wereld voor waarin je rechtstreeks met de robots kunt communiceren en ze commando’s kunt geven in gewoon Engels. Wat als de robots de wetten van de fysica zouden begrijpen? Dat zou goed zijn, toch? Microsoft denkt van wel, en ze hebben waarschijnlijk gelijk.

Microsoft publiceerde een paper met een nieuwe set ontwerpprincipes om een groot taalmodel zoals ChatGPT te gebruiken om robots instructies te geven. Het raamwerk van het bedrijf begint met het definiëren van een lijst met taken op hoog niveau die een robot kan uitvoeren, het schrijven van een prompt die ChatGPT heeft vertaald in robottaal en vervolgens een simulatie van de robot uitvoeren volgens uw instructies. Je past het aan totdat de robot het goed heeft en implementeert vervolgens de voltooide code op je robotvriend.

Als dat eenvoudig klinkt, is het omdat Microsoft een fenomenaal ingewikkeld technisch probleem vastlegt en ze een aantal leuke video’s hebben gepost als proof of concept.

Aan de andere kant gebruiken ze ChatGPT al om drones te laten draaien, en je krijgt geen vliegende Terminators tot Terminator 3: Rise of the Machines, dus de ingenieurs van Microsoft slaan misschien vooruit.

Toegegeven, dit is allemaal een stuk sexyer dan een andere update naar Office 365.

Wat kan ChatGPT precies doen?

Laten we eens kijken naar een paar voorbeelden … U kunt nog meer casestudy’s vinden in de coderepository.

Zero-shot taakplanning

We gaven ChatGPT toegang tot functies die een echte drone besturen, en het bleek een uiterst intuïtieve taalgebaseerde interface te zijn tussen de niet-technische gebruiker en de robot. ChatGPT stelde verduidelijkingsvragen wanneer de instructies van de gebruiker dubbelzinnig waren en schreef complexe codestructuren voor de drone, zoals een zigzagpatroon om planken visueel te inspecteren. Het kwam er zelfs achter hoe je een selfie moest maken! 

 

We hebben ChatGPT ook gebruikt in een gesimuleerd industrieel inspectiescenario met de Microsoft AirSim-simulator. Het model was in staat om de intentie en geometrische aanwijzingen van de gebruiker op hoog niveau effectief te ontleden om de drone nauwkeurig te besturen.

Gebruiker op de hoogte: wanneer een gesprek nodig is voor een complexe taak

Vervolgens gebruikten we ChatGPT in een manipulatiescenario met een robotarm. We gebruikten conversationele feedback om het model te leren hoe de oorspronkelijk geleverde API’s konden worden samengesteld in complexere functies op hoog niveau: die ChatGPT codeerde zelf. Met behulp van een op het curriculum gebaseerde strategie was het model in staat om deze geleerde vaardigheden logisch aan elkaar te koppelen om bewerkingen uit te voeren, zoals het stapelen van blokken.

Bovendien toonde het model een fascinerend voorbeeld van het overbruggen van de tekstuele en fysieke domeinen wanneer het werd belast met het bouwen van het Microsoft-logo uit houten blokken. Het was niet alleen in staat om het logo uit zijn interne kennisbank te herinneren, het was ook in staat om het logo te ’tekenen’ (als SVG-code) en vervolgens de hierboven geleerde vaardigheden te gebruiken om erachter te komen welke bestaande robotacties zijn fysieke vorm kunnen samenstellen.

Vervolgens hebben we ChatGPT de opdracht gegeven om een algoritme te schrijven voor een drone om een doel in de ruimte te bereiken zonder tegen obstakels te botsen. We vertelden het model dat deze drone een naar voren gerichte afstandssensor heeft en ChatGPT heeft de meeste belangrijke bouwstenen voor het algoritme meteen gecodeerd. Deze taak vereiste een gesprek met de mens en we waren onder de indruk van het vermogen van ChatGPT om gelokaliseerde codeverbeteringen aan te brengen met alleen taalfeedback.

Bron: gizmodo & Microsoft