Lernfähige Robotiksysteme Interaktives Lernen in der Robotik – das Potenzial des Kombinierens

Anbieter zum Thema

Lernende Systeme – Die Plattform für Künstliche Intelligenz Geschäftsstelle | c/o acatech

PSI Software SE | Business Unit Discrete Manufacturing

becos gmbH

Humanoide Roboter, die per Sprachkommando selbstständig Aufgaben durchführen, wird derzeit vielfach diskutiert. Der Mensch tritt dabei als Stichwortgeber in den Hintergrund. Ein aktuelles Whitepaper der Plattform Lernenden Systeme betont hingegen das Potenzial, das in der Kombination aus intelligenten Robotiksystemen und Lernen durch Interaktion liegt.

Lernen durch Interaktion bietet in der Robotik die Chance, Systeme flexibler an Personen, spezielle Aufgaben und Kontexte anzupassen, und zwar ohne vom Menschen Programmierkenntnisse zu verlangen oder diesen mit zu hoher Komplexität zu überfordern. So lässt sich die Effizienz in bestehenden Geschäftsfeldern steigern und neue oder bisher unrentable Tätigkeitsfelder erschließen, etwa in der High-Mix-Low-Volume-Produktion. Die sinnvolle Kombination verschiedener Herangehensweisen und Umgebungen kann dabei helfen, dieses Potenzial zu heben.

Mögliche Herangehensweisen des Lernens

Beim Lernen von (multimodalen) Demonstrationen, zum Beispiel Bild-, Sprach- und 3D-Daten, können Roboter unter anderem vom Menschen „an die Hand genommen“ und durch die Aufgabe geführt werden – dies geschieht durch Teleoperation oder direktes Führen eines Roboterarmes. Oder Roboter beobachten Menschen, die selbst eine Aufgabe durchführen. Die Roboter versuchen anschließend, dass Erfahrene oder Gesehene zu verstehen und dann zu kopieren oder es zu generalisieren, um das Gelernte auch allgemeiner anwenden zu können. Menschliche Demonstrationen lassen sich auch nutzen, um bekannte Teilaufgaben wiederzuerkennen und diese in neuer Reihenfolge auszuführen, oder auch um komplett neue Bewegungs- und Aufgabenabläufe zu erlernen.

Beim Interaktive Reinforcement Learning hingegen nutzen Roboter das durch Interaktion mit Menschen gewonnene Feedback, um vorher Erlerntes iterativ zu verbessern. Menschen können dabei Roboter während der Ausführung ihrer Aufgaben bewerten. So können Roboter zusätzlich auch persönliche Präferenzen ihrer Nutzenden für Aufgabendurchführungen erlernen. Feedback kann hierbei entweder explizit, zum Beispiel über ein Tablet oder die Spracheingabe, gegeben werden, oder Roboter lernen durch implizites Feedback, also dadurch, wie ihr Verhalten menschliches Verhalten, Reaktionen oder den Erfolg der Aufgabendurchführung beeinflusst.

Vor allem die geschickte Kombination verschiedener Herangehensweisen birgt großes Potenzial, zum Beispiel:

• Lernen von Demonstrationen und Reinforcement Learning: Durch Demonstrationen können neue grundlegende Fähigkeiten erlernt werden und durch Reinforcement Learning auf der Basis von menschlichem Feedback die Ausführungen des gelernten verbessert und an weitere Umgebungen angepasst werden. Die Idee: Das Reinforcement Learning fängt durch die Demonstrationen nicht bei null an, die Lernzeit wird kürzer.
• Lernen durch Interaktion und große, vortrainierte KI-Modelle: Hierbei werden die Eigenschaften der Wiederverwendbarkeit und Anpassbarkeit sowie die Fähigkeit des Lernens aus wenigen Beispielen der großen KI-Modelle mit den Ansätzen des Lernens aus Interaktion kombiniert. Dabei könnte Lernen aus Interaktion zur Erzeugung von Trainingsdaten für große KI-Modelle verwendet werden und die nötigen Beispiele etwa für kontextuelle Modellanpassungen liefern.
• Lernen durch Interaktion und gemeinsames Lernen: Simultanes Lernen von allen menschlichen Instruktorinnen und Instruktoren an mehreren Standorten; so kann jede Roboterinstanz von den gelernten Fähigkeiten anderer Instanzen profitieren, zum Beispiel beim Erkennen eines Objekts oder Ausführen eines Griffs.

Die verschiedenen Herangehensweisen können wiederum in unterschiedlichen Umgebungen und Konstellationen eingesetzt werden.

Lernen durch Interaktion in unterschiedlichen Umgebungen

Lernfähige, interaktive Robotiksysteme generieren neue Erfahrungen, erweitern ihre Fähigkeiten oder verbessern die Erfüllung einer Aufgabe durch Wechselwirkung mit Menschen, technischen Systemen oder der Umgebung – dies kann in realen oder simulierten Umgebungen geschehen.

Diese Typen des Lernens können wiederum miteinander kombiniert werden. Folgendes Szenario von der virtuellen zur physischen Umgebung und von lokalen Robotereinheiten zu weiteren räumlich verteilten Einheiten wäre denkbar:

Virtuell / lokal

1. Aus Sicherheits- und Kostengründen oder schlicht, um Neues auszuprobieren kann ein Mensch via Demonstration einer virtuellen Repräsentation eines Roboters in einer virtuellen Umgebung, zum Beispiel einem digitalen Zwilling einer realen Fertigungsumgebung, eine neue Fähigkeit anlernen (Grafik, Typ links unten).

2. Im digitalen Zwilling der Fertigungsumgebung kann der Roboter die neue Fähigkeit erproben und gegebenenfalls weiterlernen, entweder durch Interaktion mit virtuellen Repräsentationen technischer Systeme aus der realen Fertigungsumgebung (Grafik, Typ mittig unten) oder mit Elementen der virtuellen Umgebung (Grafik, Typ rechts unten). Allerdings wird mit dem Lernen in virtuellen Umgebungen immer die Herausforderung des sogenannten Simulation-to-Reality-Gap, als der Kluft zwischen Simulation und Realität, einhergehen.

Physisch / lokal

3. Nach erfolgreichen Tests neuer Fähigkeiten in der virtuellen Fertigungsumgebung und Autorisierung durch den Menschen, könnten diese in der realen Umgebung erprobt und wenn nötig durch Interaktion mit dem Menschen (Grafik, Typ links oben) oder technischen Systemen (Grafik, Typ mittig oben) und Elementen der Umgebung (Grafik, Typ rechts oben) weiter angepasst werden.

Roboter- und Standortübergreifend

4. Nach einer finalen Autorisierung durch den Menschen kann schließlich die neue, lokal via Interaktion erlernte Fähigkeit im Rahmen eines gemeinsamen Lernens auch auf andere Roboter an anderen Standorten übertragen werden (Grafik, Typ mittig oben und mittig unten). So könnten räumlich verteilte Roboter ihre Fähigkeiten erweitern, indem sie lokal Gelerntes austauschen.

5. Da physische Umgebungen etwa von Fertigungsumgebungen unter Umständen nicht exakt ähnlich sind, kann der Prozess zur lokalen Feinanpassung an einem anderen Fabrikstandort wiederum erneut beim ersten Schritt beginnen – auch aus Sicherheitsgründen.

In der Kombination unterschiedlicher Herangehensweisen des maschinellen Lernens in der Robotik und verschiedener Konstellationen und Umgebungen der Interaktion liegt beträchtliches Potenzial für anpassungsfähige, sichere und kostenbewusste lernfähige Robotiksysteme. Dies gilt insbesondere für die industrielle Fertigung, da viele der einzelnen Ansätze bereits vorhanden sind. Künftig gilt es das Potenzial, das in der Kombination liegt, noch stärker zu nutzen.

Autor: Dr. Maximilian Hösl, Wissenschaftlicher Referent der Arbeitsgruppe „Lernfähige Robotiksysteme“ der Plattform Lernende Systeme.

Weiterführende Informationen

Weitere Informationen zum Lernen durch Interaktion, insbesondere zu verschiedenen Use Cases (z. B. Handwerk, Medizintechnik, Landwirtschaft etc.) sowie zu funktionaler Sicherheit, variabler Autonomie und der Rolle von Vertrauen und Zuversicht finden sich im Whitepaper „KI in der Robotik. Flexible und anpassbare Systeme durch interaktives Lernen“ der Plattform Lernende Systeme.
 Verteiltes maschinelles Lernen – KI-Kompakt der Plattform Lernende Systeme
 EdgeAI: KI nahe am Endgerät Edge – Whitepaper der Plattform Lernende Systeme