Multimodale Physik- und Sensorsimulation zur Synthese von Trainingsdaten für die Roboter-Manipulation

Das Ziel von Sim4Dexterity ist es, leistungsfähige Simulationswerkzeuge für das wirtschaftliche und zeiteffiziente virtuelle Erlernen von KI-Robotermanipulationsfähigkeiten in der Handhabung und Montage zu entwickeln.

Zu diesem Zweck werden die Fähigkeiten des industrietauglichen Simulators CoppeliaSim sowie des Open-Source-Simulators Mujoco deutlich verbessert. Zum einen wird die Mujoco-Physik-Engine um die realistische Simulation von flächigen Kontaktkräften und taktilen Sensoren erweitert. Zum anderen wird eine realistische Simulation von projektorbasierten 3D-Sensoren auf Basis von Raytracing geschaffen. Darüber hinaus werden Werkzeuge zur Generierung dynamischer Robotersimulationsszenen entwickelt, die durch Augmentierungs- und Randomisierungstechniken automatisch multifaktoriell variiert werden können, z.B. in Bezug auf die Umgebungsbedingungen, die Arbeitsmittel oder die zu handhabenden Objekte. Ein zu entwickelndes generatives Verfahren zur Synthese beliebiger realistischer Objekte oder Komponenten aus realen Daten unterstützt dies.

Die funktionale Verifikation der Synthesemethoden erfolgt durch die Entwicklung virtueller Validierungstechniken sowie durch die Evaluation verschiedener mit synthetischen Daten trainierter KI-Algorithmen. Diese werden nach rein virtueller Inbetriebnahme in drei Anwendungsfällen (Bin Picking, Shelf Picking, Montage) validiert und in Challenges und Benchmarks der wissenschaftlichen Gemeinschaft und der Industrie zur Verfügung gestellt.

Projektdauer: 1. Oktober 2021 – 30. September 2023