Frau am Steuer

Partneraufruf

Effektiveres Training und robuste Validierung autonomer Fahrzeuge

Integration von GenAI-basiertem Neural Rendering in Simulationsplattformen

Simulationen sind unverzichtbare Werkzeuge für die Entwicklung und Validierung autonomer Fahrzeuge (AVs). Plattformen wie CARLA ermöglichen es Forschern und Ingenieuren, komplexe Verkehrsszenarien unter kontrollierten und reproduzierbaren Bedingungen zu modellieren. Allerdings gibt es nach wie vor eine wesentliche Einschränkung: Während die zugrunde liegende Physik und Szenariologik gut erfasst werden, bleibt der visuelle Realismus der simulierten Sensordaten oft hinter der Wahrnehmung in der realen Welt zurück. Diese Lücke schränkt die Übertragbarkeit von in der Simulation trainierten Wahrnehmungs- und End-to-End-Fahrmodellen auf den Einsatz in realen Verkehrsumgebungen erheblich ein.

Dieses Forschungsprojekt zielt darauf ab, die Sim2Real-Lücke zu schließen, indem es physikbasierte Simulation mit den neuesten Fortschritten in der generativen KI verbindet. Insbesondere konzentrieren wir uns auf neuronale Rendering-Techniken, darunter Neural Radiance Fields (NeRFs), Gaussian Splatting und diffusionsbasierte generative Modelle, um den Fotorealismus simulierter Kamera- und LiDaR-Daten zu verbessern. Diese Methoden ermöglichen die Synthese von Bildern und Punktwolken, die dem realen Erscheinungsbild sehr nahe kommen und gleichzeitig mit der Geometrie, Dynamik und Semantik der simulierten Umgebung konsistent sind.

Die Kernidee besteht darin, neuronale Rendering-Pipelines direkt in etablierte Simulatoren wie CARLA zu integrieren und dabei die Simulatorausgaben (z. B. Geometrie, Tiefe, Semantik und Trajektorien) als strukturierte Konditionierungssignale für generative Modelle zu verwenden. Dies ermöglicht die Erzeugung visuell realistischer Szenen, die physikalische Korrektheit und zeitliche Kohärenz bewahren und gleichzeitig eine systematische Variation von Erscheinungsfaktoren wie Beleuchtung, Wetter, Materialien und Sensoreigenschaften ermöglichen.

Durch die Kombination der Szenariokontrolle und physikalischen Genauigkeit von CARLA mit neuronalem Rendering und diffusionsbasierter Synthese zielt das vorgeschlagene Framework darauf ab, Simulationsdaten zu erzeugen, die sowohl verhaltensrelevant als auch visuell realistisch sind. Dies wiederum soll die Generalisierung von AV-Wahrnehmungs- und Fahrmodellen verbessern, die Abhängigkeit von teuren Datenerhebungen in der realen Welt verringern und reproduzierbare, hochpräzise szenariobasierte Tests für sicherheitskritische Systeme unterstützen.

Wichtige Informationen zur Projektteilnahme

Projektlaufzeit

  • circa 2 Jahre

Zielgruppe

Gesucht werden KMU oder Unternehmen mit Expertise in: 

  • Simulationstechnologie
  • 3D-Rendering
  • Synthetischer Datengenerierung

Ihre Vorteile

  • Zugang zu den neuesten Methoden zur Verbesserung der Simulationstechnologien und der Generierung synthetischer Daten
  • Testmöglichkeit für zukünftige Tools zur Optimierung von Simulationsumgebungen und 3D-Rendering-Technologien
  • Frühzeitiger Zugang zu aktuellen Forschungsergebnissen im Bereich autonomes Fahren und synthetische Datengenerierung
  • Individuelle Analyse des aktuellen Stands Ihrer Simulationspraktiken und 3D-Rendering-Prozesse in Bezug auf realistische, physikalisch konsistente Daten

 

Werden Sie Projektpartner!

Wir suchen Unternehmen, die ihre bestehenden Anforderungen und Spezifikationspraktiken im Bereich Simulationstechnologie, 3D-Rendering und synthetischer Datengenerierung analysieren und optimieren möchten. Ihre Erkenntnisse werden zur Entwicklung praxisnaher und effizienter Lösungen für die Verbesserung der Simulationstechnologien und der Erstellung realistischer, datengestützter Modelle beitragen.

Sind Sie interessiert?

Melden Sie sich bei uns und gestalten Sie die Zukunft der Technologien im Bereich autonomes Fahren aktiv mit. Unternehmen, die Projektpartner werden, haben die Möglichkeit, zukünftige Tools zur Verbesserung von Simulationsumgebungen und der Generierung von synthetischen Daten zu testen, die wir entwickeln werden.

Jetzt anmelden!

Bitte tragen Sie sich in das Formular ein. Wir werden uns umgehend bei Ihnen melden und Sie umfassend über die nächsten Schritte informieren.

*Pflichtfelder
 Jana Kümmel

Ihr Kontakt

Jana Kümmel

+49 89 3603522 146
kuemmel@fortiss.org

Prof. Dr. Andrea Stocco

Ihr Kontakt

Prof. Dr. Andrea Stocco

+49 89 3603522 271
stocco@fortiss.org