392254 Project: 3D Gaussian Splatting for Simulations and Data Augmentation (Pj) (WiSe 2024/2025)

Während aktuelle Radiance-Field-Methoden wie NeRF und NGP oft langsame Trainingszeiten und hohe Rechenkosten mit sich bringen, ermöglicht 3D Gaussian Splatting eine schnellere und effizientere Verarbeitung, ohne dabei an visueller Qualität einzubüßen, insbesondere durch die detailgetreue Darstellung feiner Strukturen bei höherer Bildfrequenz und vergleichbarer Qualität. Diese Technologie ist besonders vielversprechend für Anwendungen in der Robotik und visuellen Simulationen, da sie sich dank geringer Trainingszeit und ihrer Echtzeitfähigkeit hervorragend zur Datenaugmentation, Validierung und Forschung des Sim2Real-Gaps eignet.
Hauptziel des Projektes ist es, das Paper Kerbl et al. (2023) (https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/3d_gaussian_splatting_low.pdf) auf einem Linux-System aufzusetzen und erfolgreich zu reproduzieren. Der Algorithmus kann dann in einem weiterführenden Schritt in robotischen Manipulationssimulationen angewendet werden.

While current radiance field methods such as NeRF and NGP often entail slow training times and high computational costs, 3D Gaussian splatting enables faster and more efficient processing without sacrificing visual quality, especially through the detailed representation of fine structures at higher frame rates and comparable quality. This technology is particularly promising for applications in robotics and visual simulations, as it is ideally suited for data augmentation, validation and research of the Sim2Real gap thanks to its short training time and real-time capability.
The main aim of the project is to set up and successfully reproduce the Kerbl et al. (2023) paper (https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/3d_gaussian_splatting_low.pdf) on a Linux system. The algorithm can then be applied in a further step in robotic manipulation simulations.

Externe Kommentarseite

https://www.uni-bielefeld.de/fakultaeten/technische-fakultaet/arbeitsgruppen/kollaborative-robotik/lehre/projekte/MA_Ausschreibung_Gaussian.pdf