392231 Project: Safe Hybrid Trajectory Planning for Magnetic Levitation Systems (Pj) (WiSe 2024/2025)

Mithilfe von Machine Learning (ML) wurden in den letzten Jahren in sehr vielen Disziplinen, unter anderem Robotik oder Bild- und Sprachverarbeitung, bemerkenswerte Resultate erzielt. Speziell Deep Reinforcement Learning (DRL) ist für viele Anwendungsbereiche von großem Interesse. Aufgrund der Komplexität aktueller Modelle sowie der umfangreichen Trainingsanforderungen von DRL-Agenten ist speziell optimierte Software von entscheidender Bedeutung. Grafikkarten nehmen hierbei aufgrund ihrer Fähigkeit zur Parallelisierung von Berechnungen eine zentrale Rolle ein. Jedoch erfordert die effektive Nutzung von Grafikkarten in diesen Anwendungen eine speziell angepasste und darauf optimierte Software. Gegenwärtig werden in der ML-Community üblicherweise PyTorch oder TensorFlow zum Training von neuronalen Netzen auf GPUs eingesetzt. Physiksimulationen wie MuJoCo oder Implementationen von DRL-Algorithmen wie Stable-Baselines3 sind allerdings nur teilweise auf Grafikkarten ausführbar, was dazu führt, dass das volle Potenzial der Grafikkarten nicht ausgeschöpft wird. JAX wird als ein universell einsetzbares Framework für paralleles Rechnen mithilfe von GPUs betrachtet. Es bietet eine einfache Schnittstelle, die z.B. von MuJoCo oder Stable-Baselines3 genutzt werden kann, damit eine effiziente GPU-Nutzung möglich wird.

Der Fokus dieses Projekts liegt auf der Evaluation der Performance von Jax und PyTorch. Hierzu sollen im ersten Teil des Projekts JAX und PyTorch hinsichtlich verschiedener Kriterien wie beispielsweise Funktionalität und Features verglichen werden. Im zweiten Teil wird eine JAX-Version existierender DRL Simulationsumgebungen entwickelt, einschließlich des dazugehörigen Trainingsprozesses. Das übergeordnete Ziel des Projekts besteht darin, ein umfassendes Verständnis für die jeweiligen Frameworks zu erlangen, insbesondere für JAX, einschließlich seiner Erweiterung XLA (Accelerated Linear Algebra), MuJoCo XLA (MJX), sowie für Stable Baselines Jax bzw. Stable-Baselines3.

Dieses Thema kann nach Absprache auch zum Teil als Projekt und im Anschluss weiter in der Masterarbeit bearbeitet werden. Der Arbeitsumfang wird entsprechend angepasst.

External comments page

https://www.uni-bielefeld.de/fakultaeten/technische-fakultaet/arbeitsgruppen/kollaborative-robotik/lehre/projekte/MA_Ausschreibung_Jax.pdf