Portfolio

• Zeitraum: Wintersemester 2021/22 bis Wintersemester 2023/24
• Genre / Typ: Interaktive VR-Simulation (Serious Game / Human-Computer Interaction)
• Plattform: VR (PC-VR / Meta Quest) + Custom Hardware
• Teamgröße: 2 Personen (1 Projektmanager, 1 Entwickler)
• Meine Rolle: Sole Software Engineer / Lead Developer
• Tech Stack: Unity 3D, C#, Bluetooth (BLE) Interfacing, Custom State- & Audio-Driven System

Die Herausforderung

Bei VR-Flugsimulationen führt die Diskrepanz zwischen visuellem Eindruck und der physischen Ruhe des Körpers oft zu starker Motion Sickness. Das Forschungsprojekt BrainRide löst dies durch synchronisiertes haptisches Feedback eines Massagestuhls während einer Reise durch das Sonnensystem.

Die technische Hürde: Das von Vorgängern übernommene Projekt war kaum lauffähig. Meine Aufgabe war es, die Codebase komplett zu sanieren, eine stabile Bluetooth-Kommunikation zur Hardware aufzubauen und ein flexibles System zu entwickeln, das Audio, visuelle Wegpunkte und die Mechanik des Stuhls synchron steuert.

Technische Umsetzung & Software Architektur

• Hardware-Interfacing via Bluetooth: Überarbeitung des instabilen Bluetooth-Protokolls für eine latenzfreie Datenübertragung zwischen Unity und den Control-Boards des Stuhls.
• Time-Cued Sequenzer-System: Modulares System, bei dem jede Etappe Wegpunkte, Audio-Trigger und Text-Overlays kapselt.
• Präzise Haptik-Synchronisation: Exakte Timestamps steuern Steuerbefehle an den Stuhl, perfekt abgestimmt auf die visuelle Bewegung.

Praxistest & Live-Einsatz

Auf der Gamescom wurde die Simulation von hunderten Probanden getestet. Das Feedback war überragend – die synchrone haptische Stimulation konnte die Motion-Sickness-Symptome beim Publikum spürbar und effektiv minimieren.

• Zeitraum: Wintersemester 2021/22 bis Wintersemester 2022/23
• Genre / Typ: Rhythmus-Lernspiel / VR-Simulation (Edutainment)
• Plattform: PC-VR + E-Drum Hardware
• Teamgröße: 5 Personen (Interdisziplinäres Team)
• Meine Rolle: Gameplay & Computer Vision Programmer (Fokus: Drumstick-Tracking)
• Tech Stack: Unity 3D, C#, VR, MIDI-Interfacing, Computer Vision (Python/Webcams)

Die Herausforderung

Die größte Hürde bei Musik-Lernspielen in VR ist die präzise, latenzfreie Erfassung der Schläge mit echten Drum-Sticks, um ein rhythmisches Toleranzfenster in Echtzeit zu bewerten.

Technische Umsetzung & Software-Architektur

• Stereoskopisches Drumstick-Tracking via Computer Vision: Entwicklung eines optischen Trackingsystems mit zwei Webcams (Python-Pipeline) zur latenzfreien Raum-Erfassung der Sticks via Triangulation.
• MIDI-Hardware-Integration: Anbindung des E-Drums über MIDI-zu-USB und Unity-MIDI-Plugin zur Auswertung exakter Anschlagszeiten.
• Rhythmus-Bewertung: Mathematische Logik zur Takt-Erkennung ("Perfect", "Good", "Miss").
• Reaktives KI-Publikum: Finite State Machine steuert das Verhalten der Zuschauer (Buhen, Mitbouncen, Klatschen) basierend auf dem Score.

• Zeitraum: Sommersemester 2022
• Genre / Typ: Rhythm-Runner / Arcade-Highscore-Game
• Plattform: PC (4-Spur-Runner)
• Teamgröße: 5 Personen
• Meine Rolle: Audio Engineer & Gameplay Programmer
• Tech Stack: Unity 3D, C#, Ableton Live (Custom Audio-Sampling & Sound Design)

Technische Umsetzung & Software-Architektur

• Custom Audio-Sampling: Jeder Ton der Melodie wurde mit der Banjolele eingespielt; Synths & Flöten wurden in Ableton Live produziert.
• Skriptbasiertes, adaptives Tempo-System: Prozedurale Noten-Trigger zur Laufzeit, die sich dynamisch an das Spieltempo anpassen ohne Pitch-Verzerrung.
• Rhythmische Input-Validierung: Echtzeit-Prüfung von Lane-Wechseln und Sprüngen im Taktfenster.

• Zeitraum: Wintersemester 2021/22
• Genre / Typ: Asymmetrischer Koop-Shooter (Accessibility Exploration)
• Plattform: PC + Tobii Eyetracker + VR-Headset (nur Audio)
• Teamgröße: 3 Personen
• Meine Rolle: Gameplay, UI & Sound Programmer
• Tech Stack: Unity 3D, C#, Tobii Eyetracker SDK, Unity Spatial Audio

Technische Umsetzung

• Gaze-to-World-Projektion: Integration des Tobii SDK zur Echtzeit-Umrechnung des Blickpunkts in Weltkoordinaten (Raycasting) für präzise Schüsse.
• 3D-Spatial-Audio: Konfiguration des räumlichen Audiosystems zur exakten dreidimensionalen Ortung der Monster für den "blinden" Spieler.

• Zeitraum: Wintersemester 2020/21
• Genre / Typ: Code-Lernspiel / Serious Game (Edutainment)
• Plattform: Web (WebGL in Webseiten-Infrastruktur integriert)
• Teamgröße: Solo-Projekt
• Meine Rolle: Full-Stack Web Developer & Gameplay Programmer
• Tech Stack: Unity 2D, C#, React (Frontend), Node.js/Express (Backend), PostgreSQL

Technische Architektur

• Unity-WebGL-Integration: Einbettung des Lernspiels in ein responsives React-Frontend.
• Robustes Backend & PostgreSQL: REST-API für Nutzerverwaltung, Spielstände, Badges und globale Ranglisten.
• Zweigeteiltes Didaktik-System: Multiple-Choice-Fragen und interaktive JavaScript-Coding-Challenges.

• Zeitraum: Wintersemester 2020/2021
• Genre / Typ: 2D Point-and-Click Puzzle Game / Narrative Adventure
• Plattform: PC / Web
• Teamgröße: 2 Personen (1 Artist, 1 Programmierer)
• Meine Rolle: Sole Gameplay Programmer / Technical Lead
• Tech Stack: Unity 2D, C#, 2D Raycasting & Event-Driven UI System

Technische Umsetzung

• 2D-Interaktions- & Raycasting-System: Präzise Erkennung von Mausklicks auf 2D-Collider für Untersuchung und Interaktion.
• Zustandsbasiertes Rätsel-Management (State Machine): Tracking des Story-Fortschritts im Hintergrund zur dynamischen Veränderung der Spielwelt.

Ein faszinierendes Projekt an der Schnittstelle von Neurowissenschaften, Mensch-Computer-Interaktion und Datenvisualisierung.

• Plattform: Desktop / Web
• Fokus: Echtzeit-Datenverarbeitung und intuitive grafische Darstellung komplexer Signale.