Musikalische Anamnese

Das Ziel ist die Konzeption und Umsetzung einer KI-gesteuerten rezeptiven musikbasierten Intervention (RMbI) für Demenzpatienten. Da musikalische Vorlieben und die Wirkung von Musik sehr individuell sind, soll auf XR-Technologien (XR-Headsets, eingebettetes Eye-Tracking, eingebettetes Hand-Tracking) aufgebaut werden für (i) einen automatisierten Ansatz für die musikalische Anamnese (identifizieren, welche Musik Engagement und Aktivierung hervorruft, positive Affektivität bei Einzelpersonen), (ii) ein RMbI-Design (Erstellung von Playlist- und interaktiven Gamification-Elementen) und (iii) eine Bewertung der RMbI-Auswirkungen durch Analyse kognitiver und affektiver Funktionen in den interaktiven Szenarien.

Im Projekt werden die folgenden Komponenten realisiert:

• XR Gamification-Prototyp: in einer XR-Umgebung (Varjo Headset) werden simple Spiele realisiert und mit Musik kombiniert, die einen exakten und wiederholbaren Studienverlauf ermöglichen
• Sensorintegration: die verschiedenen Sensoren (Eye Tracking im Varjo Headset, externe Kameras, empatica wristband für Hautleitwert, Pulsmesser usw.) müssen soweit integriert und verbunden werden, dass eine zeitgleiche Analyse der verschiedenen Sensoren möglich ist
• Datenframework: Daten sowohl aus dem Gamification-Prototyp als auch der Sensorik werden in einem gemeinsamen Datenframework gespeichert und können dort weiter verarbeitet und analytisch ausgewertet werden
• Studiendurchführung: die Wirkung der Musik im Spiel auf die verschiedenen Indikatoren wird systematisch studiert und dokumentiert.

Die Umsetzung eines kognitiven musikalischen Anamnesesystems würde einen signifikanten Mehrwert sowohl in der medizinischen Anwendung als auch in der wissenschaftlichen Verwertung darstellen. Der XR Gamification-Prototyp hat vielfältiges Potenzial in der Anwendbarkeit: er kann einerseits als Grundlagentechnik in kommenden Forschungsprojekten dienen, aber auch als Akquise-Asset und Demonstrator benutzt werden, um entscheidendes Fachwissen und Fachkompetenz unmittelbar zu demonstrieren und damit Akquiseaktivitäten und Außendarstellung zu stärken.