Digitaler Musikcoach

Multikriterielle, polyphone Audioanalyse und Isolation von Teilsignalen mit künstlicher Intelligenz.

Programm / Ausschreibung BASIS, Basisprogramm, Budgetjahr 2020 Status laufend
Projektstart 01.03.2020 Projektende 28.02.2021
Zeitraum 2020 - 2021 Projektlaufzeit 12 Monate
Keywords

Projektbeschreibung

Wie im 1. Forschungsjahr ist auch in diesem Folgeantrag (2. Forschungsjahr) das oberste Hauptziel dieses Projektes einen digitalen Musikcoach zu entwickeln, der den Musiker optimal beim Lernprozess unterstützt und somit die Lerndauer signifikant verkürzt. Im Rahmen dieses Forschungsprojektes (Folgeantrag, 2. Forschungsjahr) liegt der Schwerpunkt auf dem Einsatz von Künstlicher Intelligenz.Es sollen vor allem Methoden der Künstlichen Intelligenz evaluiert und weiterentwickelt werden, mit welchen die bereits im 1. Forschungsjahr entwickelten Konzepte und Algorithmen des Echtzeitfeedbacks verbessert und erweitert werden. Einerseits geht es hier um die komplexe Aufgabenstellung, die Tonho¨he und Intonation eines polyphonen Audiosignals zu ermitteln und zu bewerten, andererseits müssen auch neue Ansa¨tze für die Erkennung und Bewertung des Rhythmus von polyphonen Signalen entwickelt werden. Mit der Verarbeitung von komplexen, polyphonen Audiosignalen sollen zum einen Schwa¨chen der bisher entwickelten Algorithmen, welche sich in Feldtestsbzw. im Praxiseinsatz gezeigt haben, behoben werden, und zum anderen die Mo¨glichkeit geschaffen werden, die Palette der Streichinstrumente zu unterstützen (welche auch polyphone Signale erzeugen, d.h. mehrere unterschiedliche To¨ne gleichzeitig spielen, ko¨nnen). Einen weiteren Schwerpunkt bilden Forschungsinhalte rund um das Thema Begleitmusik. Es sollen Verfahren erforscht werden, welche mit Hilfe von Künstlicher Intelligenz ein einzelnes Instrument aus einem polyphonen Audiosignal isolieren/separieren ko¨nnen. Dies ist notwendig, um das vom Musiker Gespielte von der mitaufgenommenen Begleitmusik isolieren zu ko¨nnen. Nur so ko¨nnen eine korrekte Bewertung und entsprechendes Feedback ermo¨glicht werden. U¨ben in unterschiedlichen Tempi ist eine Voraussetzung für effizientes Verbessern der musikalischen Fa¨higkeiten. Die Entwicklung eines Verfahrens zur dynamischen, zeitlichen Anpassung bzw. Skalie- rung der Begleitmusik ist ebenfalls Teil dieses Projektes. Den dritten Bereich des 2. Forschungsjahres bildet die Entwicklung eines digitalen, ganzheitlichen musikpa¨dagogischen Konzeptes für das effiziente Erlernen eines Streichinstruments.