FFG Projektdatenbank

zurück

AugmentedQuetschn

F&E-Netzwerk zur Weiterentwicklung der Steirischen Harmonika für höhere Klangvielfalt & einfacheres interaktives Lernen

Projektbeschreibung

Augmentierte Klänge reichern reale durch künstliche virtuelle Klänge an und erweitern damit die Klangvielfalt, wie umfangreiche Studien der Kunstuniversität Graz als einer der weltleiten Leader der Nutzung dieser Augmented-Reality-Technik für Musikinstrumente in verschiedensten "Klangräumen" zeigen. Die Steirische Harmonika als alpenländisch-traditionelles diatonisches Tasteninstrument („Knopfharmonika“, „Quetschn“) nutzt für die Klangerzeugung schwingende Stimmzungen leicht unterschiedlicher Schwingungsfrequenz (charakteristisches „Tremolo“). Durch die derzeit notwendige Vorgabe des Tremolos bereits bei der Fertigung kann die notwendige Klangvielfalt verschiedener Musikgattungen (traditionelle / moderne Volksmusik verschiedener Instrumentenbesetzung, österr. / alpenländische / internationale Unterhaltungsmusik, zeitgenössische Musik, etc.) im gleichen Instrument nicht vereint werden – ein großer Wunsch vieler Musiker in Zusammenhang mit der sich stark erweiternden Musikliteratur. Zudem trägt diese Stimmzungen-basierte Klangerzeugung neben traditionellen Werkstoffen niedriger spezifischer Festigkeit erheblich zum Instrumentengewicht von 7-10 kg bei, welches für viele potentielle SchülerInnen mit geringerer Körperkraft (Kinder, Frauen, Silver Ager und Personen mit körperlichen Einschränkungen, etc.) eine große Hemmschwelle für das Erlernen des Instruments darstellt. Daraus entstehende Fehlhaltung führt bei Anfängern (aber auch Fortgeschrittenen) oftmals zu stark Schulter- und Rückenschmerzen, welche natürlich die Lernmotivation senken.

SchülerInnen im Alter ab 20 Jahren erlernen zunehmend das Instrument über Kursangebote von online-Musikschulen, wie sie die QuetschnAcademy als Marktführer für Harmonika anbietet. Dieses „Life-long Learning“ erfordert aber neben wiederkehrender online-Instruktion & Feedback durch Musiklehrer in einem optimierten Lernprozess vor allem derzeit fehlende „intelligente“ und durch die große Schülerzahl auch Musikstück-spezifisch „selbstlernende“ Software-Lösungen, welche Fehler in Tönen bzw. Akkorden sowie in der Rhythmik und Phrasengestaltung selbstständig erkennen kann, den Lernenden auf diese hinweist und diese möglichst optimiert auf den Lernprozess jedes Einzelnen zu vermeiden versucht. Auch eine Realisierung von Interaktion von SchülerInnen auf einer Lernplattform, d.h. fortgeschrittene „Lernende agieren als Lehrende", fehlt bislang.

Diesen multidisziplinären Bogen zu schließen, ist Motivation des Entwickler-Netzwerks aus fünf Kleinunternehmen, zwei F&E-Partnern und Subauftrags-Dienstleistern im Projekt „AugmentedQuetschn“, wobei als zentrales Element die „Digitalisierung“ der Steirischen Harmonika durch Klangaugmentierung ausgehend von innovativer Echtzeit-Sensorik des Tastenhubs und des Balgdrucks (d.h. des „Musizierens“) genutzt wird. Entscheidend ist dabei für die NutzerInnen (Musikschaffende), dass die analogen Klänge durch die Augmentierung NUR erweitert werden, aber das "Musizieren" in Akkorden, Rhythmen und Phrasierungen NICHT beeinflusst wird. Die Natürlichkeit des Klangs des traditionellen Instruments muss vollständig erhalten bleiben - als entscheidender Unterschied zu State-of-the-Art elektronischen Harmonikas, bei welchen synthetische Klänge gut hörbar sind.

Die Sensorik des Tastenhubs und Balgdrucks nutzt dabei gegenüber der Analyse des akustischen Signals Vorteile von Polyphonie, Genauigkeit und Latenz aus, um augmentierte Klänge der durch die Nutzenden gewünschter einstellbarer Klangvielfalt zu erzeugen (d.h. für Musikgattung, Tonumfang, Vortragsraum mit virtueller Raumakustik, etc.). Eine Ausgabe der in „Chören“ (= Stimmzungen-Zahl je Ton) und Tremolo „augmentierten“ Klänge kann dann zukünftig über interne bzw. externe Lautsprecher sowie über Kopfhörer erfolgen. Gleichzeitig ermöglichen diese Bewegungssensor-Signale die einfache Analyse des Spiels beim Erlernen des Instruments, aber auch für die Notation neuer Musikstücke oder Variationen durch erfahrene MusikerInnen.

Entscheidend für die Natürlichkeit des Klangs ist der geplante innovative „Hybrid-Ansatz“, d.h. die Beibehaltung einer vereinfachten Grund-Klangerzeugung von Stimmzungen als Basis der digitalen Klangaugmentierung. Damit bleibt die kundenseitig gewünschte Bindung zur Klangtradition und den typischen Spezifika des Instruments auch durch „analoge“ „un-plugged“ Spielbarkeit erhalten – als weiterer entscheidender Unterschied zur „elektronischen Harmonika". Schmidt Harmonika als Projektkoordinator und Innovationsleader im Harmonikabau kombiniert dabei die Tischler- und Instrumentenbauer-Handwerkskunst mit neuen digitalen Konstruktions-, Simulations- und Fertigungsverfahren in Kooperation mit Haratech und JOANNEUM RESEARCH (z.B. additive 3D-Druck-Fertigung von hochbelastbaren Kunststoffkomponenten in Mechanik und Klangerzeugung).

Neben der Klangaugmentierung sind Ziele die nutzerspezifisch gesteigerte Ergonomie (korrekte Haltung des Instruments) und niedrigeres Instrumentengewicht für das Spiel sowie an die KundInnen zu übertragende signifikante Kosteneffizienz in der Fertigung, d.h. speziell durch Wegfall von ~60% der kostenintensiven Stimmzungen durch die Klangaugmentierung, durch innovative nachhaltige Werkstoffe hoher spezifischer Festigkeit und durch additive Fertigungsverfahren. Sensor- und Hardware-Komponenten werden spezifisch an die Anforderungen der neuen Klang-Augmentierungs-Software der Kunstuniversität Graz durch den Partner dieEntwickler angepasst. Wichtig ist dem F&E-Team auch der Fokus auf Langlebigkeit, Reparier- und Austauschbarkeit der generell sehr lange genutzten Instrumente (zumeist mehr als 20 Jahre).

Von entscheidender Bedeutung im gesamten Innovationsprozess von neuer Online-Didaktik über Klangdesign zum Instrumentenbau, d.h. bis hin zu zwei Prototypen auf Basis traditioneller Instrumente („Shy-Tech“) und neuem Instrumenten-Design („High-Tech“), ist die durchgehende Implementierung von Open-Innovation-Prozessen zur Integration der Nutzungs-Anforderungen von LehrerInnen und SchülerInnen in allen Altersklassen und Musikgenre-Vorlieben. Der definierte Design-Thinking-Prozess für Erwünschtheit, Machbarkeit und Wirtschaftlichkeit gibt dabei durch Beobachten und Befragen Einblick in KundInnen-Bedürfnisse als Basis einer Ideation für die Lösungsfindung und wird von intoProjects mit jahrelanger Erfahrung entwickelt, schrittweise durch die das Partnernetzwerk genutzt, aber auch kontinuierlich flexibel in der Fragestellung angepasst (d.h. unter Nutzung von Design-Challenges, Fly-on-the-Wall- & How-might-we-Methodik, Card-Sorting-Methode, etc.), ausgewertet und dokumentiert.

Im Bereich des online-Lernen des Instruments ermöglicht die Tasten- und Balg-Sensorik eine deutlich einfachere und genauere Analyse des Übungsspiels auf Akkord- und/oder Rhythmus-Fehler zur Unterstützung einer neuen interaktiven Internet-basierten Lernsoftware der QuetschnAcademy. Dazu ist jedoch speziell der Feedback-Mechanismus für den Lernenden über optische Information am Bildschirm, unterstützt durch haptische Information (z.B. Vibration) am Instrument notwendig. Ebenfalls soll die Fehlererkennung der erfassten Balgposition ein gleichmäßigeres Melodie-Spiel ermöglichen und jene der erfassten Gurtposition Haltungsschäden vermeiden. Open-Innovation-Methoden sind dabei die Grundlagen, um (i) auf die Anforderungen und Wünsche verschiedener Nutzergruppen eingehen zu können, (ii) aber auch Erkenntnisse aus der Didaktik im Lernprozess („Fehler-Korrigieren“ und „Auswendig-Lernen“ durch z.B. gezieltes Wiederholen von Musik-Phrasen) für gleichzeitig möglichst schnellen und im anschließendem weiteren Lernen anderer Musikstücke nachhaltigen Lernerfolg zu nutzen. Neben dem Anlegen einer darauf ausgelegten Musikdatenbank ist die Integration des direkten Feedbacks aus der Fehleranalyse aller Nutzergruppen für zunächst statistische Methoden, anschließend auch für maschinelles Lernen („künstliche Intelligenz“) für lernunterstützende Vorschläge der Schlüssel für eine effiziente interaktive Lernumgebung. Diese wird aber auch mit der bereits verfügbaren, jedoch noch in ihrer Zuverlässigkeit zu optimierenden akustischen Erkennung von Fehlern verknüpft, um die Nutzung der Basis-Features für alle Kunden der QuetschnAcademy zu gewährleisten bzw. eingeschränkt auch deren Lernfortschritt analysieren und einbinden zu können. Zudem können auch fortgeschrittene Lernende zu Lehrenden werden, wobei auch automatisierte Notations-Tools implementiert werden und die urheberrechtliche Situation geklärt wird.

Finales Ziel des Projektteams von AugmentedQuetschn sind 2 Prototypen von Steirischen Harmonikas mit Klangaugmentierung und deren Verbindung mit einer kundenspezifisch weiterentwickelten online-Lernplattform mit speziell auch Koppelung an die Instrumenten-Sensorik, welche den Open-Innovation Lead-User-Gruppen aus LehrerInnen und SchülerInnen am Projektende als Test-Instrumente dienen. Ausgehend vom geplanten TRL 6 sind weitere Software- und Fertigungsoptimierungen in der Überführung auf marktreife Produkte innerhalb von 2 Jahren nach Projektende unter Einbindung des Feedbacks der Lead-User-Gruppen geplant. Dazu liegt neben dem Plan zum IPR-Schutz bereits ein grob entwickelter Marketingplan für die unterschiedlichen NutzerInnengruppen (z.B. SchülerInnen unterschiedlichen Alters bis hin zu Silver Ager mit höchstem Bedarf an nutzeroptimierter Didaktik, Musikstudenten und Professionalisten mit höchstem Anspruch auf die Augmentierung) von Schmidt und QuetschnAcademy vor.

Abstract

Augmented sounds enrich real sounds with artificial virtual sounds and thus expand their variety , as shown by extensive studies of the University of Art and Design Graz as one of the world leaders in the use of this augmented reality technology for musical instruments in various sound spaces. The Styrian harmonica as a traditional Alpine diatonic keyboard instrument ("Knopfharmonika", "Quetschn") currently uses reeds of slightly different oscillation frequency (basis for the characteristic "tremolo") for sound production after the key stroke for the valve opening. Because the tremolo has to be specified during manufacture, it is not possible to combine the necessary sound variety of different musical genres (traditional / modern folk music with different instrumentation, Austrian / Alpine / international light music, contemporary music, etc.) in the same instrument - a great wish of many musicians in connection with the greatly expanding musical literature. In addition, this reed-based sound production contributes considerably to the instrument's weight of often larger than 7 kg, which is hinders many potential students with less physical strength (children, women, silver agers and people with physical limitations, etc.) learning the instrument. Especially students aged above 20 years are increasingly interested in learning the instrument through courses offered by online music schools, such as the QuetschnAcademy as the market leader. However, in addition to recurring online instruction and feedback from music teachers in an optimized learning process, this "life-long learning" requires, above all, currently missing "intelligent" and, due to the large number of students, "self-learning" software solutions that are specific to each piece of music, which can independently recognize errors in tones or chords as well as in rhythm, point them out to the learner and try to avoid them in a way that is as optimized as possible for the learning process of each individual.

Fulfilling these user needs the motivation of the multidisciplinary developer network of five small companies, two R&D partners and several subcontracted service providers in the "AugmentedQuetschn" project, whereby the "digitalization" of the Styrian harmonica through sound augmentation is used as a central element, starting from innovative real-time sensor technology of the key stroke and the bellow pressure (i.e. the basis for "making music"). Compared to the state-of-the-art analysis of the acoustic sound, advantages of polyphony, accuracy and latency can be exploited by means of the sensor technology to produce augmented sounds of adjustable sound variety (i.e. for music genre, pitch range, performance space with virtual room acoustics, etc.). An output of the sounds "augmented" in "choirs" (number of reeds) and tremolo can then take place via internal or external loudspeakers as well as via headphones. At the same time, the motion sensor signals enable easy analysis of the playing when learning the instrument, but also for the notation of new pieces of music or variations by experienced musicians. With the innovative "hybrid approach", i.e. by maintaining a simplified reed-based basic sound generation as the basis of the digital sound augmentation, the customer's desired ties to the sound tradition and the typical specifics of the instrument are preserved through "analogue" "un-plugged" playability - as a decisive difference to electronic instruments. Schmidt Harmonika, as project coordinator and innovation leader in harmonica construction, combines the carpenter's and instrument maker's craftsmanship with new digital design, simulation and manufacturing processes in cooperation with Haratech and JOANNEUM RESEARCH (e.g. additive 3D printing manufacturing of highly resilient plastic components in mechanics and sound generation). The aim is to increase user-specific ergonomics and lower weight for the making music, as well as to transfer significant cost efficiency (highly costly reeds) in production to the customers. Sensor and hardware components with a focus on durability, repairability and interchangeability of the very long-lasting instruments (mostly more than 20 years) are specifically adapted to the requirements of the new sound augmentation software of the Kunstuniversität Graz by the partner dieEntwickler.

Crucial in the entire innovation process from new online didactics to sound design and to instrument construction, i.e. two prototypes based on traditional instruments ("shy-tech") and new instrument design ("high-tech"), is the continuous implementation of open innovation processes to integrate the user requirements of teachers and students in all age groups and music style preferences. The defined design thinking process for desirability, feasibility and cost-effectiveness provides insight into customer needs through observation and questioning as a basis for ideation for solution finding and is developed by intoProject with years of experience, used step-by-step by the partner network, but also continuously adapted flexibly in the questioning (i.e. using design challenges, fly-on-the-wall & how-might-we methodology, card sorting method, etc.), evaluated and documented.

The use of sensor technology for online learning of the instrument enables a much simpler and more accurate analysis of practice playing for chord and/or rhythm errors, and the improvement in learning can be further supported by significant changes to their learning software (web and app-based) by the QuetschnAcademy. However, this specifically requires improved feedback mechanism for the learner via visual information on the screen, supported by haptic information (e.g. vibration) on the instrument. Open innovation methods are the basis for being able to respond to the requirements and wishes of different user groups - but also insights from didactics in the learning process ("error correction" and "learning by heart" through e.g. targeted repetition of music phrases) for the quickest possible learning success at the same time and sustainable success in the subsequent further learning of other pieces of music. In addition to the creation of a music database designed for this purpose, the integration of direct feedback from the error analysis of all user groups for initially statistical methods, then also for machine learning ("artificial intelligence") for learning-supporting suggestions is the key basis for an efficient interactive learning environment. This will also be linked to the acoustic recognition of errors, which is already available but whose reliability still needs to be optimised, in order to guarantee the use of the basic features for all customers of the QuetschnAcademy and, to a limited extent, to be able to analyse and integrate their learning progress.

The aim of the AugmentedQuetschn project is to develop two prototypes of Styrian harmonicas with sound augmentation and to connect them to the new customized online learning platform for testing by the open innovation lead user groups of teachers and students at the end of the project. Starting from the planned TRL 6, further software and manufacturing optimizations are planned in the transition to market-ready products within 2 years after the end of the project, incorporating feedback from the lead user groups. For this purpose and in addition to a IPR protection plan, a roughly developed marketing plan for the different user groups (e.g. pupils of different ages up to Silver Agers with the highest demand for user-optimised didactics and music students and professionals with the highest demand for augmentation) is already available from Schmidt and QuetschnAcademy.

zurück