FFG Projektdatenbank

zurück

Tablescope

Universal table analyser - Tablescope

Projektbeschreibung

Digitale, hybride Tabletop-Spiele sind Brett- oder Kartenspiele, die mithilfe eines elektronischen Gerätes, in der Regel eines Smartphones, gespielt werden. Das Ziel des vorliegenden Projektes ist es, die Möglichkeiten von Computer Vision zu nutzen, um eine neue, erfolgreiche Art von digitalen, hybriden Tabletop-Spielen zu erschaffen. Konkrete Beispiele zur Veranschaulichung wären: Die Spieloberfläche kann fotografiert werden, um je nach Lage und Ausrichtung der Karten auf dem Tisch Feuerbeschuss zu simulieren, man kann zu einem parallel ablaufenden Spiel am anderen Ende der Welt beitragen oder dank neuer Informationen abhängig vom Spielstand das nächste Level eines Abenteuers erreichen.

Die Marktanforderung an diese Technologie ist, dass sie lokal auf einem durchschnittlich leistungsfähigen mobilen Gerät läuft, dabei aber schnell und äußerst zuverlässig funktioniert. Um den Spieler:innen einen Mehrwert zu bieten, muss die digitale Komponente nahtlos in das analoge Erlebnis integriert sein. Unser Ziel ist es, die Herausforderung der Computer Vision auf dem wachsenden Markt der Brett- und Kartenspiele durch die Entwicklung einer bahnbrechenden technologischen Bereicherung und die Bereitstellung eines wettbewerbsfähigen Mittels zu deren Anwendung auf mehrere Produkte zu meistern.

Eingangs werden wir uns auf kundenspezifischer Basis verschiedenen für die Brett- und Kartenspielindustrie relevanten Problemen widmen, wie etwa dem Zählen von Punkten oder dem Messen von Abständen zwischen Karten auf Grundlage eines Fotos. Dabei bewerten wir, welche Ressourcen für das Training auf einem Mobilgerät einsetzbarem tiefen neuronalen Netz erforderlich sind, um diese spezifischen Probleme lösen.

In der darauffolgenden Hauptphase des Projekts planen wir einen „universellen Spieloberflächen-Analysator“, ein automatisiertes Machine-Learning-Tool zu entwickeln, das, wenn ihm beispielsweise die .jpg-Dateien von Karten oder die .obj-Dateien von 3D-Modellen zur Verfügung gestellt werden, innerhalb von Stunden ein Netz so trainieren kann, dass dieses die relevanten Elemente eines jeden Spiels erkennen, lokalisieren und klassifizieren kann.

Angesichts seines allgemeinen Anwendungsbereichs ist die Entwicklung eines universellen Spieloberflächen-Analysators auf jeden Fall ein ehrgeiziges Ziel, zugleich aber auch wesentlich für eine skalierbare und wettbewerbsfähige Marktpräsenz. Wir werden mit Fokus auf on-device-Inference aufbauend auf neueste Forschungsergebnisse unter anderem an folgenden Themen forschen und entwickeln: semantische Segmentierung, One-Shot-Learning, Kanten- und Objekterkennung sowie dem Generieren synthetischer Bilder.

Derzeit auf dem Markt befindliche digitale, hybride Lösungen umfassen entweder Low-Tech-Realisierungen, die nur marginal zum Spielerlebnis beitragen, oder folgen einem Ansatz, bei dem schwerfälliger Technologie mehr Bedeutung beigemessen wird als dem Mehrwert und der bei den Spieler:innen keinen Anklang findet. Wir hingegen wollen den Prozess der Anwendung von Computer Vision auf die Spieloberfläche optimieren, indem die Daten von der Spieloberfläche auf eine nicht-invasive und extrem zuverlässige Art und Weise mit einem oder sehr wenigen (womöglich schlechten) Fotos erfasst werden können.

Diesbezüglich ist Tablescopes USP ‚Außergewöhnliche Tabletop-Spiele nur einen Schnappschuss entfernt‘ sowohl auf Spieler:innen als auch Herausgeber:innen von Brettspielen ausgerichtet. Einerseits trägt unsere Innovation dem Verlangen nach neuen Erlebnissen einer wachsenden Anzahl moderner Brettspieler:innen Rechnung: Wir verkaufen neue Tabletop-Spiele oder Verbesserungen für jene Spiele, die sie bereits kennen und lieben, ohne sie aus ihrer Komfortzone zu reißen– weder im Preis noch durch die Invasivität des Prozesses. Andererseits schaffen unsere B2C-Operationen bei den Verlagen ein Bewusstsein dafür, was unsere Technologie erreichen kann. Wir schöpfen das Potenzial unseres universellen Spieloberflächen-Analysators aus, indem wir die Bedürfnisse des B2B-Segments vermöge Kooperationen in der Entwicklung neuartiger Produkte erfüllen: Wir bieten innovatives Leistungsversprechen zu einem ansprechenden Preis, sodass sie ihr Angebot und ihre Infrastruktur nicht ganz von Neuem überdenken müssen.

Kein Unternehmen hat es bisher geschafft, die oben genannten Ziele zu verwirklichen. Der Hauptgrund hierfür ist ein Mangel an Firmen, welche sowohl ein Verständnis für die technologischen Herausforderungen als auch ein Gespür für die Bedürfnisse analoger Spieler:innen haben: Die Stärke unseres Teams liegt gerade in der Verknüpfung dieser beiden Erfordernisse.

Der Projektmanager Leonardo Alese hat einen technischen PhD in Geometrie und verfügt über ein breitgefächertes, diversifiziertes Know-how auf dem Gebiet der Mathematik und des Programmierens. Im Rahmen seiner vorherigen unternehmerischen Laufbahn war Leonardo Mitbegründer der gamified Dating-App „Smate“, an deren Entwicklung und Einführung er mitwirkte. Bereits seit seiner Kindheit gestaltet er unermüdlich und mit Leidenschaft Spiele.

Der technische Projektleiter Emanuele Santellani ist Elektroingenieur. Er absolviert derzeit einen PhD in Computer Vision an der TU Graz und in Zusammenarbeit mit SONY im Bereich der Deep Learning bildbasierten 3D-Rekonstruktion. Er ist ein Experte auf dem Gebiet des Trainings tiefer neuronaler Netze für Computer-Vision-Aufgaben und der Generierung synthetischer Datensätze zu diesem Zweck. Emanuele ist ein Technologieenthusiast der ersten Stunde, allzeit bereit, die Ärmel hochzukrempeln und ehrgeizige Projekte anzugreifen.

Zusätzlich zu ihrem finanziellen Engagement als Gründer haben Emanuele und Leonardo bereits rund 1500 Std. an diesem Projekt gearbeitet. Dabei erbrachten sie einen umfangreichen Machbarkeitsnachweis anhand des Kartenspiels „Light Speed“, das bereits kostenfrei ausgedruckt und über die Messaging-App Telegram gespielt werden kann. Obgleich ihnen dies eine große Sichtbarkeit verlieh und ihre Geschäftsannahmen bestätigte, erfordert die derzeitige Implementierung eine Internetverbindung, ist die Gestaltung der Benutzeroberfläche durch eine Drittanwendung eingeschränkt, läuft die Computer Vision Software im Backend und beruht die Klassifizierung der Spielobjekte auf Codes, die auf den Karten aufgedruckt sind. Zusätzlich zu den anderen Zielen möchten wir mit der Unterstützung der FFG auf diesem Prototyp aufbauen und ihn durch die Beisetzung der oben genannten Einschränkungen in ein wirkliches Produkt umwandeln.

Die Forschungs- und Entwicklungsaktivitäten werden in Zusammenarbeit mit der TU Graz durchgeführt, welche Emanuele erlauben wird, zusätzliche 320 Std. seiner PhD-Arbeit diesem Projekt zu widmen. Weiterhin gibt es eine Kooperation mit dem Know Center, wo M.Sc. Gabriel Indi Mendoza, der derzeit einen PhD in eXplainable AI verfolgt, zum Training der tiefen neuronalen Netzwerke im Rahmen des Projekts beitragen und ihre Bereitstellung in einer mobilen Umgebung unterstützen wird.

Zudem werden uns bei unseren Unternehmungen Personen von internationalem Renommee auf dem Gebiet der Game Studies (Prof. Johanna Pirker), der Computer Vision (Prof. Friedrich Fraundorfer) und des Digital Hybrid Gamings (M.A. David Cicurel) als Mentor:innen zur Seite stehen.

zurück