Die meisten Spieleschnittstellen sind explizit. Eine Spielerin drückt eine Taste, bewegt einen Stick oder tippt auf einen Bildschirm, und die Software erhält einen strukturierten Befehl. Computer Vision macht eine andere Art von Schnittstelle möglich: Das Spiel kann die physische Welt durch eine Kamera beobachten und deuten, was es sieht.

Das eröffnet spannende Möglichkeiten für Gaming-Hardware.

Vom Kamerabild zum Spielzustand

Eine Kamera allein versteht nichts. Computer-Vision-Systeme analysieren Einzelbilder, um Objekte, Positionen, Bewegungen, Zahlen oder Muster zu erkennen. In einem Spiel lassen sich diese Beobachtungen in einen Spielzustand übersetzen.

Beispiele sind das Erkennen eines echten Würfelergebnisses, das Verfolgen der Position einer Miniatur, das Bemerken, dass ein Objekt bewegt wurde, oder das Erfassen, wo auf einer Spielfläche gerade etwas passiert.

Die eigentliche Schwierigkeit ist Zuverlässigkeit. Das Licht ändert sich, Hände verdecken Objekte, Spielfiguren sehen sich ähnlich, und Kameras blicken aus unvollkommenen Winkeln auf den Tisch. Ein brauchbares Produkt muss Bilderkennungsmodelle deshalb mit Kalibrierung, Konfidenzschwellen und spielspezifischer Logik kombinieren.

Warum Tabletop-Spiele ein spannender Anwendungsfall sind

Wer Tabletop spielt, hantiert ohnehin mit bedeutungsvollen physischen Objekten. Würfel stehen für den Zufall. Miniaturen stehen für Figuren und Positionen. Computer Vision kann diese Objekte mit digitalen Systemen verbinden, ohne dass die Spieler sie durch virtuelle Gegenstücke ersetzen müssen.

Realm Kinetics entwickelt Doungim mit einer eingebauten Kamera als Teil dieser Schnittstelle zwischen physischer und digitaler Welt. Die Konsole ist darauf ausgelegt, mit echten Würfeln und Miniaturen zu arbeiten, während die Software die digitale Ebene übernimmt.

Computer Vision kann Spieleschnittstellen also auf subtile Weise verändern. Statt den Spielern abzuverlangen, dem Computer alles über einen Controller mitzuteilen, kann das System beginnen, Teile dessen zu verstehen, was die Spieler ohnehin schon tun.