Einen echten Würfel mit einer Kamera zu lesen, klingt einfach: Würfel finden, Zahl ablesen. In der Praxis bringt die Umgebung am Spieltisch gleich mehrere Probleme der Computer Vision auf einmal mit sich.
Das System muss zunächst erkennen, welches Objekt ein Würfel ist. Dann muss es die sichtbare Seite bestimmen, mit Drehung und Perspektive zurechtkommen und entscheiden, ob der Würfel zur Ruhe gekommen ist, bevor es ein Ergebnis übernimmt.
Verschiedene Würfel, verschiedene Probleme
Ein gewöhnlicher sechsseitiger Würfel zeigt Augen oder Ziffern auf flachen Seiten. Andere Rollenspielwürfel haben mehr Seiten, steilere Blickwinkel und deutlich kleinere Markierungen. Auch die Materialien unterscheiden sich. Glänzende, durchscheinende oder gemusterte Würfel reflektieren Licht womöglich anders als undurchsichtige.
Ein praxistaugliches System zur Würfelerkennung muss deshalb mit genau den Würfeltypen trainiert und getestet werden, die Menschen tatsächlich verwenden.
Timing gehört zur Erkennung
Während ein Würfel rollt, sieht die Kamera womöglich mehrere mögliche Werte. Die Software braucht deshalb einen Weg, um festzustellen, wann der Wurf zur Ruhe gekommen ist. Bewegungserkennung, die Abfolge der Einzelbilder und Konfidenzwerte können dazu beitragen.
Auch Verdeckung spielt eine Rolle. Eine Hand kann den Würfel teilweise verdecken, oder mehrere Würfel landen dicht beieinander. Oft ist es das richtige Verhalten, um eine Bestätigung zu bitten, statt ein unsicheres Ergebnis selbstbewusst zu melden.
Warum die echten Würfel behalten?
Bei Tabletop-Spielen geht es nicht einfach darum, das Rechnen zu ersetzen. Echte Würfel sind Teil des Spielrituals. Computer Vision ermöglicht es dem digitalen System, das Ergebnis zu verstehen, während der Spieler weiterhin den echten Würfel wirft.
Realm Kinetics entwickelt Doungim nach genau diesem Prinzip. Die Kamera soll physische Aktionen am Tisch mit der digitalen Ebene des Spiels verbinden.
Die spannende technische Frage lautet also nicht „Kann eine Kamera eine Zahl sehen?“. Sie lautet, ob die gesamte Erkennungskette zuverlässig genug arbeitet, um im normalen Spiel unsichtbar zu werden.