Lire un dé physique avec une caméra paraît simple : trouver le dé et lire le chiffre. En pratique, un environnement de jeu sur table pose plusieurs problèmes de vision par ordinateur en même temps.
Le système doit d’abord identifier quel objet est un dé. Il doit ensuite déterminer la face visible, gérer la rotation et la perspective, et décider si le dé a fini de bouger avant d’accepter un résultat.
À chaque dé ses difficultés
Un dé classique à six faces présente des points ou des chiffres sur des faces planes. D’autres dés de jeu de rôle peuvent avoir plus de faces, des angles de vue plus prononcés et des marquages bien plus petits. Les matériaux varient aussi. Les dés brillants, translucides ou à motifs peuvent refléter la lumière différemment des dés opaques.
Un système de reconnaissance de dés efficace doit donc être entraîné et testé sur les types de dés que les gens utilisent réellement.
Le bon moment fait partie de la reconnaissance
Pendant qu’un dé roule, une caméra peut voir plusieurs valeurs possibles. Le logiciel doit donc pouvoir déterminer quand le jet est stabilisé. La détection de mouvement, l’historique des images et le calcul d’un score de confiance peuvent tous y contribuer.
L’occlusion compte aussi. Une main peut couvrir une partie du dé, ou plusieurs dés peuvent tomber tout près les uns des autres. Le bon comportement du produit consiste souvent à demander une confirmation plutôt que d’annoncer avec assurance un résultat peu fiable.
Pourquoi garder les dés physiques ?
Dans les jeux sur table, le but n’est pas simplement de remplacer le calcul. Les dés physiques font partie du rituel du jeu. La vision par ordinateur permet au système numérique de comprendre le résultat, tandis que le joueur continue de lancer un vrai dé.
Realm Kinetics développe Doungim autour de ce principe. Sa caméra doit relier les actions physiques autour de la table à la couche numérique du jeu.
Le problème d’ingénierie intéressant n’est donc pas « une caméra peut-elle voir un chiffre ? ». Il s’agit de savoir si toute la chaîne de reconnaissance peut fonctionner de façon assez fiable pour se faire oublier pendant une partie normale.