La plupart des interfaces de jeu sont explicites. Un joueur appuie sur une touche, bouge un stick ou touche un écran, et le logiciel reçoit une commande structurée. La vision par ordinateur rend possible un autre type d’interface : le jeu peut observer le monde physique à travers une caméra et interpréter ce qu’il voit.
Cela ouvre des perspectives intéressantes pour le matériel de jeu.
De la capture d’image à l’état du jeu
Une caméra seule ne comprend rien. Les systèmes de vision par ordinateur analysent des images pour identifier des objets, des positions, des mouvements, des nombres ou des motifs. Dans un jeu, ces observations peuvent être traduites en état de jeu.
Par exemple : reconnaître le résultat d’un dé physique, suivre la position d’une figurine, détecter qu’un objet a bougé ou comprendre où se déroule l’action sur une surface de jeu.
La difficulté, c’est la fiabilité. L’éclairage change, des mains cachent des objets, des pièces se ressemblent et les caméras voient la table sous des angles imparfaits. Un produit utile doit donc combiner des modèles de vision avec de l’étalonnage, des seuils de confiance et une logique propre à chaque jeu.
Pourquoi le jeu sur table est un cas d’usage intéressant
Les joueurs sur table manipulent déjà des objets physiques qui ont un sens. Les dés représentent l’incertitude. Les figurines représentent des personnages et des positions. La vision par ordinateur peut relier ces objets à des systèmes numériques sans obliger les joueurs à les remplacer par des équivalents virtuels.
Realm Kinetics développe Doungim avec une caméra intégrée, au cœur de cette interface à la fois physique et numérique. La console est conçue pour fonctionner avec de vrais dés et de vraies figurines, pendant que le logiciel gère la couche numérique.
La vision par ordinateur peut donc changer les interfaces de jeu de façon subtile. Au lieu de demander aux joueurs de tout dire à l’ordinateur au moyen d’une manette, le système peut commencer à comprendre une partie de ce que les joueurs font déjà.