A maioria das interfaces de jogos é explícita. O jogador aperta uma tecla, move um analógico ou toca na tela, e o software recebe um comando estruturado. A visão computacional torna possível outro tipo de interface: o jogo pode observar o mundo físico por meio de uma câmera e interpretar o que vê.
Isso abre possibilidades interessantes para o hardware de jogos.
Da captura de imagem ao estado do jogo
Uma câmera sozinha não entende nada. Os sistemas de visão computacional analisam quadros para identificar objetos, posições, movimentos, números ou padrões. Em um jogo, essas observações podem ser traduzidas em estado.
Alguns exemplos: reconhecer o resultado de um dado físico, acompanhar a posição de uma miniatura, detectar que um objeto se moveu ou entender onde há atividade em uma superfície de jogo.
A parte difícil é a confiabilidade. A iluminação muda, as mãos cobrem objetos, as peças se parecem e as câmeras veem a mesa de ângulos imperfeitos. Por isso, um produto útil precisa combinar modelos de visão com calibração, limites de confiança e lógica específica do jogo.
Por que os jogos de mesa são um caso de uso interessante
Quem joga na mesa já manipula objetos físicos cheios de significado. Os dados representam a incerteza. As miniaturas representam personagens e posições. A visão computacional pode conectar esses objetos a sistemas digitais sem obrigar os jogadores a trocá-los por equivalentes virtuais.
A Realm Kinetics está desenvolvendo o Doungim com uma câmera integrada como parte dessa interface entre o físico e o digital. O console foi projetado para funcionar com dados de verdade e miniaturas reais, enquanto o software cuida da camada digital.
Assim, a visão computacional pode mudar as interfaces de jogos de um jeito sutil. Em vez de pedir que os jogadores digam tudo ao computador por meio de um controle, o sistema pode começar a entender parte do que os jogadores já estão fazendo.