ほとんどのゲームのインターフェースは明示的です。プレイヤーがキーを押し、スティックを倒し、画面をタップすると、ソフトウェアは構造化されたコマンドを受け取ります。コンピュータービジョンは、それとは異なる種類のインターフェースを可能にします。ゲームがカメラを通して現実の世界を観察し、見たものを解釈できるようになるのです。

これは、ゲームハードウェアにとって興味深い可能性を開きます。

画像の取得からゲームの状態へ

カメラそのものは何も理解しません。コンピュータービジョンのシステムはフレームを解析し、物体、位置、動き、数字、パターンを識別します。ゲームでは、こうした観察結果をゲームの状態に変換できます。

たとえば、本物のダイスの出目を認識する、ミニチュアの位置をトラッキングする、物体が動いたことを検出する、プレイ面のどこで動きが起きているかを把握する、といったことです。

難しいのは信頼性です。照明は変わり、手が物体を隠し、駒同士は似て見え、カメラは理想的とはいえない角度からテーブルを見ています。そのため、実用的な製品には、ビジョンモデルとキャリブレーション、信頼度のしきい値、そしてゲームごとのロジックを組み合わせることが求められます。

テーブルゲームが興味深い活用例である理由

テーブルゲームのプレイヤーは、もともと意味を持つ物理的な物を扱っています。ダイスは不確実性を表し、ミニチュアはキャラクターとその位置を表します。コンピュータービジョンを使えば、プレイヤーにそれらを仮想の代替物に置き換えさせることなく、こうした物をデジタルのシステムとつなげられます。

Realm Kineticsは、このフィジカルとデジタルをつなぐインターフェースの一部として、カメラを内蔵したDoungimを開発しています。このコンソールは、本物のダイスとミニチュアを中心に動作し、デジタルの層はソフトウェアが管理するよう設計されています。

このように、コンピュータービジョンはゲームのインターフェースをさりげなく変えていく可能性があります。プレイヤーにすべてをコントローラーでコンピューターに伝えてもらうのではなく、プレイヤーがすでにしていることの一部を、システムの側が理解し始めるのです。