2023年の新型「Apple Watch」では、新たな操作手段として「ダブルタップのジェスチャー」が登場した。これは何年も前に導入されたアクセシビリティ機能から派生したものだ。筆者はこの新機能が有効になる前から、どのようなことができるだろうかと想像して、散歩中や電車の中で、つい親指と人差し指をタップしてしまっていた。
そしてついにダブルタップのジェスチャーが利用可能になった。筆者はかれこれ1週間、この機能を使い続けている。その便利さに感動する時もあれば、できないことの多さにいらだつ時もあるが、未来への期待は高まった。もっといろいろなジェスチャーを試してみたい。筆者は何年も前から、手首や拡張現実(AR)/仮想現実(VR)ヘッドセットに付けたインターフェースを介して、さまざまなものを操作できる未来を夢見てきた。今、ダブルタップでできることは限られているが、未来には広大な可能性が広がっているのではないか。まるでAppleがまったく新しいインターフェース言語へと、私たちを一歩ずつ誘っているように感じる。
来る2024年には、実に意欲的な製品がAppleから登場する。「iOS」のすべてを複合現実(MR)のインターフェースに詰め込んだAR/VRヘッドセット「Vision Pro」だ。すべての操作は視線と手の動きのトラッキングによって行われ、ダブルタップは「クリック」を再現する重要なジェスチャーのひとつとなる。
Apple Watchに導入されたダブルタップのジェスチャーは、新たなジェスチャーインターフェースの未来を開く扉となるのだろうか。少なくとも、今は違う。現在のジェスチャー機能はもっさりとしていて、できることも少ない。筆者の願いは、この流れが拡大し、強化され、他社のウェアラブル製品にも広がっていくことだ。
Appleはすでに、Apple Watchで使用できるダブルタップと、Vision Proに導入されるダブルタップは別物だと明言している。この2つは異なる技術で実現している。Apple Watchは光学式心拍センサー、加速度センサー、ジャイロスコープを使って計測するのに対して、Vision Proは外部カメラを使って手の動きを検知する。Apple Watchは、少なくとも現時点ではVision Proの操作にさえ使えない。しかし、この2つのジェスチャーが似ているのは偶然ではない。
Metaやその他の企業は、手首に装着したトラッカーとヘッドセットを融合させようとしている。Metaが描いているのは、筋電図(EMG)のような神経入力技術を使って、手の動きを高い精度で検出できるようになる未来だ。
しかし、その未来が到来する前に、スマートウォッチのジェスチャー認識が「十分に良い」水準にまで進化する時期が何年か続くだろう。スマートフォンがLiDARのような深度センサーの登場前に、カメラとモーション検知技術だけを使ってARに似た効果を生み出していたように、われわれは今、「十分に良い」ジェスチャートラッキングと、センサーが高度化し、機能がさらに洗練される未来の始まりを目の当たりにしている。
現在のApple Watchでも、「アクセシビリティ」の設定画面から「AssistiveTouch」をタップすれば、さまざまなジェスチャーを利用できるようになる。これらのジェスチャーは、タッチ操作ができない人、タッチ以外の方法でApple Watchを操作する必要がある人のために開発されたものだ。ジェスチャーだけでApple Watchを操作し、画面に触れることなくタッチと同等の効果を実現できる。
Appleのシングル/ダブルタップ機能は「Apple Watch Series 9」と「Apple Watch Ultra 2」用に改良されたもので、新たなアルゴリズムを採用することでバッテリーの消費量を減らし、いつでも使えるようになった。今回のリリースではダブルタップのジェスチャーにスポットライトが当てられたが、新しいアルゴリズムを使えば、他にもさまざまなジェスチャーを実現できるはずだ。アクセシビリティ設定には、すでにクレンチやシングルタップといった操作方法が用意されており、動きをコントロールできるポインターもある。次のステップとして考えられるのは、新たなタップ操作の導入だ。ダブルタップでできることはさらに増えていくだろう。現在はポップアップ通知を除いて、サードパーティーのアプリはタップ操作できない。
ジェスチャー入力は、VR/ARよりも、アンビエントコンピューティングの発想に近い。思い出すのは、Googleが長年取り組んできた「Soli」だ。Soliはレーダー技術を利用するジェスチャーセンサーで、家庭などにあるスマート機器をタッチスクリーンやボタンを使わずに操作することを目指す。
この手の機能はストレスフリーでなければならないが、それは実際に使ってみなければ分からない。筆者はスマートフォンに新しいショートカットや機能が追加されても、それを無視して、自分が慣れている方法を使い続ける傾向がある。Apple Watchでも、ダブルタップを使うのを忘れて、ディスプレイ上の「応答」ボタンをタップしてしまう。VRでは、よく使うジェスチャーは身体で覚えた。例えば「Quest」ヘッドセットの側面をダブルタップすれば、カメラ越しに現実の世界を映し出せる。その結果、VRで音声コマンドを使うことを忘れてしまう。
現在、Apple Watchでダブルタップを使う場面として最も多いのは、メッセージがポップアップ表示されたときだ。ダブルタップで呼び出せる機能は段階的に変化する。例えば、最初のダブルタップではメッセージの音声入力、次のダブルタップで送信といった具合だ。このように、ダブルタップを使えば流れるようにすばやく操作できる。しかし、例えばタイマーはダブルタップで止められるが、スタートはできない。スマートスタック内の基本的なポップアップウィジェットのペーンはスクロールできるが、開くことはできない。一部の動作は「Siri」に頼める場合もあるが、ダブルタップとSiriの連携方法はまだ十分に完成されてはいない。
筆者がショートカットやワークフローについて考えるのは、これがAppleの空間コンピューティングの未来と関わっているからだ。Vision Proは、手と目の動きだけで完全に操作できるラップアラウンド型のヘッドセットとなるだろう。以前に参加したVision Proの短いデモでは、手を使ったスクロールやポインティングのほか、タップして何かを開いたり動かしたりといった、基本的な操作を見ることができた。では、もっと速く操作したい場合はどうすればいいのだろうか。クイックコマンドや、トラックパッドのマルチフィンガー操作のようなクイックムーブ、キーボードショートカットが登場するのだろうか。必ずしもVision Proのカメラを必要としないApple Watchの方が、こうした操作を確実に実行できるのではないか。それともApple Watchのディスプレイを何らかの方法でジェスチャーと組み合わせられるようになるのだろうか。
こうして、まだ見ぬ未来をあれこれ想像するのは無駄なことかもしれない。現在存在するVRヘッドセットは、一般的なゲームコントローラー風の入力方法に加えて、いくつかのハンドジェスチャーを利用できる。キーボードやトラックパッドも必要だ。つまり、まだ完璧な次世代のコンピューティングデバイスとは言い切れない。Appleは入力方法の改善に取り組もうとしているが、これはMetaも同じだ。しかしAppleはVR/ARとの連動こそまだ実現できていないものの、スマートウォッチにジェスチャー機能を搭載することには成功した。
コマンドの精度が「十分に良い」と言える水準になれば、「iPad」や「Mac」、テレビなど、他の場所でもジェスチャー操作を使えるようになるかもしれない。これはアンビエントコンピューティングが目指してきたものにほかならない。現時点ではまだ、ウェアラブルを日常的に使うためのジェスチャー言語を生み出した企業はない。しかし、いずれスマートグラスやスマートウォッチ、神経入力センサーが当たり前のものになれば、こうした言語が不可欠のものとなるだろう。それまでは一歩ずつ、いや1タップずつ、小さな進化を積み重ねていくほかない。
この記事は海外Red Ventures発の記事を朝日インタラクティブが日本向けに編集したものです。
CNET Japanの記事を毎朝メールでまとめ読み(無料)
ZDNET×マイクロソフトが贈る特別企画
今、必要な戦略的セキュリティとガバナンス
ものづくりの革新と社会課題の解決
ニコンが描く「人と機械が共創する社会」