人生の全体験を記録したデータが、日常を便利にするだけでなく、未来を豊かに彩る

朝起きてから、夜寝るまで、私たちの身の回りでは日々、数え切れないほどの事象が起こり続けています。それは「朝ごはんを食べた」といった自身が記憶している行動だけでなく、「午前6時23分に冷蔵庫を開けた」などの記憶していない行動も含めると、無数といえるかもしれません。河野恭之先生は、そうした身の回りの出来事を着用したコンピュータで記録し、さらに記録を後から自由に検索して利活用できるシステムの実現をめざして研究を進めています。30年前の阪神・淡路大震災の被災体験がきっかけとなって始めたという研究と、その未来についてお聞きしました。

記録が取れず、25年後に再確認できた震災後の周辺状況

河野先生は長年にわたって、人の日常生活をウェアラブルデバイスなどに記録しておき、蓄積されたデータを後から検索・利用できる一連のシステム「体験メディア」の研究に取り組んでいます。

「2002年にトム・クルーズ主演で公開されたSF映画『マイノリティ・リポート』では、人の記憶を自由に検索することができる未来が描かれました。私の研究はその映画のように、過去の自分の行動を記録・保存しておくことで、好きなタイミングで再生し、他人と共有できることをめざしています」

日常生活におけるさまざまな事象を、映像・音声・位置情報・生体情報などのデジタルデータとしてパソコンやスマートフォンといったデバイスに継続的に記録することを「ライフログ」といいます。体験メディアを構築するのに不可欠なライフログをどのように取得するかは、河野先生の研究にとってとても重要なテーマになります。先生がこのライフログに関心を持つようになったのは、阪神・淡路大震災の被災経験がきっかけでした。

「当時、私は阪神芦屋駅の南側に住んでいました。マグニチュード7の直下型地震の威力はすさまじく、自宅から歩いてすぐの阪神高速道路が横倒しに倒れているのを見て、体が震えたことを覚えています。幸い、私が住んでいたマンションでは亡くなった方はいませんでしたが、向かいのマンションでは十数名の方が亡くなられたそうです。被災した夜は、近所のグラウンドに車を停めてその中で寝ました」

震災後、家具や食器が散乱する家の片づけのために、河野先生は奥様と何度もマンション4階の自室にまで足を運びました。しかしその当時の記録は、現在ほとんど残っていないといいます。

「すごく大変だった記憶はありますが、記録として残っているのは、フィルム1本分の写真20数枚だけです。当時は今と違ってカメラ付きスマートフォンもありませんから、日常的に写真を撮る習慣がなかったんです。震災時の芦屋市のリアルな様子を見ることができたのは、震災から25年が経って、関西のテレビ局が当時の取材映像をWeb上で一般公開してくれたときが初めてでした。それまでは自分自身、あのとき何が身の回りで起きていたのか、再確認する術がなかったのです。そして当時の記録がないだけでなく、親が残してくれた子ども時代のアルバムも、保管していたマンションの地下倉庫が震災によって水没したため、すべて失うことになりました」

河野先生はその経験から、「自分が見たもの、聞いたものをすべて記録しておくことが、あとから過去を振り返るためにもとても大切だ」と考えるようになりました。そこでより研究に専念するために、2000年に勤務していた大手電機メーカーから奈良先端科学技術大学院大学に移ったタイミングで、体験メディアの研究をスタートすることになったのです。

「『マイノリティ・リポート』をはじめ、フィクションの世界では、人生のあらゆる出来事を記録する機械やシステムは、何度も描かれてきました。このアイデア自体はかなり古く、1945年にヴァネバー・ブッシュというアメリカの技術者が、Memex（メメックス：記憶拡張機）という機械を構想したのが始まりだといわれています」

ブッシュが考えたMemexという装置は、人が所有する全ての本や記録、通信内容などを圧縮して格納できるデバイスでした。Memexにはマイクロフィルムとカメラからなる記録装置が備わっており、記録するだけでなく、わずかなキー操作でいつでも好きな記憶が呼び出せるというのがコンセプトでした。しかし当時のコンピュータは、大砲の砲弾の着地点の計算ぐらいの性能しか持たない原始的な機械だったため、Memexを実現することは到底不可能であり、ブッシュのアイデアはコンセプトだけに終わりました。

「しかしその後の目覚ましいコンピュータ技術の発達で、状況が変わりました、1990年代になると、コンピュータサイエンスの研究が盛んなマサチューセッツ工科大学のメディアラボを中心に、装着・着用できるコンピュータ、近年でいうところのウェアラブルデバイスの開発が議論され始めたのです」

そして現在では、健康状態を記録できるスマートウォッチなどのように、Memexのコンセプトを受け継いだ装置が実際に開発・発売されるようになりました。なお河野先生によると、人生が80年とした場合、1人の人間が一生の間に見たもの、聞いたものをすべて記録するのに必要なデータ量は、およそ10テラバイトとのこと。「昨今は、パソコンも2テラバイトの仕様がありますから、1人分の一生の視聴量は、すでに現在の技術でも十分に記録可能なのです」

カメラの映像から「いつ、どこで置き忘れたか」を検出

河野先生自身、これまでの長い研究で、さまざまな体験メディアを開発してきました。その1つが奈良先端科学技術大学院大学に在籍していた2002年に開発した「物探しを効率的に行う技術」です。

「書類や物を無くして、探し回った経験は誰にでもあるでしょう。実際、アメリカのビジネスマンは1年間に150時間も、何か物を探すために費やしているという調査結果もあるほどです。当時私が開発したのは、腰に装着するカメラを使ったシステム。このカメラで手に持っている物を常時撮影し続けることで、それを最後に置いた場所を後から検索できるというものです」

この技術を確立するうえで苦労したのは、「記録した情報に後から検索できるようにするための”タグ”を付けることでした」と河野先生は言います。

「DVDやブルーレイディスクに、テレビ番組などを録画しても、それにラベルを貼らなければ、何が記録されているかすぐわからなくなります。それと同様に、膨大な量になる体験メディアの記録では、正しく情報を取り出せるようにするために、タグや目次を付けることが重要になるのです」

「I’m here!」と命名された河野先生らのチームが生み出した装置では、カメラで撮影した背景の映像から手に持っている物を抽出する技術により、記録しながら自動的に「物を持っている」というタグを付ける仕組みなのだそう。物を手放すと、記録していたデータから“物を手放した”というタグをたどることで、そのタイミングを確認でき、無くしものを見つけやすくすることを可能にするのです。この技術は情報番組や新聞でも取り上げられ、話題となりました。 この研究は関西学院大学に着任後も継続しており、撮影するカメラのレンズをより広域を映すことのできる魚眼レンズに変え、手の指先すべての動きを検出できるシステムに発展させました。

「体験メディア」で自分にとって大切な過去の出来事も振り返ることができる

カメラが撮影する映像データ以外で、ライフログを取得するために河野先生が注目したのは、ワイヤレスイヤホンやスピーカーなどでおなじみのBluetoothです。スマートフォンから流れる音をワイヤレスイヤホンで聴くことができるのは、無線通信の規格の1つであるBluetoothに対応したスマートフォンとワイヤレスイヤホンが接続され、通信を行っているから。この無線通信の電波情報をライフログとして活用できないかと、河野先生は考えました。

「Bluetooth機能を搭載する機器はすべて、それぞれ固有のIDを持っています。そのため自身が保有するデバイスだけでなく、身の回りを行き来するさまざまな人のデバイスのBluetoothの電波ログを継続的に取り続ければ、自分が24時間365日、どういう人とどれぐらいの時間近くにいるか、可視化することができるのです。たとえば、学生が大学の教室で講義を受けたとしたら、その学生が持つデバイスが90分間、同じ場所にあり続けるのがわかります。食堂ならば、常に入れ替わり続ける様子が見えます。そのデータを分析することで、人間関係も可視化することができるのです」

この技術はすでにゲームなどで実用化されています。近くに同じゲームをプレイしている人がいると合図が鳴って、見ず知らずの人からメッセージが届くなど、一緒に楽しむことができます。そして、2020年のコロナ禍に厚生労働省とデジタル庁が発表した新型コロナウイルス接触確認アプリ「COCOA」（2022年11月機能停止）も、同様の技術が使われていました。

「『COCOA』もBluetoothによって行動情報を検知・記録し、アプリの利用者が新型コロナウイルスに感染した際、記録をたどって、その旨を通知するという仕組みでした。Bluetooth機能を使ったアプリやサービスは、今後もさまざまなシーンで生み出されていくだろうと思います」

ライフログを取り続け、後から好きなときに記録を取り出して確認したり、分析したりといったことが簡単にできる「体験メディア」がある世界では、人の暮らしはどのように変わるのでしょうか。河野先生は、「無意識の中に眠っていた記憶や、意識していなかった記録が、後から役立ったり人生を豊かにしてくれるのではないかと考えています」と語ります。

たとえば大人になってから出会い結婚した相手が、実はライフログで過去にさかのぼると同じ保育所にいっときだけ通っていた……。そんな過去の出会いが、わかる可能性もあるというのです。

「出来事が起こったその瞬間はまったく意識していなくても、後になってから、自分の人生を大きく変えたターニングポイントはここだったんだとわかる。そんな体験は、きっと皆さんの人生を彩り豊かにしてくれるのではないかと思います」

テクノロジーによって記憶を拡張することで、日常の利便性を高めるだけでなく、楽しさや豊かさを増幅させるために、河野先生の研究室では今もさまざまな領域で研究が進んでいます。

取材対象：河野 恭之（関西学院大学工学部知能・機械工学課程 教授）
ライター：大越 裕
運営元：関西学院 広報部
※掲載内容は取材当時のものとなります