WEBカメラで利用できる顔認識技術まとめ(2015年4月)-その4
この記事は以下の続きです。
4回目の今回は、オープンソースではないですが、海外のものを中心にface-tracking可能なミドルウェアを紹介します。
6.顔認識可能なミドルウェア
6.1 Facerig -Skypeと連携可能
Face RigはルーマニアのHolotech Studiosが開発するFace-Trackingソフトウェア。steamで配信されています。 表情豊かな複数のアバターが容易されていて、skypeに利用したり動画として保存することができます。
日本語の解説記事
上記の記事を見ると顔認識エンジンとしてはVisage Technologiesのエンジンを利用しているようです。
6.2 Face Plus(mixamo) - Unityで利用可能
3D Facial Capture and Facial Animation in Real Time with Face Plus - Mixamo
ゲーム開発会社向けの３Dアニメーション作成ツールを提供している Mixamo社のFace-Trackingツールが「FacePlus」,実際試してみましたがかなり精度の高いアニメーションを実現しています。
6.3 Facetracking Starter Kit (Unity 向け Asset)
Unity Asset Storeで提供されているKinectを利用したFace-Trackingライブラリ 無料で提供されています。また試してみたら、記事をブログにも書こうかと思っています。
6.4 インドの会社whodat
インドにARやFace-Trackingシステムを開発しているwhodatという会社があるんですが、 本記事執筆時点で、WEBサイトが見れなくなっています。 ひとまず、リンクだけ載せておきます。
6.5 Visage SDK (Visage Technologies)
Visage SDKは、さきほどのFaceRigでも利用されているFaceTracingライブラリ ちょっとまだ調査中で、説明できるほど理解できていないのですが、なかなか良さそうです。
その２で紹介した、FaceTrackerは正面の顔の認識はなかなか良いのですが、 顔を横に向けた時にロストしてしまうのですが、そのあたりの精度も高そうに思えます。
https://www.youtube.com/watch?v=M8hBJuMCBWE
ジョルジオ・アルマーニのアイウェアのキャンペーンサイトで採用
Visage TechnologiesのWEBサイトによると、4/10に公開されたジョルジオ・アルマーニのアイウェアのキャンペーンサイトで Visage SDKのアイトラッキングを利用したブラウジングインタラクションが公開されています。 WEBカメラの前で目をつぶったりすると、コンテンツが進行していきます。
Frames of Life – new immersive experience by Armani » Visage Technologies
7.Sensing Egg (Human Vision Components )
オムロンが2014年12月に発売した、カメラ＋画像認識モジュールです。
bluetoothでPCやスマホに接続ができます。
人体検出、顔検出、手検出、顔向き推定、視線推定、目つむり推定、年齢推定、性別推定、表情推定の９種類の画像センシング機能を有する、人を認識する画像センシングデバイスです。Bluetooth 4.0 LE(Low Energy) 経由でホスト（例えば、スマートフォンやタブレット端末など）からのコマンドを受け、実行結果を返します。電源供給には、microUSBケーブルで行います。
ということで、以前からオムロンが進めていたOKAO VISONの顔認識技術を手軽に高精度で利用できるハードウェアとなっています。
現時点で発売されている端末はカメラ画像自体は、外部に転送されず、センシングした値のみが送信されるようです。 カメラ画像の漏洩などセキュリティー的な問題を考慮して意図的にそのようにしたのか、Bluetoothの転送速度などを考慮したのかわかりませんが、取得したセンサー値のカスタマイズや追加の画像処理など、センシング部分の調整を行いたい場合は、制約がありそうです。
アバターの存在感を錯覚させるには、センシング精度ではなく、アバター側の表現力が重要
今回紹介した、FaceRigやFacePlusにおいて、Face-Tracking技術を用いて、リアルなアバターの操作を行っています。 同じようなアバター表現仕組みをFaceTrackerなどを利用してテストして試しているのですが、そこでわかったことは、 センシング精度よりもアバター側の表現力がとても重要であること。
単純に目/口の開閉度や顔の部位の位置変化を正確にトラッキングして、アバターに反映させても、非常にロボット的というか、 生き生きとした人間の存在感(=アバターを通して、その人の存在を錯覚的に認識する)を感じることはできません。 アバター側において、オーバーアクション気味の表情の作成や、センシング情報には含まれていなリアルな筋肉の動きを表現に取り入れる必要があります。
センサーだけを突き詰めるのではなく、総合的な表現力が必要ですね。
続きは次回
顔認識技術の紹介はいったん、ここでおしまいの予定で、次回まとめを書こうと思っています。
- 1年ぶりに更新↓
