littlewing

人間とコンピューターとメディアの接点をデザインするために考えたこと

HoloLensのライブキャプチャ(Mixed Reality Capture)を映像配信する方法

win10_HoloLens_livingRoom

HoloLensには、Mixed Reality Capture(MRC)というライブキャプチャ機能があり、数秒遅延はあるものの、装着している人が見ている映像を他の人が同時に見ることができます。(録画することもできます)

技術仕様はここにいろいろ載っています。

簡単な概要としては

  • HoloLens側でMRCをONにする(設定メニューからゴニョゴニョ)
  • WindowsPCでホロレンズのDevicePortal (http://{HoloLensのIPアドレス})にWEBブラウザでアクセスする
  • Mixed Reality Caputureのメニューから、Live Caputureを選択する。

ただし、MRC利用中は、体験者の映像も含めてFPSが下がってしまうようです(60fps -> 30fps)


Windows以外でもライブキャプチャを見たい

ライブキャプチャのストリーミングはmp4形式なのですが、Windowsのブラウザ以外からは映像がうまく再生されません。 ストリーミングのフォーマットがWindows用(Media Player用?)なのが原因と思われます。

普段Macを使っているので、なんとか見れないかといろんなブラウザで試してみました。

OS web browser result
Windows 10 Chrome ○たまに途切れる
Windows 10 Edge ◎良好
Windows 7 Chrome
Andoird 5.2 Chrome
Mac(osX) Chrome ×
Mac(osX) Safari ×
Raspbian(ラズパイ) Epiphany(デフォルトブラウザ) ×
Windows IoT Core(ラズパイ) 自作WebViewアプリ × ※Basic認証が突破できず。もしかしたら動くかも

ChromeでもMacでは動かない。Streamingは詳しくないので、よくわかりません。 mp4/videoなんですが・・

Device Portalの機能自体はWEB APIになっていて、 LiveCapture以外の機能は、どのブラウザでも大体動きます。

仕様はこのあたり


OBS Studio (Open Broadcaster Software)を使ったらMacで見れた。

あきらめかけていたら、海外のブログを発見。

OBS Studio というライブ配信ソフトに取り込む方法が解説されています。

この方法をつかったら、mac上でも映像を表示することができました。

ライブ配信ソフトなので、そこからさらにストリーミングもできそうです。

コメント欄にViveでもできるみたいなことが書いてあったのでVR系でも同様に、配信できるかもしれません。

medium.com

blog.truthlabs.com


VLCプレイヤーでもみれるらしい。


  • HoloLens本日時点でAmazonで93万円。はやく、一般販売されないかな?