nalulululuna

Mixed Reality Beat Saber (失敗談)

Added 2023-09-30 13:07:14 +0000 UTC

Oculus Quest 3、発表されましたね。なんでも MR 映像の解像度が Quest Pro の 3 倍！ということで、かなり綺麗になっているようです。Quest Pro の MR 見たときは、こんなノイズまみれで低解像度な映像で MR なんて…って思ったものですが、Quest 3 ではやっと実用レベルになったのかもしれません。

そんなわけで、MR の需要もでてくるかもしれない、と思い、Beat Saber を MR 化する mod が作れないか検討してみました。Quest Pro 発表のときも、Meta 公式でこういうのできますよっていう下のような映像だしてたんですよね。(結局、1 年たっても実現しなかった…)

https://www.youtube.com/watch?v=hvfV-iGwYX8

PC で動く MR アプリを作る…ための準備

Quest Pro では、Quest 上で動くスタンドアロンのアプリに関しては、MR すなわち外部映像のパススルーはすぐに使用できます。

しかし…、これを Oculus Link (有線)、Air Link (無線) を通して PC で使用しようとするとやたら面倒な手続きが必要になります。

1. Meta に開発者登録

2. スマートフォンの Meta Quest アプリで、開発者モードをオンに

3. PC の Oculus アプリのベータ設定で公開テストチャンネルをオンに

4. 同じくベータ設定で、Oculus Link経由でのパススルーをオンに

ここまでやってやっと使用できるようになります。もう Pro も出てから 1 年になりますし、Quest 3 も出るんですから、開発者登録が必要なベータ機能ではなく正式扱いになっても良いと思うんですけど…。

ただ、後でわかったことですが、無線 (Air Link) だとパススルーは異常にパフォーマンスが低下して実質使い物にならなかったので (有線なら OK)、まだ完成度はベータ版相当なのかもしれません。

PC で動く MR アプリを作ってみる

今回は Beat Saber の MR 化 mod を作りたいわけですが、こういった Unity の機能に大きく依存するようなものは、まず Unity 上で作ってみて、単体で動くのを確認してから Beat Saber に移植していく…、といった手順をとることが多いです。いきなり Beat Saber mod の形で作り始めると、テストが大変ですからね…。

まず、Quest Pro でパススルー映像を映すだけのアプリを作ってみようと思いました。基本的には下記記事をベースにすればできました。ただし、下記は Quest 上ので動くアプリを作る手順なので、そのあたりは無視して PC 用で動く設定にしてます。

(frame embed)

上でも書きましたが、当初は尋常ではなく動作が重い、遅延も大きい、という状態で、なにか設定かプログラムが間違っているのでは、と悩みましたが、これは Air Link (無線) を使わず、有線 Link にすると解決しました。Air Link + パススルーの組み合わせのときに起こる問題のようですね…。Air Link のビットレートを上げてみても変化はありませんでした。