vTuber向け超簡易配信Webサービスを作りたい

vTuber 向けの、超お手軽動画配信サービスを作りたい。

作るにあたって、開発にはなるべくお金をかけずに、python とか使わずなんとかしたい。

とはいえ、いかんせん自分もここらへんの知識については本当に乏しい人間なので。

現時点で『これなら実現できるんちゃうの？』と思っていることを、ただただ書き連ねておこうと思った次第。

目標

誰でも簡単に vTuber になれて、リアルタイム動画配信ができるようにする。

npm パッケージ

多分この 3 つでいける、はず。

• skyway-js
• TensorFlow.js
• @pixiv/three-vrm

フロー

1. TensorFlow.js でフェイストラッキングとモーショントラッキングする
2. vrm ファイルとトラッキングから取得した値を @pixiv/three-vrm に反映する
3. 画面を適当なブラウザウィンドウに表示し、skyway-js でウィンドウキャプチャを取得する

トラッキングした値を変換し、@pixiv/three-vrm に読み込ませることができたら勝ち確。

ただ、PC への負荷がものすごいことになりそうな予感…。

もし仮に諸々全てがうまくいった場合、skyway-js の上限に引っかからない限り無料の範囲で開発できる想定。

また、配信する側については Web カメラとマイクさえあれば、いつでも配信できる状態に持っていける。