ーWebカメラで2Dのミクになりきろうー

顔の映像を解析して目・鼻・口などの位置を解析するFaceTrackerという技術を用いて、その情報をLive2Dで初音ミクの2D画像を動かすというエンターテインメントアプリをUnity3Dで制作しました。

FaceTrackerはOpenCVというライブラリを用いてWebカメラのライブ映像から顔を抽出していますが、OpenCVだけでは顔検出が不安定なになるので、Dlib FaceLandmark Detectorというライブラリを組み合わせて安定した顔検出を行なっています。また、唇を開くとミクが喋るようにしました。

モデルはkamiyoshiさんの初音ミクLive2Dモデルを利用させてもらいました。

3Dではなく2Dのキャラクターになりたいという思いが強い人たちがいることに触発されて制作をしました。

使用したテクノロジー：Unity3D + Live2D Cubism SDK for Unity + OpenCV for Unity + Dlib FaceLandmark Detector

展示：2017年2月11日、12日　大阪芸術大学オープンキャンパス　大阪芸術大学第１アリーナ