はじめに：デジタルヒューマン技術が拓く新しい可能性
デジタルヒューマン技術は、3DCGとAI技術の融合により、実在する人物の外見・声・動きを高精度に再現する技術である。近年では、故人のデジタル復元や、歴史的人物の再現など、エンターテインメントを超えた活用が進んでいる。
本記事では、2021年から2024年にかけて取り組まれた、ある著名俳優のデジタルヒューマン制作およびAI音声復元プロジェクトについて取材した内容を紹介する。このプロジェクトは2024年に大手電機メーカーのテレビCMとして放映され、業界で高い評価を受けた。
技術的な挑戦と倫理的な配慮の両面から、プロジェクトの全貌を解説する。
プロジェクトの背景と目的
このプロジェクトは、すでに他界された著名俳優の存在感を、最新のAI技術とCG技術で現代に蘇らせることを目的として始動した。大手電機メーカーの新製品プロモーションにおいて、「時代を超える品質」というコンセプトのもと企画された。
取材によると、プロジェクトの要件は以下の通りであった。
- 視覚面：著名俳優の外見を4K解像度で忠実に再現するデジタルヒューマンの制作
- 音声面：残存する音声データからAIによる音声合成モデルを構築し、新規のセリフを生成
- 動作面：俳優特有の身振りや表情の癖を再現するモーション生成
- 品質基準：遺族および関係者が「本人に見える・聞こえる」と承認する品質
プロジェクト期間は2021年の技術検証フェーズから、2024年のCM放映まで約3年間に及んだ。
AI音声復元の技術的アプローチ
音声復元は本プロジェクトの最大の技術的挑戦であった。使用可能な音源は、映画出演作品やテレビ出演時の音声など、合計約8時間分に限られていた。
データ前処理パイプライン
まず、既存音源から高品質な学習データを抽出するパイプラインを構築した。
- 音源収集と権利確認：出演作品のマスター音源を権利者から正式に許諾を得て収集（42作品分）
- 音声分離：BGMや効果音が混在する音源から、音声のみを分離（Demucs v3を活用）
- ノイズ除去：収録環境の違いによるノイズを統一的に処理（カスタムフィルタリング）
- セグメンテーション：発話単位での自動分割と、手動による品質チェック（最終的に約4,200セグメント）
- アノテーション：音素レベルのアライメントと、感情ラベルの付与
最終的に、学習に使用可能な高品質セグメントは約5.2時間分であった。
PyTorchによる日本語音声合成モデルの開発
支援した企業では、PyTorchをベースに日本語音声合成モデルをゼロから設計した。既存のTTS（Text-to-Speech）モデルをそのまま適用するのではなく、以下の理由から独自アーキテクチャを採用した。
- 少量データでの高品質合成：8時間以下の音声データで個人の声質を再現する必要があった
- 日本語特有の韻律：ピッチアクセントやモーラタイミングの正確な制御が求められた
- 感情表現の制御：同じセリフでも感情に応じた声質変化を制御可能にする必要があった
モデルアーキテクチャは、以下の3段構成とした。
1
2
3
[テキスト入力] → [言語特徴量抽出] → [韻律予測モデル] → [音響モデル] → [ニューラルボコーダ] → [音声波形]
↑ ↑
[感情制御パラメータ] [話者埋め込みベクトル]
言語特徴量抽出モジュールでは、日本語テキストから音素列、アクセント型、品詞情報を抽出し、Transformer Encoderで特徴量化した。Open JTalkをベースにカスタム辞書を追加し、俳優が使用していた時代特有の言い回しにも対応した。
韻律予測モデルでは、Variance Adaptorアーキテクチャを拡張し、ピッチ・デュレーション・エネルギーに加え、ブレス位置とポーズ長の予測機能を追加した。著名俳優特有の「間」の取り方を再現するため、ポーズモデルに特に注力した。
ニューラルボコーダには、HiFi-GANをベースにファインチューニングしたモデルを使用。サンプリングレート48kHzでの高音質生成を実現した。
学習プロセスと品質評価
モデルの学習は、以下の段階的アプローチで実施した。
- 事前学習：日本語話者100名・合計500時間のコーパスで基盤モデルを学習（約2週間、A100 GPU×4）
- 話者適応：著名俳優の音声データでファインチューニング（約3日間）
- 感情適応：感情ラベル付きデータで感情制御モジュールを追加学習（約1日間）
品質評価には、以下の指標を使用した。
| 評価指標 | 目標値 | 達成値 |
|---|---|---|
| MOS（平均オピニオンスコア） | 4.0以上 | 4.3 |
| 話者類似度（cosine similarity） | 0.85以上 | 0.91 |
| 感情認識正答率 | 80%以上 | 87% |
| 自然性評価（5段階） | 4.0以上 | 4.2 |
特に話者類似度0.91は、人間の評価者が「本人の声と区別が困難」と判断するレベルであった。
デジタルヒューマンの視覚表現
音声と並行して、視覚面のデジタルヒューマン制作も進められた。
3Dモデリングと表情再現
写真・映像資料から3Dモデルを構築するにあたり、以下の技術を組み合わせた。
- フォトグラメトリ：残存する多角度写真からの3D形状推定
- GANベースの正面化：側面や斜めからの写真を正面に変換して補完
- 4Dフェイシャルキャプチャ：代役の俳優の表情データをベースに、著名俳優の顔形状にリターゲティング
- 皮膚のサブサーフェスレンダリング：肌の質感を物理ベースで再現
表情のFACS（Facial Action Coding System）パラメータは68個を使用し、微細な表情変化まで再現可能とした。
リップシンク同期
AI音声との同期（リップシンク）は、音素レベルでの口形状制御で実現した。日本語の50音に対応するビゼーム（viseme）を22パターン定義し、音声波形から自動で口形状アニメーションを生成するシステムを構築した。同期精度は16msフレーム単位で、人間が違和感を感じない水準を達成した。
倫理面の配慮と承認プロセス
デジタルヒューマンプロジェクト、特に故人の復元においては、技術的な品質と同等以上に倫理面の配慮が重要である。
遺族との合意形成
取材によると、プロジェクト開始前から遺族との綿密なコミュニケーションを行い、以下の合意を文書化した。
- 使用目的の限定：CM制作のみに使用し、他の目的への転用は禁止
- 品質承認プロセス：すべてのアウトプットは遺族の最終承認を得る
- 生成モデルの管理：学習済みモデルの保管と廃棄に関するルールの策定
- 報酬と権利：デジタルヒューマンの肖像権に関する取り決め
業界ガイドラインの策定への貢献
本プロジェクトの経験を通じて、支援した企業ではデジタルヒューマン制作における倫理ガイドラインの策定にも貢献した。主なポイントは以下の通りである。
- インフォームドコンセントの原則：故人の場合は遺族・権利管理者からの明示的な同意を必須とする
- なりすまし防止：デジタルヒューマンであることの表示義務
- データの安全管理：音声モデルや3Dモデルの不正利用防止措置
- 文化的配慮：故人の尊厳を損なう表現の禁止
技術的な安全策
倫理的な配慮を技術面で担保するため、以下の安全策を実装した。
- 電子透かし（ウォーターマーク）：生成された音声と映像に不可聴・不可視の電子透かしを埋め込み、出元を特定可能にした
- アクセス制御：学習済みモデルへのアクセスは厳格に管理し、操作ログを全記録
- 利用期限の設定：CM放映期間終了後のモデル利用制限
2024年CM放映と業界からの評価
2024年に大手電機メーカーの製品CMとして放映された本作品は、以下の評価を獲得した。
- 広告業界の主要アワードで技術革新部門を受賞
- 視聴者調査では、92%が「映像に違和感がない」と回答
- SNS分析では、放映後48時間で関連投稿が約28万件に達し、ポジティブ感情の割合は78%
- 業界メディアで「AI技術と人間の記憶の融合における新たなマイルストーン」と評価
一方で、「故人をAIで蘇らせることへの是非」に関する議論も活発化し、技術の進歩と倫理のバランスについて社会的な対話が促進された。
技術の発展可能性と課題
本プロジェクトを通じて見えてきた、デジタルヒューマン技術の今後の発展可能性と課題を整理する。
発展可能性
- 歴史上の偉人による教育コンテンツの制作
- 高齢者が若い頃の姿で家族と対話するサービス
- 多言語対応により、一人の話者が複数言語で話すコンテンツ制作
- バーチャルコンシェルジュなど接客領域への応用
残された課題
- リアルタイム生成の実現（現状はオフライン処理に3〜5倍の時間が必要）
- さらなる少量データでの高品質合成（現状の5時間から1時間以下への削減）
- 国際的な法整備と倫理フレームワークの統一
- ディープフェイク検出技術との技術的な軍拡競争への対応
まとめ：技術と倫理の両立が生む新たな価値
本プロジェクトは、AI音声復元技術とデジタルヒューマン技術の到達点を示すとともに、技術開発における倫理的配慮の重要性を改めて示した事例である。
技術面では、PyTorchベースの独自音声合成モデルにより、わずか5.2時間の音声データからMOS 4.3、話者類似度0.91という高品質な音声復元を実現した。これは、故人の音声復元という極めて難易度の高い課題に対する、実用レベルの解決策を示したものである。
倫理面では、遺族との合意形成プロセス、技術的な安全策の実装、業界ガイドラインへの貢献を通じて、「責任あるAI活用」の実践モデルを提示した。
取材を通じて強く感じたのは、デジタルヒューマン技術は「人の記憶と感情に触れる技術」であるということだ。だからこそ、技術的な卓越性と倫理的な慎重さの両立が不可欠であり、本プロジェクトはその両立に真摯に取り組んだ好例といえる。今後、同様のプロジェクトに取り組む企業にとって、本事例が指針となることを願う。