はじめに：建設業界の自動化を支えるシミュレーション技術
建設業界は、深刻な人手不足と高齢化に直面している。国土交通省の統計によれば、建設技能労働者の約35%が55歳以上であり、若年入職者の減少により、2030年には約90万人の人材不足が見込まれている。こうした背景から、建設機械（建機）の自動操縦技術への期待は年々高まっている。
しかし、実機での検証には高額なコスト、安全リスク、天候・現場条件による制約が伴う。これらの課題を解決するのが、高精度なシミュレーション環境である。
本記事では、大手精密機器メーカーと連携し、2019年から2023年にかけて取り組んだ建機自動操縦シミュレーション開発プロジェクトの全貌を紹介する。東大XRセンターでのアドバイザー経験（2019年）を活かしたXR技術の統合についても解説する。
プロジェクトの全体像：5年間の取り組み
取材によると、5年間のプロジェクトは大きく3つのフェーズに分かれる。
| フェーズ | 期間 | 主要テーマ |
|---|---|---|
| フェーズ1 | 2019-2020年 | 製品ミドルウェア化とセンサーシミュレーション基盤構築 |
| フェーズ2 | 2021-2022年 | 建機自動操縦シミュレーションの開発 |
| フェーズ3 | 2023年 | XR技術との統合と次世代プラットフォーム構想 |
プロジェクト全体で関与したエンジニアは延べ約40名、総開発工数は約180人月に達した。
フェーズ1：製品ミドルウェア化（2019-2020年）
大手精密機器メーカーの測量・計測技術のソフトウェア化
大手精密機器メーカーは、高精度な光学機器・計測機器で世界的に知られる企業である。同社の測量・計測技術は物理的なハードウェアとして提供されていたが、ソフトウェアシミュレーション内での活用を可能にするため、ミドルウェア化のプロジェクトが始動した。
支援した企業では、以下の技術要素をミドルウェアとして抽象化した。
3Dスキャニングエンジンのソフトウェア化
- LiDARセンサーの挙動をソフトウェアで再現する物理シミュレーションモデルの構築
- 反射強度、ビームの拡散、マルチパス反射など、実際のセンサー特性を忠実にモデリング
- シミュレーション内で仮想的なポイントクラウドを生成する機能の実装
カメラシステムのシミュレーション
- レンズ歪み、被写界深度、モーションブラーなどの光学特性を物理ベースでシミュレート
- 異なる照明条件（日照角度、天候、夜間）での見え方の再現
- ステレオカメラによる距離推定のシミュレーション
SDK設計のポイント
ミドルウェア化にあたり、以下の設計方針を採用した。
1
2
3
4
5
6
7
8
9
10
11
12
[アプリケーション層]
↓ API呼び出し
[ミドルウェアSDK]
├── センサーシミュレーションAPI
├── 座標変換API
├── ポイントクラウド処理API
└── デバイスエミュレーションAPI
↓
[物理シミュレーションエンジン]
├── レイトレーシングエンジン
├── 物理演算エンジン
└── 環境モデル
API設計では、実機のSDKとインターフェースを統一し、シミュレーション環境で開発したコードを実機にそのまま移植できるようにした。これにより、実機テスト前のソフトウェア検証が大幅に効率化された。
大手自動車メーカー向けセンサーシミュレーション
ミドルウェアの応用事例として、大手自動車メーカー向けにADAS（先進運転支援システム）のセンサーシミュレーション環境を構築した。
- 対象センサー：前方カメラ、ミリ波レーダー、LiDAR、超音波センサー
- シミュレーション規模：高速道路・市街地・駐車場の3シナリオ、合計約500テストケース
- 成果：実車テストの約40%をシミュレーションで代替し、開発サイクルを3ヶ月短縮
フェーズ2：建機自動操縦シミュレーション（2021-2022年）
建設現場のデジタルツイン構築
建機自動操縦の開発には、建設現場を高精度に再現したデジタルツイン環境が不可欠である。支援した企業では、以下の要素で構成される建設現場シミュレーターを開発した。
地形モデリング
- 実際の建設現場のドローン測量データ（オルソ画像+DSM）を元にした3D地形モデルの自動生成
- 土砂の切削・盛土のリアルタイムシミュレーション（有限要素法ベース）
- 含水率・硬度など土質パラメータの設定機能
建機の物理モデル
- 油圧ショベル、ブルドーザー、ダンプトラックの3機種を物理モデル化
- 関節トルク、油圧系統、エンジン出力特性を実機データに基づいて再現
- 接地面の滑り、傾斜地での転倒リスクなど安全性シミュレーション
環境条件のシミュレーション
- 気象条件（降雨、霧、強風）の再現と、それによるセンサー性能への影響
- 日照条件の変化によるカメラ映像への影響
- 粉塵・泥はねなどの汚染によるセンサー性能劣化のモデリング
自動操縦アルゴリズムの検証
シミュレーション環境上で、以下の自動操縦アルゴリズムの開発・検証を実施した。
経路計画アルゴリズム
- 工事計画（切土量・盛土量の配分計画）から最適な建機の移動経路を自動生成
- 複数台の建機が同時稼働する際の干渉回避計画
- 作業効率と安全性のバランスを考慮したマルチオブジェクティブ最適化
自律制御アルゴリズム
- RTK-GNSS（高精度測位）とIMU（慣性計測装置）を組み合わせた自己位置推定
- ポイントクラウドベースの障害物検知と回避
- 掘削深度のリアルタイム制御（目標面との誤差±3cm以内）
安全性検証
- 約10,000パターンのシナリオテスト（通常操作5,000 + 異常系5,000）
- 作業員の不意な侵入を模擬した緊急停止テスト
- センサー故障時のフェイルセーフ挙動の検証
シミュレーション精度の検証
シミュレーションの信頼性を担保するため、実機との比較検証を徹底した。
| 検証項目 | シミュレーション | 実機 | 誤差率 |
|---|---|---|---|
| 掘削位置精度 | ±2.8cm | ±3.1cm | 9.7% |
| 走行軌跡の再現性 | - | - | 誤差5cm以内 |
| 作業サイクルタイム | 42.3秒 | 44.1秒 | 4.1% |
| 燃料消費量 | 12.4L/h | 13.1L/h | 5.3% |
| 緊急停止距離 | 1.82m | 1.89m | 3.7% |
いずれの項目も実用上十分な精度（誤差10%以内）を達成し、シミュレーション結果が実機の挙動を適切に予測できることを確認した。
フェーズ3：XR技術との統合（2023年）
東大XRセンターでのアドバイザー経験の活用
2019年に東大XRセンターのアドバイザーとして関わった経験が、本フェーズの設計に活かされた。取材によると、XRセンターでの研究知見、特に「空間コンピューティングにおけるリアルタイムレンダリングと物理シミュレーションの統合」に関する知見が、建機シミュレーションのXR化に直接応用された。
VR操縦訓練システムの開発
建機オペレーターの訓練を目的としたVRシミュレーターを開発した。
ハードウェア構成
- VRヘッドセット：Meta Quest Pro（解像度と装着感のバランスから選定）
- モーションプラットフォーム：3DoFモーションベースで建機の振動・傾斜を再現
- 操作デバイス：実際の建機と同じレバー・ペダル配置のカスタムコントローラー
ソフトウェア機能
- フェーズ2で構築したシミュレーション環境をリアルタイムVRレンダリングに最適化
- 初心者向けのチュートリアルモードと、熟練者向けのフリー操作モード
- 操作の正確性・効率性をリアルタイムでスコアリングするフィードバック機能
- 危険な操作（転倒リスクのある傾斜地での作業等）を体験させるシナリオ
訓練効果の測定
VR訓練システムの効果を、従来の座学+実機訓練と比較した。
| 評価項目 | 従来訓練 | VR訓練併用 | 改善 |
|---|---|---|---|
| 基本操作習得時間 | 40時間 | 28時間 | 30%短縮 |
| 安全意識テストスコア | 72点 | 86点 | +14点 |
| 実機テスト合格率 | 68% | 82% | +14ポイント |
| 訓練中のインシデント件数 | 2.3件/人 | 0.4件/人 | 83%減少 |
特にVR訓練では、実機では再現が困難な危険シナリオを安全に体験できる点が、安全意識の向上に大きく寄与した。
AR遠隔監視システムの開発
自動操縦建機の遠隔監視を支援するARシステムも開発した。
- 現場のカメラ映像にARオーバーレイで建機の状態情報（速度、積載量、バッテリー残量等）を表示
- 計画された作業範囲と実際の進捗を3Dで可視化
- 異常検知時にAR上でアラートを表示し、オペレーターの迅速な判断を支援
- 複数台の建機の稼働状況を一画面で俯瞰できるダッシュボードビュー
技術的チャレンジと解決策
チャレンジ1：リアルタイム物理シミュレーションの高速化
建機の自動操縦シミュレーションでは、物理演算のリアルタイム性が求められる。特に土砂の変形シミュレーションは計算コストが高い。
解決策
- MPM（Material Point Method）からSPH（Smoothed Particle Hydrodynamics）への切り替えにより、GPU並列化を実現
- LOD（Level of Detail）の動的制御：建機近傍は高精度、遠方は低精度でシミュレーション
- 結果として、リアルタイム性（60fps以上）を維持しつつ、十分な精度を確保
チャレンジ2：シミュレーションと実機のドメインギャップ
シミュレーション環境で学習した制御モデルを実機に適用すると、ドメインギャップにより性能が低下する「sim-to-real問題」が発生した。
解決策
- ドメインランダマイゼーション：地形パラメータ、センサーノイズ、環境条件をランダムに変動させて学習の汎化性を向上
- 実機データによる少量ファインチューニング：シミュレーションで事前学習後、実機の100時間分のデータで追加学習
- 結果として、sim-to-real転移後の性能低下を15%から3%以内に抑制
チャレンジ3：VRの酔い（VR sickness）対策
建機の振動や傾斜を再現するVRシミュレーターでは、VR酔いが深刻な課題であった。
解決策
- 視覚と前庭感覚の不一致を最小化するレンダリング最適化（レイテンシ20ms以下を維持）
- 段階的な強度調整（初回は穏やかな動きから開始し、徐々に実機に近い挙動に移行）
- 連続使用時間の制限（30分ごとの休憩を推奨するアラート機能）
- 結果として、VR酔いの報告率を初期の42%から8%に低減
5年間の投資対効果
取材によると、5年間のプロジェクト全体での投資対効果は以下の通りである。
定量的成果
- 実機テスト回数の52%削減（年間約120回→58回）
- テスト1回あたりのコスト：実機480万円 → シミュレーション35万円（93%削減）
- 開発サイクルの短縮：18ヶ月→11ヶ月（39%短縮）
- 安全インシデントの80%減少
定性的成果
- シミュレーション基盤が社内標準ツールとして定着
- 他部門（農業機械、鉱山機械）への展開が決定
- 業界カンファレンスでの発表・受賞による技術ブランドの向上
まとめ：シミュレーション開発成功のための設計原則
5年間のプロジェクトから得られた、産業用シミュレーション開発の設計原則を整理する。
第一に、「実機との一致性」を最優先指標とすべきである。 見た目の美しさよりも、物理的な正確性が産業用シミュレーションの生命線である。定期的な実機比較検証により、シミュレーションの信頼性を担保し続けることが重要である。
第二に、SDK/ミドルウェアとしての汎用設計が長期的な価値を生む。 特定のユースケースに特化したシミュレーターではなく、汎用的なミドルウェアとして設計したことで、建機から自動車、さらには他の産業機械への展開が可能となった。初期の設計判断が5年後の事業価値を左右する好例である。
第三に、XR技術は「可視化」だけでなく「体験」を提供すべきである。 VR訓練システムの成功は、単なる3D可視化ではなく、危険シナリオの安全な体験という価値を提供したことにある。XR技術の真価は、現実では得られない体験を安全に提供する点にある。
第四に、段階的な信頼性の構築が組織的な受容を促進する。 初期のPoC段階で小さな成功を積み重ね、実機比較データで有効性を証明し、徐々にシミュレーションの適用範囲を拡大するアプローチが、保守的な製造業においても受け入れられた。
建設業界の人手不足は今後さらに深刻化する。シミュレーション技術とXR技術の組み合わせにより、建機自動操縦の開発を加速し、建設現場の安全性と生産性を同時に向上させることが可能である。本事例が、同様の課題に取り組む企業の参考となることを期待する。