マルチモーダル感情分析チャレンジ
midori225 で培った顔表情・年齢・感情推定を土台に、音声トーンとジェスチャを足し合わせて 感情推定を多面的に補強するテストベッドです。下のシナリオを切り替えて、各モダリティがどれだけ 最終推定に寄与しているかを比較できます。
検知対象の切り替え
居眠り・走行・危険物の検知をワンタップで切り替えられるモジュールです。
セーフティモニタと連動し、オンになっている検知のみが subjectId ごとにアラートと映像クリップを記録します。
初期状態ではすべて無効になっているため、必要な項目だけをオンにしてください。
検知が成立する条件:
- 居眠り監視: 顔ランドマークが取得でき、眼開度・頭部前傾・モーションが閾値を超えて 2.2 秒以上継続。
- 走行検知: MoveNet が人物をトラッキングし、移動量・ステップ強度・腕振り指標が 0.9 秒以上同時に高値を維持。
- 危険物検知: coco-ssd が「knife / scissors」などを検出し、そのバウンディングボックスが人物の追跡領域に重なる。
今回の観測メモ
- ライブ統合モニタでは顔・音声・ジェスチャを同時に解析し、セーフティモニタのトグル状態に応じてアラートを生成します。
- 走行検知・危険物検知でアラートが発生すると、設定に応じて対応する subjectId に紐づいた動画クリップを保存できます。
- セーフティモニタを停止中でも、検知対象トグルは設定内容を保持したままです。
- 映像や音声は各モジュールの開始・停止ボタンで個別に制御できます。
midori304 Hybrid Engine - ライブマルチモーダル解析
midori225 をベースに再設計した midori304 コアが、顔モダリティをライブ解析します。 ここで得られる年齢・感情のシグナルを音声トーンやジェスチャと融合し、 モダリティ間の重み付けを検証できるようにしました。
📹 入力ソース
😄 midori304 感情推定
🛡️ セーフティモニタ
居眠り・走行・危険物の検知をワンタップで切り替えできるモジュールです。
監視したい項目だけをオンにすると、対象 ID ごとにアラートとクリップが記録されます。
アラート履歴
🎙️ 音声トーン
Fallback「音声解析を開始」を押すとライブ計測に切り替わります。不要になったら停止してください。
🕹️ ジェスチャ
Fallback手順: カメラパネルの「開始」で映像を有効化 → 解析が始まるとダッシュボードが更新されます。音声解析が必要な場合は 「音声解析を開始」を押してください。停止したいときは各パネルの「停止」やボタンで制御できます。
モダリティ重みとフォールバックの調整
midori304 では顔・音声・ジェスチャを個別に重み付けし、最終感情スコアを合成します。 下のスライダーで重みを調整し、ライブ信号が未取得の際に利用するフォールバック値も設定できます。
Face 45% / Voice 30% / Gesture 25% | Voice 0.35 (Fallback) | Gesture 0.40 (Fallback)
モダリティ別スコア
笑顔・眉・視線の指標がここに表示されます。
基本周波数や音量ピークの情報がここに表示されます。
手の開閉や速度・姿勢の指標がここに表示されます。
シナリオ概要
選択したシナリオの状況説明がここに入ります。
合成スコア: -
コメント: -
年齢・性別の表示は推定値であり、誤差を含みます。意思決定に利用する際は必ず人による確認を行ってください。