北大発認定ベンチャー株式会社ミルウスは、横浜国立大学らと共同開発したAI感情推定モデルを用いて、手術中の医師の感情を心電センサとAIを用いて可視化するシステムの開発を行い、センサを装着した医師の手術中の感情を可視化可能なことを確認しました。これにより、熟練医師でも緊張するシーンの抽出などで、研修医の教育等に有効な情報の抽出が可能となります。今後、性能評価を重ね、感情変化の客観データ取得による、重要業務従事者の働き方改革への活用を目指します。

背景
感情は人々のパフォーマンスを左右する重要な指標です。例えばスポーツ選手の成果は感情に大きく左右すると言われています。とりわけ命を預かる手術中の医師の感情を可視化することは重要であり、経験豊富な医師が、術中の各ステージで、どのように感情をコントロールしているかは、研修医の教育などに非常に有効となります。今回、北海道のノーステック財団「医療機関ニーズ型開発補助事業」として、AIによる手術中の医師の感情推定実験を行いました。

手術医師用AI感情可視化システム
今回実験に用いたシステムは胸に貼り付ける心電センサとAI解析および可視化を実行するWindows パソコン(PC)のアプリから構成され、医師や専門家が、手術中に記録した術野の動画と、その時点の喜怒哀楽といった感情の動きをラッセルの感情円環図上に表示します。また、感情の起伏、覚醒度、快適度等を時系列で表示し、カーソルを移動させることにより、希望のタイミングの感情を1分単位で表示できます。これにより、経験豊富な医師でも緊張する手術のステージを把握できます。本システムを用い、より多くの医師のデータを集めることにより、これまで主観の共有で積み重ねられていたノウハウに加え、熟練医師の感情コントロールを客観的なデータとして蓄積し、研修医の教育に活用する等の応用が期待できます。下図1の例では、手術開始時点では比較的落ち着いた黄色が主体ですが、後半の術野が脳内に至る佳境段階では緊張を表すオレンジ色が増えているのが見てとれます。また、感情の強度も強弱を繰り返しており、緊張時では、その間隔が短くなっています。今後、心理学の専門家にも協力していただき、データの積み重ねと共に、心理的側面からの分析を進めます。