最近ではIoT(Internet of Things)という言葉は珍しくなくなり、いつの間にか身の回りにIoTデバイスがあふれている。2020年までに約530億のデバイスがインターネットに接続され、世界的な市場は200兆円規模にまで成長すると予想されている。これらのデバイスを直接あるいは間接的に利用する多くは人である。人をIoTを介して結ぶようになると、人のインターネット「IoH(Internet of Humans)」に展開していくことは必然と考えられる。これと呼応してスマホや携帯電話に搭載されたGPSや加速度センサなどの各種デバイス、腕時計などに埋め込まれた活動量計や心拍計など人が用いるセンサの開発も急成長しており、ヘルスケアや医療IoT(Internet of Medical Things:IoMT)市場は世界45兆円超と予想されている。IoHはウェアラブルセンサや健康アプリケーション、さらにはソーシャルメディアなどに由来するビッグデータから構成される広大なサイバースペースである。IoHの中で人の行動や感情・思考を分析することは、「こころの健康増進」や疾病予防だけにとどまらず、無意識の消費行動・心理を活用したニューロ・マーケティングやさまざまな生活支援・働き方改革・生産性の向上などにも役立ち、新たな人の流れや産業を創造する可能性がある。
目次
【第I編 総論】
第1章 感情,思考分析とAI技術
1 Microsoft Azure Cognitive Servicesが提供する“既成MLモデル”による分析
2 Cognitive Services採用事例における利用シーン,活用の実態
3 “MLモデル分析”+実装要件を内包するCognitive Servicesの進化,展開
4 「AIの民主化」がもたらしたビジネスモデルへの影響
5 個人情報としてのセンシング情報利用における考慮点
6 [付録]Microsoft Azure Cognitive Services以外のマイクロソフトのセンシング技術
第2章 感情の表情表出
1 感情の定義
2 表情の定義と表出の仕組み
2.1 顔と表情
2.2 表出の仕組み
3 伝統的基本感情理論に基づく表情研究
3.1 基本感情と基本表情
3.2 表情の測定法:FACS
4 感情と表情の新しい理論
4.1 コア・アフェクト説
4.2 コンポーネント・プロセスモデル
5 今後の研究課題
第3章 感情の音声表出
1 音声が伝える情報
2 感情の音声表出の起源
2.1 感情の音声表出の進化的起源
2.2 乳幼児の発達過程
3 感情の音声表出の種類
4 感情の音声表出のセンシング
5 感情に関連する音響的特徴
5.1 不随意的な感情表出
5.2 随意的な感情表出
第4章 情動と眼球運動
1 眼球運動の基本的性質
2 情動と眼球運動
2.1 LEM(Lateral eye movement)研究
2.2 認知活動に与えられる情動的情報と眼球運動
2.3 抽象化された課題の眼球運動
2.4 抽象化された実験課題で見られる情動的情報と眼球運動の関係
3 まとめ
第5章 情動と自律神経系反応
1 情動とは
1.1 情動と感情
1.2 情動の種類と発達
1.3 情動の理論と脳の重要性
2 情動の仕組みと身体反応
3 自律神経系の構造と機能
3.1 自律神経系の全般的特徴
3.2 交感神経系の働き
3.3 副交感神経系の働き
3.4 自律神経系の自発性活動
3.5 自律神経系の神経伝達物質とその受容体
4 自律神経機能に現れる情動反応
4.1 ストレスの仕組み
4.2 各種ストレスや感覚刺激の自律神経機能に及ぼす影響
第6章 感情状態と脳波
1 感情状態
2 脳波
3 前頭部脳波活動の非対称性
4 α波活動のゆらぎ
5 マイクロステート分析
【第II編 計測・解析】
<身体的変化に基づく感情・思考センシング>
第1章 人の状態を認識する画像センシング技術「OKAO® Vision」
1 顔画像センシング
1.1 顔検出技術
1.2 顔器官検出技術
2 ドライバ状態推定
2.1 運転集中度センシングの指標
2.2 運転集中度センシングの入力情報
2.3 運転集中度センシングの構成
2.4 運転集中度センシングの学習と評価
第2章 感情認識AIによる動画分析サービス「心sensor」
1 はじめに
2 CACの感情認識AI
3 動画分析サービス「心sensor」
4 報道番組での活用
5 テレビCMでの活用
6 教育現場での活用
7 表情トレーニングへの応用
8 自動車ドライバーの感情を分析
9 おわりに
第3章 音声分析による感情推定と音声感情認識ST(Sensibility Technology)
1 STの歴史
1.1 感情の数
1.2 感情のメカニズム
1.3 音声と感情
2 STの構造
2.1 STで使われた基本周波数の推定
2.2 学習データの取得
2.3 音声感情認識の構造
2.4 認識性能の主観による比較確認
2.5 認識性能の主観による脳および生理での確認
2.6 認識性能の行動観察による確認
3 まとめ
第4章 発話者の覚醒度評価のための音声信号分析技術
1 はじめに:カオス論的発話音声分析技術
2 研究開発の経緯と成果としてのカオス論的特徴量の性質
3 音声資源コンソーシアムの音声データ分析成果
4 覚醒度を評価することの意義など
第5章 人の姿勢による感情判断
1 姿勢における感情判断の分析法と感情判断推定法の研究について
2 立位・着座姿勢の測定デバイスと測定方法
2.1 圧力センサ
2.2 加速度センサ
2.3 モーション・キャプチャー・システム
2.4 Kinect
2.5 カメラ(機械学習による画像処理利用)
3 姿勢における感情判断の分析
3.1 心理量による分析
3.2 センサによる物理量
4 姿勢における感情判断分析・モデル構築法の例
4.1 既往研究手法
4.2 線形モデルを用いた姿勢の感情判断の分析・モデル化への適用例
4.3 現段階での最新アプローチ
第6章 視線計測技術
1 まえがき
2 眼球運動とアイトラッキング
3 アイトラッキングという技術
4 アイトラッキングによる「ユーザビリティ調査」と「技能伝承」
5 アイトラッキングを活用した「視線入力」
6 おわりに
第7章 角膜表面反射光および瞳孔径の計測・解析技術
1 人の目の構造と幾何モデル
2 角膜表面反射光の計測と解析
2.1 応用例
3 瞳孔径の計測と解析・人の内部状態推定への応用
3.1 視覚操作タスクでの瞳孔反応を用いたタスク難易度推定
4 まとめ
<自律神経系活動変化に基づく感情・思考センシング>
第8章 精神性発汗のメカニズムと換気カプセル型発汗計の開発
1 発汗の仕組み
2 コリン作動性交感神経支配
3 精神性発汗
4 精神性発汗の中枢機構
5 我々が開発した手掌部発汗量連続記録装置の概略
6 手掌部発汗量と手掌部発汗現象の同時記録装置の開発
7 ヒトの手掌部発汗現象におけるかまえ反応と順応現象
8 発汗計開発の歩みと保険適用
第9章 動画像による非接触心拍計測とストレス・情動の推定
1 5バンドカメラを用いた非接触心拍計測法(従来法)
1.1 撮影環境
1.2 関心領域の決定
1.3 信号取得と前処理
1.4 時間軸の独立成分分析
1.5 ピーク検出
1.6 精度検証
1.7 心拍変動スペクトログラム
2 RGBカメラを用いた色素成分分離に基づく非接触心拍計測法(提案法)
2.1 色素成分分離手法
2.2 空間軸の独立成分分析
2.3 顔画像に対する色素成分分離
2.4 脈波検出方法
3 実験(RGBカメラを用いた提案法の有効性の検証)
3.1 実験手法
3.2 実験結果
3.3 考察
4 情動(感情)のモニタリング
4.1 実験
4.2 実験結果
4.3 まとめと今後の課題
第10章 ビデオカメラによる遠隔非接触的自律神経・血圧情報モニタリング
1 はじめに
2 映像脈波抽出システム
2.1 映像脈波抽出の原理
2.2 映像脈波抽出システムの構成
2.3 映像信号入力
2.4 自動的ROI設定と追尾
2.5 映像脈波抽出
2.6 血行状態表示
2.7 自律神経指標・血圧相関値算出
3 実施例
4 今後の展開
第11章 顔面皮膚血流による情動センシング―味覚に伴う情動を中心に―
1 はじめに
2 FBFの計測法について
3 味覚に伴う情動に対する顔面皮膚血流の応答
4 温度と痛みの刺激に伴うFBFの応答
5 FBFの応答の生理メカニズム
6 今後の課題と発展に向けて
第12章 近赤外分光法による光感性計測
1 まえがき
2 感性近赤外光解析法(ENIAS)
3 新規提案手法による感情の認識実験
3.1 実験条件
3.2 実験手順
3.3 実験結果
4 従来手法との比較
5 意思伝達システムとしてのENIASの可能性
6 総括
第13章 脳波のフラクタル性を用いた嗅覚・味覚の感性評価
1 まえがき
2 フラクタル次元推定手法
2.1 分散のスケーリング特性を用いたフラクタル次元推定法
2.2 時間依存型フラクタル次元解析
3 感性フラクタル解析法
4 実験方法
4.1 プロトコル
4.2 感性の教師データの取得
4.3 被験者
4.4 使用機器
5 解析結果および考察
5.1 独立成分分析を用いた筋電成分除去
5.2 感性解析
5.3 感性変動率
5.4 飲料の総合評価
5.5 被験者の選定
5.6 解析結果
6 まとめと今後の課題
付録
第14章 リアルタイム感性評価と実応用～性アナライザを用いた取り組み
1 はじめに
2 脳波計測とノイズ除去
2.1 脳波計測
2.2 脳波計測における課題
2.3 ノイズ除去について
3 感性のリアルタイム取得と感性アナライザ
4 感性アナライザによる応用事例
4.1 ピジョン株式会社
4.2 アサヒ飲料株式会社
4.3 ブリヂストンタイヤジャパン株式会社
4.4 アルパイン株式会社
5 おわりに
<マルチモーダル・センシング>
第15章 言語・音声・顔表情・脳波を総合利用した感情測定システム
1 はじめに
2 感情推定
2.1 言語からの感情推定手法
2.2 顔表情からの感情推定手法
2.3 音声からの感情推定手法
2.4 生体情報からの感情推定手法
3 人型ロボットを用いた感情推定の研究と今後の展望
4 おわりに
第16章 マルチモーダル感情分析システムとその応用
1 マルチモーダル感情分析システム開発に取り組み始めた背景
2 機械対話(EverestTM,喫煙先生TM,iSTTM)
2.1 EverestTM
2.2 喫煙先生TM
2.3 iSTTM
3 感情分析による個人・組織評価(EmotionMeasureTM,ロボット対話)
3.1 EmotionMeasureTM
3.2 ロボット対話
4 感情分析によるコミュニケーション活性化(MeeTroTM)
5 マルチモーダルの課題と展望
第17章 ロボットの生理現象表現を用いた内部状態の伝達とコミュニケーションへの応用
1 ロボットの生理表現とは
2 ロボットの皮膚上に現れる生理表現
3 ロボット体内の生命維持にかかわる生理表現
4 まとめ
