目次
◇第1章 生体計測するうえで抑えるべきポイント ◇
1節 生体計測をビジネスに活用する考え方と戦略
1.なぜ生体計測がビジネスに求められるのか
2.生体計測方法の概要
3.生体計測のビジネス活用の考え方・戦略
3.1 自社プロダクトの価値評価
3.2 消費者評価モデルの開発
3.3 消費者評価モデルのビジネス導入
3.4 消費者評価モデルの高度化
4.生体計測のビジネス活用における課題・注意すべき点
4.1 生体計測を目的にしない
4.2 質の高いエビデンスを獲得する
4.3 ELSI対応を厳密に行う
2節 生体信号処理の基礎とデータマイニング技術
1.はじめに
2.生体信号の種類
3.生体信号の取得
3.1 ヒトの生体信号計測上の心構え
3.2 各種生体信号計測技術
4.生体信号処理
5.データマイニング
5.1 感情の特定と選択
5.2 生体信号の選択
5.3 生体信号の処理方法の選択と解釈
5.4 生体信号を利用した感性評価の例
6.生体信号処理技術の応用
3節 人の感情等を推定する技術に関する法的問題
1.感情等推定技術とビジネスモデル
2.感情等推定技術の「危険性」
3.感情等推定技術とプライバシー権・個人情報保護法
3.1 プライバシーの権利
3.1.1 アメリカ合衆国におけるプライバシーの権利の展開
3.1.2 日本においてプライバシー権が最初に認められた裁判例
3.1.3 情報プライバシー権
3.2 個人情報保護法の成立と改正
4.ポリグラフをめぐる法律問題
4.1 問題の所在
4.2 ポリグラフとは
4.3 ポリグラフの精度
4.4 ポリグラフをめぐる裁判例
4.5 ポリグラフをめぐる学説
4.6 ポリグラフと黙秘権
4.7 伊勢市女性記者失踪事件とポリグラフ検査
4.8 小括
5.感情等推定技術とプライバシー権等との関係
5.1 感情等推定技術とプライバシー
5.2 感情等推定技術と個人情報保護法
5.3 感情等推定技術とライフログに関する総務省研究会の提言
5.4 感情等推定技術とGDPR
6.感情等推定技術の実施が許される事例と許されない事例
6.1 ゲーム機や学習ソフト等への搭載
6.2 コミュニケーションロボット
6.3 ドライバーの居眠り等防止装置
6.4 インフォームドコンセントと患者の理解度等
6.5 従業員の管理・採用
6.6 小売り店舗におけるレコメンディング
6.7 マスコミによる利用
◇第2章 感情推定のためのヒトの生理反応計測手法の種類、特徴 ◇
1節 感情推定のためのヒトの生理反応計測
1.はじめに
2.心理計測と生理計測
2.1 心理計測の長所・短所
2.2 生理計測の長所・短所
3.生理計測の原理
3.1 自律神経系活動を捉える
3.1.1 神経系の区分
3.1.2 交感神経と副交感神経
3.1.3 手法の種類
3.2 眼球運動を捉える
3.2.1 瞳孔径の測定
3.2.2 視線の動きの測定
3.2.3 まばたきの測定
3.3 表情・体動を捉える
3.4 脳活動を捉える
3.4.1 脳波
3.4.2 脳機能イメージング
4.生理計測のための実験計画
4.1 実験計画の重要性
4.2 実験計画の考慮点
4.2.1 計測順序次第で価値のあるデータにも無意味なデータにもなる
4.2.2 初回効果と最終回効果がある
4.2.3 妥当な参加者の数と内訳
4.2.4 個人差だけでなく個人内変動もある
5.まとめ
2節 ひとの生理反応に基づく製品評価手法
1.生理反応で何が分かるか？
1.1 自律神経系
1.1.1 循環器系指標
1.1.2 非循環器系指標
1.2 中枢神経系
1.2.1 事象関連電
1.3 免疫・内分泌系位
1.4 顔表情
2.評価戦略
2.1 間接的評価
2.2 個人差とデータの取り扱い
2.3 多次元評価
◇第3章 脳波計測による感情推定技術 ◇
1節 fNIRS 計測の原理と計測方法
1.計測原理
2.装置
3.脳波計測との比較
4.応用研究
2節 脳血流の計測方法とその計測データの産業応用事例
1.はじめに(ヒトを知る手段)
2.科学的なアプローチ方法
3.計測方法
4.事例紹介その1( 東日本旅客鉄道株式会社様)
5.事例その2(QUICK 様)
3節 脳波を用いた精神疲労の判別
1.実験
2.解析
2.1 心拍変動解析 (Heart Rate Variability, HRV)
2.2 脳波解析
3.結果
3.1 主観的指標
3.2 生理指標 (CFF及び心拍変動解析)
3.3 生理指標 (脳波)
4.脳波基礎律動成分と事象関連電位P300を用いた精神疲労状態の推定
◇第4章 視線や瞳孔、眼球運動の計測技術と感情計測◇
1節 アイトラッキングを使った視線の可視化技術
1.眼球運動とアイトラッキング
2.アイトラッキングという技術
3.アイトラッキングによる「ユーザビリティ調査」と「ノウハウ継承」
4.アイトラッキングを活用した「視線入力」
5.アイトラッキングによる内部状態の推定
2節 眼球運動、頭部運動と手の動きの測定装置の開発と画像評価
1.測定装置の構成
2.視線の精度の評価
2.1 視線の動きの測定
2.2 視線の測定結果
2.3 手の動きの精度評価
2.3.1 手の動きの測定法
2.3.2 手の動きの測定結果
2.4 考察
2.4.1 視線の動きの精度
2.4.2 手の動きの精度
3節 眼球運動測定を用いた消費者の商品選択過程分析
1.はじめに
2.眼球運動の測定
2.1 眼球運動の基礎
2.2 眼球運動測定装置
2.2.1 ハードウェア
2.2.2 ソフトウェア
3.消費者の意思決定理解のための眼球運動測定の必要性
4.眼球運動測定を用いた消費者行動研究例
4.1 商品選択
4.1.1 多属性意思決定
4.1.2 情報モニタリング法の方法論的検討
4.2 広告受容
◇第5章 心拍・脈波計測の製品開発への応用◇
1節 心拍変動データによる計測と人の感情の可視化技術
1.ストレス予測実験に用いたデータと特徴量
1.1 実験に用いたデータと分類ラベル
1.2 特徴量計算
2.手法
2.1 Long Short Term Memory Networks（LSTM）
2.2 Staticモデル
2.3 実験
3. 実験結果
3.1 翌日のストレス予測結果
3.2 受動的に取得できるデータのみを使用した翌日のストレス予測結果
2節 光電容積脈波法による心拍計測と体動ノイズキャンセリング
1.光電容積脈波と体動ノイズの発生要因
2.適応キャンセラの原理
3.適応キャンセラを用いる体動ノイズのキャンセル法
3.1 容量センサを用いる方法
3.2 色の異なる2つのPPGセンサを用いる方法
3.3 2つのPDを用いる方法
3.4 2つのPPGセンサを用いる方法
4. 適応キャンセラを用いない体動ノイズのキャンセル法
◇第6章 表情フィードバックを利用したヒト感情の推測技術 ◇
1節 表情解析による感性･感情の定量評価技術
1.感性評価そして表情解析とは何か?
2.感性評価･他の手法との違い
3.表情解析の歴史
4.基礎となるFACS理論
5.応用範囲
6.表情解析の拘束条件
7.実例
8.表情解析の現状
9.表情解析の今後
10.補足(アクション･ユニット表)
2節 顔の画像処理・表情解析と応用事例
1.はじめに
2.表情に関する研究の性質
3. 表情に関する従来の研究と課題
3.1 FACS (Facial Action Coding System) による表情の記述
3.2 表情の自動画像解析の現状
3.3 有用な顔画像処理手法
3.3.1 AAM (Active Appearance Models)
3.3.2 AAMの発展―CLM (Constrained Local Models)
3.3.3 入手可能なリソース
4.表情解析の応用事例―自動車運転支援における応用事例
4.1 自動車内の画像条件
4.2 自動車運転中の表情と感情
4.3 統計的手法による気分表情検出法
4.3.1 運転者の気分表情の特徴と数値化
4.3.2 顔画像の部分空間表現とその変化の数値化
4.3.3 過覚醒気分数値化の結果例
3節 顔特徴点の変動値を用いた剛体ノイズ除去による顔映像からの高精度な心拍推定法
1.はじめに
2.提案手法
3. 評価実験
3.1 実験条件
3.2 実験結果
4. まとめ
4節 顔表情変化に基づくドライバの眠気度合推定
1.関連研究
1.1 生体情報を用いる手法
1.2 外界環境情報を用いた手法
1.3 ドライバの顔表情情報を用いた手法
2.提案手法
2.1 データセット
2.2 既存特徴量の算出
2.3 顔形状の歪み度合の算出
2.4 特徴量選択と学習
2.5 眠気の検出
2.5.1 眠気レベルの推定
2.5.2 眠気の遷移性の考慮
3.検出結果
3.1 眠気レベルの推定結果
3.2 検出精度の評価
3.3 歪み特徴量の評価
◇第7章 音声による感情認識技術術◇
1.音声信号からの感情認識
1.1 感情認識法の概要
1.2 利用される特徴量
1.3 深層学習を用いた感情識別
1.3.2 特徴量抽出も含めて深層学習でモデル化する方法
2.言語情報との結合
2.1 言語情報との結果の統合法
2.2 認識結果の特徴を考慮した統合法
◇第8章 快・不快情動のメカニズムと生体計測評価 ◇
1節 NIRSによる視覚刺激呈示時の快・不快情動の評価
1.はじめに
2.NIRSによる脳活動計測と情動評価
2.1 NIRSの原理
2.2 NIRSによる情動の評価
3.画像呈示時の情動の脳活動計測
3.1 実験方法
3.2 主観評価による画像の評価
3.3 脳活動と情動の関係
4.情動の識別
4.1 情動識別の方法
4.2 特徴抽出後の信号と情動の脳活動との関係
4.3 識別結果
2節 瞳孔変動を用いた快・不快推定システムの開発
1.生理学的知見
1.1 瞳孔
1.2 情動と瞳孔径変動
2.瞳孔検出および瞳孔径計測法
2.1 瞳孔検出法
2.2 瞳孔径計測法
3.実験方法
3.1 実験の概要
3.2 実験課題
3.3 刺激画像
3.4 コントロール画像
4.快・不快情動に対する瞳孔径変動の特性
4.1 瞳孔径時系列波形の解析手法
4.1.1 移動平均
4.1.2 正規化
4.1.3 加算平均処理
4.2 解析結果
3節 感性および快・不快の計測法と製品開発への応用
1.感性とその計測
2.感性計測・評価と製品開発
3.生体生理指標 に基づく感性計測・評価
3.1 自律神経系指標
3.2 中枢神経系指標
4.実施例
4.1 ローラー式顔面マッサージ器の感性評価
4.2 寝具の感性評価
◇第9章 楽しい・わくわくなどポジティブ感情の生体計測技術 ◇
1節 生体信号によるわくわく感の定量評価
1.生体信号を用いた感性計測
1.1 概要
1.2 心電図
2.「未知の体験」ができるシステム
2.1 コンテンツ
2.2 デバイス
3.実験
3.1 実験方法
3.2 評価方法
3.3.1 アンケート結果
3.3.2 生体信号の解析結果
3.3 実験結果と考察
2節 脳機能計測技術とリラックスに関わる脳機能の計測事例
1.はじめに
2.脳機能計測技術
2.1 脳機能へのアプローチ
2.2 EEG
2.3 MEG
2.4 fMRI
2.5 NIRS
2.6 脳機能計測技術の運用
3.リラックスに関わる脳機能の計測事例
3.1 緊張・リラックスと心拍変動
3.2 緊張・リラックスと聴覚ゲーティング
3.3 リラックスと聴覚ゲーティングの関係の検討
3節 脳波のフラクタル性に基づいた飲料の嗅覚・味覚の感性評価
1.フラクタル次元推定手法
1.1 分散のスケーリング特性を用いたフラクタル次元推定法
1.2 時間依存型フラクタル次元解析
2.感性フラクタル解析法
3.実験方法
3.1 プロトコル
3.2 感性の教師データの取得
3.3 被験者
3.4 使用機器
4.解析結果および考察
4.1 独立成分分析を用いた筋電成分除去
4.2 感性解析
4.3 感性変動率
4.4 飲料の総合評価
4.5 被験者の選定
4.6 解析結果
5.まとめと今後の課題
4節 快の情動を伴った笑い生成時における瞳孔反応の解析
1.はじめに
2.笑いに伴う瞳孔反応の解析
2.1??笑いの種類と解析対象
2.2??解析実験の概要
2.3 実験手順
2.4 アンケート評価結果
2.5 瞳孔反応の解析
5節 表情・音響情報によるリアルタイム感情推定システムによる好感度測定
1. はじめに
2. 表情・音響情報・テキスト情報からのリアルタイム感情推定手法1)
2.1 感情推定手法の処理の流れ
2.2 発話の音響的特徴からの感情推定手法
2.3 表情遷移からの感情推定手法
2.4 発話文字列からの感情推定手法
3. 応用事例：口調と表情遷移に基づく抑圧された負の感情の検出11)
3.1 システム構成
3.2 実験データ
3.3 実験結果
◇第10章 美しい、かわいい、かっこいいなど嗜好性の評価 ◇
1節 脳波スイッチを活用したニューロマーケティング
～潜在意識をも反映した「脳の関心度」の指標化を目指して ～
1.研究背景
2.脳波スイッチの原理
3.脳波総選挙
4.脳波総選挙によるニューマーケティングのサービス化に向けて
第2節 脳波を用いた可愛らしさの感性評価や感情状態の推定
1.脳波による評価の実際
2.脳波の記録一般
3.脳波の分析
3.1 視察判定
3.2 脳波の分析（目ではわからない）
4.自発脳波と感情や感性
4.1 前頭部脳波活動の非対称性
4.2 α波活動のゆらぎ
5. 事象関連電位
3節 生体エビデンスデータを活用したデザインへの応用
1.「迷う」とは
2.施設におけるサイン
3.「迷う」プロセスの実験的分析
3.1 実験方法
3.2 実験結果
4節 瞳孔反応による情感解析と見た目の印象評価
1.情動反応の定義
2.瞳孔反応のビジネス利用
2.1 制御できない本心が表出
2.2 判定基準に関して
3.見た目の印象評価
3.1 人はどこを見てどの程度注目しているのか
3.2 自分自身への関心度合い
3.2 服装の違いによる見た目の評価
3.3 好みの唇評価例
3.4 基本感情を表す写真の反応
4.五感の評価の可能性
4.1 嗅覚反応は気分により変化する（POSITIVE編）
4.2 嗅覚反応は気分により変化する（MEGATIVE編）
4.3 味覚反応実験例
4.4 イメージ想起実験例
5.新しい実験に向けて
◇第11章 疲労、ストレス、不安の評価 ◇
1節 動画像による非接触心拍計測と ストレス、情動の推定
1.5バンドカメラを用いた非接触心拍計測法（従来法）
1.1 撮影環境
1.2 関心領域の決定
1.3 信号取得と前処理
1.4 時間軸の独立成分分析
1.5 ピーク検出
1.6 精度検証
1.7 心拍変動スペクトログラム
2. RGBカメラを用いた色素成分分離に基づく非接触心拍計測法（提案法）
2.1 色素成分分離手法
2.2 空間軸の独立成分分析
2.3 顔画像に対する色素成分分離
2.4 脈波検出方法
3. 実験（RGBカメラを用いた提案法の有効性の検証）
3.1 実験手法
3.2 実験結果
3.2.1色素成分分離による脈波の抽出
3.3 考察
4.情動（感情）のモニタリング
4.1 実験
4.2 実験結果
4.3 まとめと今後の課題
2節 加速度センサによるworking rhythmの測定と脳にかかる認知負荷の推定
1.ヒューマンエラーの防止
1.1 ヒューマンエラーと認知負荷
1.2 IoT技術とAIによる現場力の向上
2.行動センシングとAIによる認知負荷の推定
2.1 IoT技術による作業者の動作の取得
2.2 Working rhythmの算出
2.3 AIによる認知負荷の推定
3.認知負荷の推定精度の検証
3.1 実験内容
3.2 サブタスク
3.3 実験結果
3節 生体情報センシングと感情，ストレスセンシング
1.はじめに
2.脈波伝播速度法に基づく血圧計測原理
3.ウェアラブル血圧センシングシステム
4.血圧算出式のパラメータ校正方法
5.体動補償方法
6.血圧関連行動識別機能
4節 医療現場における顔画像解析による人のストレス計測システムとその可能性
1.顔面の皮膚構造と色空間
1.1 顔面の皮膚構造と顔色
1.2 色空間について
2.計測方法
2.1 色情報取得方法
2.2 心電図解析
2.3 その他の計測
2.4 多面的感情尺度短縮版
3.実験方法
3.1 心理的負荷実験
3.2 心理的負荷課題について
4.実験結果
4.1 色解析結果
4.2 ストレス評価指標結果
5.ストレスとの関連性についての考察
5節 眼球運動から感情状態を探る
1.感情状態と眼球の関係
1.1 自然な眼球の動きによる推定
1.2 感情状態と眼球の動き
2.研究ー感情的情報処理と眼球運動ー
2.1 研究目的
2.2 心理実験
2.3 functional MRI実験
2.4 実験結果からの考察
◇第12章 応用事例◇
1節 生地質感の心理計測と脳計測
1.生地の高次質感（審美性、好み、高級感）の心理計測
1.1 はじめに
1.2 目的
1.3 方法
1.4 結果および考察
1.5 まとめ
2.生地の風合いの脳計測
2.1 はじめに
2.2 脳機能イメージング法
2.3 質感認知に関わる視覚、触覚、多感覚の脳領域
2.4 実物体提示装置の開発とウールの風合い研究
2.5 生地質感の脳情報デコーディング
2.5.1 fMRI実験手続き
2.5.2 視覚による触り心地：見た時の脳画像から見ている布が予測できるか？
2.5.3 触覚による触り心地：触った時の脳画像から触っている布が予測できるか？
2.5.4 クロスモーダルな触り心地：触った（見た）時の脳画像から見ている（触っている）布が予測できるか？
2節 脳波による香り診断を応用した商品開発
1.はじめに
2.方法
3.結果と考察
3.1 パンティライナーに求められる香りの選択
3.1.1 有効データの選別
3.1.2 パンティライナーに求められる感性の特定
3.1.3 主要3感性を効果的に高める香りの選択
3.2.香り表現の効果
3.2.1 香り表現有無における嗜好性への影響
3.2.2 香り表現有無における感性への影響
3節 皮膚スペクトルの計測と感情解析、機械学習の応用
1.ハイパースペクトルカメラとは
2.皮膚のモデル
2.1 皮膚の構造と光の吸収・散乱
2.2 皮膚の分光反射率による数学的表現
2.2.1 皮膚の反射モデル
2.2.2 ヒト肌色モデルの数学的表現
3.皮膚の撮影方法
3.1 測定方法?：偏光板による表面反射と内部反射の分離
3.2 測定方法?：積分球による積分球によるヒト肌計測
4.ハイパースペクトルカメラによる皮膚スペクトルの計測事例
4.1 コサイン距離法によるメラニン強調とヘモグロビン強調画像
4.2 酸素飽和度とは
4.3 血行と疲労の可視化事例
5. 皮膚スペクトルの計測への機械学習の応用―感情解析
5.1 カメラの画像解析による感情のパターン分類とは
5.2 実験方法
5.3 ヒト肌スペクトルからの心拍信号抽出の原理
5.4 心拍信号の抽出のための信号処理
5.5 機械学習による感情の分類
4節 生体情報モデリングによる食品感性工学への応用
1.食感性工学のニーズと特徴
2.熱望されるブランディング技法
3.食感性モデルの提唱
3.1 脳機能情報に基づくビジネスモデル
3.2 アリナミン静脈注射による嗅覚刺激法
4. 人体内メッセージ情報の伝達機能
4.1 メッセージ物質による脳機能の制御
4.2 脂肪細胞層の減少生理効果
5.「感性」の定義を探索した経緯
5.1 定義の多様性豊かな意味と曖昧さ
5.2 感性の辞書的定義
5.3 食感性工学の基礎的理念
6.五感による食嗜好と感性の育成モデリング
6.1 食物と遭遇した人の知覚機能
6.2 咀嚼による美味しさの評価要因
6.3 食嗜好と感性の育成ループ
7.五感コミュニケーション機能を基盤とする食感性モデル
8.消費者を起点とする美味しさの設計コンセプト
9.食感性工学の展望
5節 生理・生体情報を用いたドライバ状態の推定
1.はじめに
2.ドライバ状態の推定
3.生理・身体情報を用いたドライバ状態検知アルゴリズム
4.検証用データの収集
5.検知精度の評価
6節 眼球・瞳孔の動きに現れる覚醒状態
1.覚醒状態と瞳孔サイズの関係
2.覚醒度状態と各種眼球運動の関係
2.1 サッカード運動
2.2 前庭動眼反射
2.3 輻輳性眼球運動
7節 深層学習を用いた心電位によるドライバー感情推定の可能性
1. データ取得環境の構築
1.1 実験方法
1.1.2 計測手法
1.1.1 計測機器
2.評価方法
2.1 主観評価
2.2 学習用データ
2.3 学習モデル
3.実験結果と考察
3.1着座安静状態における試験
3.2実車走行における試験
3.3 深層学習における特徴量の可視化
8節 顔表情・音声・会話文のマルチモーダルな感情推定と応用事例
1.研究背景
2.感情推定に関する従来研究
2.1 顔表情を用いた感情推定研究
2.2 音声情報を用いた感情推定研究
2.3 会話文を用いた感情推定研究
3.マルチモーダルな感情推定モデルの構築
3.1 顔表情によるモーダル値の計算
3.2 音声によるモーダル値の計算
3.3 会話文によるモーダル値の計算
3.4 モダリティ統合によるマルチモーダルな感情認識
4.マルチモーダルな感情認識手法のアクトロイドロボットへの応用
4.1 アクトロイド
4.2 人間とアクトロイドの対話実験
9節 アイトラッキングと脳波による感性計測を用いたコミュニケーションデザイン改善
1.コミュニケーション改善シンクタンク「LABOLIS（ラボリス）」
2.「0秒コミュニケーション」の重要性
3.当社が活用するアイトラッカー各種と感性計測の特徴と活用領域
4.調査実施事例
10節 顧客満足と売上向上を目指すアイトラッキングの活用事例
1.今までの可視化・共有化
2.顧客満足と売上高を向上させるには
2.1 現在の育成方法の課題
2.2 育成方法
3.アイトラッキングによる 販売員スキルの見える化
11節 人工知能を用いた感性に関わる現象の予測
1.講演の評価: 聴衆が拍手喝采するか
2.漫才の評価: 漫才コンテストの順位予測
2.1 はじめに
2.2 漫才の評価に関わる特徴量
2.2.1 発話に関する特徴量
2.2.2 漫才の内容に関する特徴量
2.3 漫才口演の評価値の計算
2.4 モデルの検証方法
2.5 特徴量の性質
3.感性評価の予測モデルの構築手順
