〇売上や商品価格の需要予測、正常データのみで異常検知、時系列データを分割しての解析etc...
実データを用いた解析事例を応用別に多数掲載!必要なデータや種類、分析結果の解釈や精度向上のためのポイントは?
目次
第1章 AI活用時の品質保証とその考え方
はじめに
1. AI システムに求められる品質
1.1 AI システムの品質
1.2 AI モデルの品質
1.3 学習データの品質
2. AI システムの品質保証プロセス
3. AI システムの運用時の品質
4. AI の評価・品質に関する技術
4.1 AI の評価・テストに関する技術
4.2 AI の動作の可視化に関する技術
5. AI 品質に対する世の中の動向と展望
第2章 データ収集と前処理技術
第1節 時系列データ分析の流れと用いられるツールについて
はじめに
1. 時系列データ分析の目的と手法
2. 時系列データ分析のツール
3. 移動平均
4. 自己回帰モデル
5. 季節性の理解
5.1 季節性の理解 可視化
5.2 季節性の理解 季節分解(Seasonal Decomposition)
6. トレンドの理解
6.1 トレンドの検出とそのツール
6.2 トレンドのモデリング
7. 異常値の検出
7.1 異常値の検出 統計的手法
7.2 異常値の検出 移動平均法
7.3 異常値の検出 機械学習
7.4 異常値の検出 ルールベース
おわりに
第2節 時系列データの前処理手法
1. データの欠損値を補完する
2. データの尺度を合わせる
3. データを変換する
4. データを平滑化する
5. データから外れ値を検出する
6. 複数のデータをグループに分ける
7. 特徴量選択のコツ
第3章 時系列データの処理技術と実務上の課題対応
第1節 目的に応じたモデル選択の考え方
はじめに
1. 過去からの影響の定量化と、未来の予測
1.1 自己回帰モデルが汎用的な理由
2. 周期性の定量化
3. ノイズの除去
4. 区間毎の要約
5. 区間の違いの分析
6. イベント発生の仕方の定量化と、未来の予測
7. 寿命の分析
8. 経過時間における変化の分析
8.1 回帰モデル(加法モデル)
8.2 乗法モデル
8.3 微分方程式モデル
9. 時刻との関係の分析
10. 過去からの影響の定量化で、変数が2 個以上ある場合
11. 変数の関係式の分析
12. 時系列の情報を使わない回帰モデルを使った時系列データ解析
おわりに
第2節 機械学習による分析手法
第1項 古典的手法と近年の機械学習手法の比較
はじめに
1. 非線形
1.1 線形
1.2 非線形
2. 多変数(多変量)
3. 逐次学習
4. 順番のみの利用
おわりに
第2項 時系列の因果探索におけるノウハウと分析手法
はじめに
1. データの前処理
1.1 変数の定義
1.2 観測時刻の時点間隔
1.3 定常性
2. 時系列の因果探索とは
3.Granger causality
3.1 定義
3.2 モデルベースのGranger causality の推定
3.3 教師あり学習に基づくGranger causality の推定
おわりに
第3項 Shapelets 学習による時系列分析~説明性のある分類手法
はじめに
1. 時系列分類問題
2. 説明性のある時系列分類手法
3. 正常データのみで学習するshapelets 学習法
4. 波形の変化を学習するshapelets 学習法
おわりに
第4項 時系列分析におけるTransformer の適用
1. 位置エンコーディング
2. マルチヘッド注意機構
3.Transformer
4. 時系列解析向けTransformer
5. 他の時系列モデルとの比較
6. 適用事例
第5項 特徴量エンジニアリング~特微量の生成と選択
はじめに
1. 特徴量の生成
1.1 ラグ特徴量
1.2 ウィンドウ特徴量
1.3 カレンダー特徴量
1.4 対数変換・平方根変換(logarithmic transformation, square root transformation)
1.5 Box-Cox 変換(Box-Cox transformation)
1.6 三角特徴量
1.7 スプライン特徴量
1.8 UFEKS/UFEKT
2. 特徴量の生成(時系列全体を見る特徴量)
3. 特徴量の選択
3.1 ステップワイズ法
3.2 Lasso
3.3 RFE
3.4 PFI
3.5 SHAP
3.6 NCSC-VS
3.6.1 NC 法
3.6.2 SC 法
3.6.3 NCSC-VS
おわりに
第3節 統計的手法による分析
第1項 状態空間モデル概説
はじめに
1. 状態空間モデル
1.1 状態の推定
1.2 欠測値の扱い
2. 線形・ガウス状態空間モデル
2.1 ローカルレベルモデル
2.2 ローカル線形トレンドモデル
2.3 周期モデル(季節モデル)
3. 非線形・非ガウス状態空間モデル
3.1 非線形・非ガウス状態空間モデルの応用?個体群生態学の場合?
おわりに
第2項 マルコフ連鎖モンテカルロ法による時系列モデルのベイズ推定
1. マルコフ連鎖モンテカルロ法によるベイズ推定
1.1 MCMC とベイズ推定
1.2 サンプリング法
1.2.1 メトロポリス・ヘイスティングス法
1.2.2 ギブス・サンプリング法
1.2.3 ハミルトニアン・モンテカルロ法
1.3 MCMC の計算条件
2.MCMC による時系列モデルのベイズ推定
2.1 AR モデル
2.2 SV モデル
第3項 R(統計手法)による分析
はじめに
1. 時間依存関係と自己相関係数
2. 時間依存関係の引継ぎと偏自己相関係数
3. 時系列データ解析における前提条件と定常性
4. 定常な時系列モデル~自己回帰モデルと移動平均モデル~
5. 非定常な時系列データへの対応とARIMA モデル
6. 付録
第4節 予測モデル評価
1. 回帰タスクにおけるモデル評価指標と使い分け基準
1.1 MAE
1.2 MSE
1.3 RMSE
1.4 RMSLE
1.5 MAPE
1.6 WAPE
2. モデルの評価
2.1 Hold out
2.2 Cross validation
2.2.1 Purging
2.2.2 Embargo
第5節 データの可視化と解釈
1. データの可視化で利用されるライブラリ
1.1 Matplotlib
1.2 Plotly
2. 結果の解釈
2.1 SHAP
第6節 よくある実務上の問題とその対応
第1項 不均衡(インバランス)のデータ処理
1. 不均衡とは
2. 分類問題で用いられる評価指標
3. 不均衡への対処
第2項 手法ごとに必要なデータ量の目安と少量データへの対応
1. 機械学習に必要なデータ量
2. データが少ないときの対策
第3項 データが少ない場合の対応
1. データ量の重要性と必要量の見積もり
2. 問題設定の再検討
2.1 類似データをまとめる/ 再活用する
2.2 モデル化したい現象を分解する
2.3 予測粒度を必要十分にする
2.4 損失関数を実務上の指標に近づける
2.5 極端な値の予測は判別問題化する
3. 転移学習
3.1 パラメータ転移
3.2 特徴転移
3.3 ファインチューニング
3.4 表現転移
3.5 マルチタスク学習(深層学習以外)
3.6 マルチタスク学習(深層学習)
3.7 ドメイン適応
3.8 教師なしドメイン適応
4. スパース性を活用した仮説空間の絞り込み
5. 長期先予測とデータ拡張
まとめ
第4項 データが少ない場合の人工知能モデル構築技術
はじめに
1. 人工知能技術の実社会適応における少量データ問題
2. 学習用教師データの状況に応じた主な対処技術
3. 1クラス分類モデル
4. データ拡張
5. 転移学習とドメイン適応
6. 教師なし学習、半教師あり学習、自己教師あり学習
7. 大規模基盤モデルの活用
おわりに
第4章 実データを用いた時系列データ解析例
第1節 生体信号を対象とした時系列データ解析の実例
はじめに
1. 心電図と心拍変動解析
1.1 信号計測の原理
1.2 心電図
1.3 心拍変動解析
1.3.1 時間領域特徴量
1.3.2 周波数領域特徴量
2. ウェアラブルデバイスを用いた日常環境下での心拍変動解析
2.1 ウェアラブルデバイスによる心電図の計測
2.1.1 ウェアラブルデバイスで計測した心電図の特徴と課題
2.2 心拍成分の検出(R 波検出)
2.3 心拍成分の補正・編集(RRI 編集)
2.4 心拍特徴量の算出
2.5 解析
2.6 日常環境下での心拍変動解析における諸注意
おわりに
第2節 神経イメージングデータ解析の事前処理法
はじめに
1. 事前処理法
1.1 サンプルの位置補正
1.2 時空間フィルタリング
2.ARモデルによる有意な信号の検出
2.1 AR モデル
2.2 ARX モデル
2.3 シミュレーションデータによる検証
2.4 実データへの適用
おわりに
第3節 需要予測
はじめに
1. 過去データに基づく将来の需要予測
1.1 データセット
1.2 Prophet の時系列予測モデル
1.3 Prophet での予測結果と評価
1.4 LightGBM
1.5 その他の予測ツール
1.5.1 NeuralProphet
1.5.2 sktime
2. 新商品の需要予測
2.1 消費者の新商品の評価予測
2.2 統計的因果推論手法
3. 需要予測の分析基盤、活用事例
3.1 Python の分析ライブラリ
3.1.1 pygwalker
3.1.2 pyaf
3.2 需要予測の活用事例
3.2.1 風力発電の風量予測
3.2.2 金属鋳造工程での溶解金属温度の時系列予測
第4節 需要予測における時系列データ分析
はじめに
1. 時系列データの特徴と課題
2. 系列の考え方
3. 期間の考え方
4. 説明変数
5. 特徴量エンジニアリング
5.1 ラグ特徴量
5.2 ローリング特徴量
5.3 イベント特徴量
6. 時系列予測を実施する際の作業負荷とツールによる解決
第5節 異常データを必要としない時系列異常検知手法
はじめに
1. 時系列異常検知手法:dLSTM 概要
1.1 dLSTM の構成
1.2 従来技術との性能比較
2. 多変量時系列セグメンテーション手法:LAMTSS 概要
3.LATMSS の構成
4.LAMTSS の詳細
5. 実験結果
まとめ
第6節 仮想通貨または商品価格の予測
はじめに
1. 金融時系列データ
1.1 価格の変化率
1.2 分布の裾
1.3 時系列構造・ボラティリティの変化
2. 金融時系列データの前処理・探索的データ分析
3. 仮想通貨の価格推定
3.1 仮想通貨データ
3.2 モデルの構築
3.3 精度改善
おわりに
第7節 機械学習による振動データからの転がり軸受の余寿命予測
はじめに
1. 転がり軸受の状態監視
2. 欠陥進展下における余寿命推定の課題
3.CNN と階層ベイズ回帰による余寿命曲線推定
3.1 概要
3.2 Feature Fusion Network
3.3 階層ベイズ回帰モデル
4. 実機による評価実験
4.1 評価範囲
4.2 評価指標
4.3 実験条件と入力データ
4.4 欠陥進展と余寿命曲線の関係
4.5 余寿命推定精度比較
おわりに
第8節 AI を用いた音声解析によるエアーコンプレッサーの状態判別
はじめに
1. データセットの準備と特性解析
1.1 データセットについて
1.2 異音判別システム開発の流れ
1.3 波形の特性解析
2. 診断用AI モデルの検討
2.1 時間- 周波数表現
2.2 ドメイン固有の特徴量
2.3 ウェーブレット散乱変換
3. Raspberry Pi への実装
3.1 実装用モデルの用意
3.2 異音判別アルゴリズムの実装と検証
3.3 その他のターゲットについて
4. 教師なし問題の観点から再考
おわりに
第9節 階層的クラスタリングを用いた時系列データの分割
はじめに
1. 時系列データの分割の必要性
2. 階層型クラスタリングによる時系列データの分割
2.1 分割法の概要
2.2 クラスタをまとめる基準
2.2.1 クラスタの類似性
2.2.2 重みの決定
2.2.3 補正
2.2.4 終了条件
2.3 実行結果
おわりに
第10節 状態空間モデルを用いた時系列分析
はじめに
1. データ
2. ローカル線形トレンドモデル
3. 季節調整モデル
4. 新型コロナウイルスの影響の検討
5. 予測
おわりに