DNET_MachineLearning

機械学習（machine learning）

• TOP > BI / AI > 人工知能（AI）
• 戻る（人工知能（AI） / 統計解析 / ベイズ統計）
  • 機械学習（machine learning）
  • 深層学習（deep learning）
  • 強化学習（Reinforcement Learning）
  • 生成系AI（Generative AI）

概要

機械学習（machine learning）について纏める。

• 第２次人工知能ブームでの人工知能

• 人が、その機械は何を学習するか？というのを予め定義する

  • 注目スべきデータ（特徴量）の選定タスクは人間が担う
  • 「訓練データ」として知られるサンプルデータに基づいて数学モデルを構築する
  • 学習の方向性を人が思い通りにコントロールがし易い

• 明示的な指示を用いることなく、

  • パターン（統計モデル）と
  • 推論（アルゴリズム）に

  依存して、特定の課題を効率的に実行する

定義

• アーサー･サミュエル

  • ｢明示的にプログラムしなくても学習する能力を､コンピュータに与える研究分野｣

• トム･ミッチェル

  • タスクT（推論）とパフォーマンス測定P（損失関数と評価指標）に関連する経験E（学習データ）から学習する

理論

情報理論

• エントロピー
• 相互情報量
• カルバック・ライブラー情報量（KLダイバージェンス）

統計的機械学習

• ベイズ統計
• 最尤推定
• 確率分布

数理最適化

• 凸最適化
• 勾配降下法
• 確率的勾配降下法（SGD）

独立同時分布仮定

• 学習データと評価データが同じ分布から独立に生成されている仮定
• この仮定が成り立たない場合、汎化性能が低下する

用語

特徴量

• 注目スべきデータ、機械学習的に言った説明変数

  • 特定の概念を特徴づける変数、問題の解決に必要な本質的な変数
  • 学習データにどのような特徴があるかを数値化したもの
  • モデルをy = f(x) とすると、xが説明変数でyが目的変数
  • 非構造化データでは特徴量（説明変数）はベクトル化される

• 機械学習では入力された学習データから特徴量と呼ばれる数値を抽出する

  • 特徴量の抽出は人間が設計し実装する必要がある
  • 抽出した特徴量を元に機械はパターン・経験則をモデルを使って学習する

• この特徴量を発見できれば、

  • あらゆる問題の解決につながったり、
  • パターン認識精度の向上や、
  • フレーム問題の解決につながったりすると期待されている

パラメタ

重みとも呼ばれるモデルの学習実行後に獲得される値。

ハイパーパラメタ

• 各アルゴリズムに付随して、アルゴリズムの挙動を制御するための値

• 学習実行前に設定した値によって学習実行後のパラメタが変わってくる

• 例：ロジスティック回帰モデル

  • regularization rate というハイパーパラメタを使ってモデルのバイアスを軽減できる
  • ハイパーパラメタはモデル学習のパフォーマンス、モデルの学習時間に強く影響する
  • 一般的には複数の候補の組み合わせを試すことで適切な設定値を探す

パラメトリック・モデル

• 枠組みをあらかじめ決めてパラメタだけを学習するモデル
• 機械学習・深層学習のモデルは基本的にパラメトリック・モデル

ノンパラメトリック・モデル

• 関数の枠組みそのものを推定するモデル
• 決定木やカーネル関数を使用するモデルがノンパラメトリック・モデル
• 母集団に関する事前の仮定を置かずにデータの特性をより柔軟に関数形を推定する
• データに潜在する複雑な構造や関係性をより良く捉え過剰適合のリスクが低くなる
• パラメトリックモデルよりも多くのデータが必要

学習方式

教師あり学習（Supervised Learning）

• 入力データと正解ラベルのペアから学習
• 分類問題と回帰問題

代表的なアルゴリズム：

• 線形回帰
• ロジスティック回帰
• サポートベクターマシン（SVM）
• 決定木
• ランダムフォレスト
• ニューラルネットワーク

教師なし学習（Unsupervised Learning）

• ラベルなしデータからパターンや構造を発見
• クラスタリング、次元削減

代表的なアルゴリズム：

• K-means クラスタリング
• 階層的クラスタリング
• 主成分分析（PCA）
• t-SNE

半教師あり学習（Semi-supervised Learning）

• 少量のラベル付きデータと大量のラベルなしデータを組み合わせて学習
• ラベル付けコストを削減

強化学習（Reinforcement Learning）

• エージェントが環境との相互作用を通じて、報酬を最大化する行動を学習
• ゲーム、ロボット制御などに応用

強化学習の詳細

代表的なアルゴリズム

エキスパート・システム

• ルールベースのシステム
• 専門家の知識をIF-THENルールとして記述
• IBMのWatson（ワトソン）は機械学習とエキスパート・システムの融合

サポートベクターマシン（SVM）

• マージン最大化による分類アルゴリズム
• カーネルトリックにより非線形分類が可能
• 高次元データに強い

ニューラルネットワーク

• 脳の神経細胞を模した数学モデル
• 多層化により複雑なパターンを学習可能
• 深層学習の基礎

応用例

• 画像認識：物体検出、顔認識、医療画像診断
• 自然言語処理：機械翻訳、文章生成、感情分析
• 音声認識：音声アシスタント、文字起こし
• 推薦システム：商品推薦、コンテンツ推薦
• 異常検知：不正検知、故障予測
• 金融：株価予測、信用スコアリング

参考

• 機械学習 - Wikipedia
• Azure Machine Learning
• 統計解析

---

Tags: 移行, 機械学習, AI, データサイエンス