Skip to content

DNET_DeepLearning

Jump to bottom
nishi_74322014 edited this page Aug 3, 2026 · 1 revision

深層学習（deep learning）

概要

深層学習（deep learning）について纏める。

  • 第３次人工知能ブームでの人工知能

  • 教師あり学習を主体とする

  • 人間の神経回路を真似した学習モデルを多層化した学習モデル

  • 以下を基にしたアルゴリズムが実装されたもの

    • 脳、特に視覚野の研究
    • 「たった一つの学習理論（One Learning Theory）」
    • ブルーノ・オルスホーゼン教授によるスパース・コーディング理論

特徴

  • ニューラルネットワークを多層（深層は３層以上）にして、誤差逆伝播法（バックプロパゲーション）と呼ばれる方法を用いて学習

  • 多層構造のニューラルネットワークに画像などのデータを入力すると、情報が第1層からより深くへ伝達されるうちに、各層で学習が繰り返される

  • 機械学習と同じ様な事が出来るが、分布を学習するのではなく超平面的なモノの近似を行う

  • 観測データから本質的な情報を抽出した特徴、潜在表現、内部表現（低次元表現、特徴ベクトル表現）を学習する

強み

  • 特徴量の自動抽出とパラメタの自動調整がされる

    • 機械学習では人間が特徴量を設計する必要があったが、深層学習では自動的に特徴量を学習

  • 超平面的なモノの近似によって非構造化データの処理に強い

    • 画像、音声、テキストなどの非構造化データの処理に優れる

弱み

超平面的なモノの近似なので、

  • 必要となる学習データの数が膨大になる

    • パラメタの数に依存（パラメタ数は層の深さ・幅に依存）
    • 「バーニーおじさんのルール」では、ニューラルネットワークの重みパラメタの数に対して、最低その10倍以上の訓練データが必要となると言われている
    • 必要に応じて「データ拡張（data augmentation）」する
    • データ量が少なすぎる場合は、深層学習以外のアプローチを検討（とは言え、非構造化データの場合は深層学習が必要になる）

  • この結果、計算量も膨大になる

  • また、

    • 結果の解釈ができない（ブラック・ボックス）
    • 過学習を起こし易い
    • チューニングも難しい

などの問題もある。

対象

構造化データ

構造化データも対象にできるが、機械学習と比べ、優位性はそれほど高くない。

非構造化データ

機械学習では精度が出なかった非構造化データを対象にできる。

  • 言語処理

    • 言語処理（AI）
    • 機械翻訳

  • 音声処理

    • 音声処理（AI）
    • 音声合成、音声認識

  • 画像処理

    • 画像処理とコンピュータビジョン（AI）
    • 物体識別、物体検出、領域検出、特定領域検出

特に非構造化データのベクトル化の方法がポイントになる。

目視作業の自動化

フロントオフィス業務で画像認識を使うケースが多い。

異常検知の自動化

上記を使った異常検知など。

主要な技術

ニューラルネットワークの構造

  • 畳み込みニューラルネットワーク（CNN）

    • 画像認識に特化
    • 畳み込み層とプーリング層で特徴抽出

  • リカレントニューラルネットワーク（RNN）

    • 時系列データに特化
    • LSTM、GRUなどの改良版

  • Transformer

    • 自然言語処理に革命
    • 注意機構（Attention）を利用
    • BERT、GPTなどの基礎技術

学習テクニック

  • 誤差逆伝播法（バックプロパゲーション）

    • 勾配を計算して重みを更新

  • 活性化関数

    • ReLU、Sigmoid、Tanh
    • ReLUが最も一般的

  • 正則化

    • Dropout、Batch Normalization
    • 過学習を防ぐ

  • 最適化アルゴリズム

    • SGD、Adam、RMSprop
    • 学習の収束を高速化

敵対的生成ネットワーク（GAN）

  • 生成器と識別器が競い合って学習
  • 画像生成、スタイル変換などに応用
  • 生成系AIの基礎技術の一つ

代表的なフレームワーク

  • TensorFlow

    • Googleが開発
    • プロダクション環境に強い

  • PyTorch

    • Facebookが開発
    • 研究開発に人気

  • Keras

    • 高レベルAPI
    • TensorFlowのフロントエンドとしても利用

  • ONNX

    • モデルの相互運用性を実現

応用分野

  • 画像認識：自動運転、医療画像診断、顔認証
  • 自然言語処理：機械翻訳、チャットボット、文章生成
  • 音声処理：音声アシスタント、リアルタイム翻訳
  • 生成系AI：画像生成、動画生成、音楽生成
  • ゲームAI：AlphaGo、ゲームキャラクターAI
  • ロボティクス：動作制御、物体把持

参考

Tags: 移行, 深層学習, ディープラーニング, AI, ニューラルネットワーク

このWikiは「Open棟梁Project」,「OSSコンソーシアム 開発基盤部会」によって運営されています。

NetDevInfraWiki

マイクロソフト系技術情報 Wiki
Open 棟梁 Wiki

（未着手）

開発基盤部会 Wiki

移行管理: DONE ／ TODO

Clone this wiki locally