DNET_BigData

ビッグデータ

• TOP
• 戻る（サービス、SaaS設計のポイント > 要素技術、DXのポイント > DX設計のポイント、ユースケース検証（DX系） → IoT、ビッグデータ、BI / AI）

概要

• 時代はビッグデータのハズ？
• EXCELに入り切るかどうか？（１つの基準）

3V

以下の増加（量だけではない！）。

量（Volume）

• データ量

• テクノロジー

  • 超並列処理（Massively Parallel Processing）
  • 分散処理 - DNET_DistributedProcessing.md

処理速度（Velocity）

• データの生成される速度

• テクノロジー

  • ストリーム処理
    • データ収集(DC)系
    • シングル・イベント・プロセッサ(SEP)系
    • 複雑イベントプロセッサ(CEP)、イベントストリームプロセッサエンジン(ESP)系

多様性（Variety）

• 扱うデータの多様性

• テクノロジー

  • 現実的な難題の多い分野
  • まだテクノロジーが問題を解決していない分野

4V, 5V

3V

前述の3つのV

Veracity

• データの正確さ

• テクノロジー
  Varietyと同様に、まだテクノロジーが問題を解決していない分野

Value

データから得られる価値

詳細

データの泉源

オープンデータ

公共の公開されたデータ

• 機械判読に適したデータ形式
• 二次利用が可能な利用ルール

企業データ

企業が蓄積したデータ

データの発生場所

SNSデータ

SNSの情報

Webサイト・データ

サイト運営中に生成される情報

• ログ・データ
• Webシステムにエントリされたデータ
• マルチメディア（音声・動画）の再生データ

カスタマー・データ

顧客に関する情報

• CRM、カード
• POSなどのデータ
• 患者データ

オフィス・データ

事務で発生するデータ

オペレーション・データ

業務で発生するデータ

• POSなどのデータ

センサー・データ

センサーが生成するデータ

• 製造業系
• 医療系
• その他のモニタリング・システム

※ 沢山あって網羅しきれない。

データの種類

構造化データ

• テーブル構造
• ネットワーク構造
• 時系列
• その他

非構造化データ

DNET_DataScienceSkills.md 参照

データからの知識発見

データの収集と整形

全体の80-90％を占める作業

• データの収集の問題

  • どこにある？
  • 生データのデジタル化
  • 業務システム（レガシー）
  • 外部システム
  • 分析手段が属人的
  • 結果が理解されない

• 基盤：データ・パイプライン

機械学習ツール

人工知能（AI）

• 学習に必要なデータの量の問題
  • 人間：O(1)
  • 知識主導型学習：O(10)
  • 従来型学習：O(10^2)-O(10^4)
  • 深層学習：O(10^6)

データの解釈と評価

人間が行う。

基盤部分

スタック＆コラボレーション

• IoT → ビッグデータ → 人工知能（AI）
• プロダクトの組み合わせ

データ・パイプライン

フロントエンドからバックエンドまでの流れ

• Device、Edge（データの発生場所）
• Cloud
  • Device、Edgeの管理
  • データストア（ストレージ、NoSQL）
  • データ処理（EAI/ETL、分散処理）
  • データ解析ツール

DNET_DataPipeline.md

データサイエンティスト

突如として人気を博してきた背景には、ビッグデータを重視するようになった企業の姿勢がある。

• データサイエンス力 - DNET_DataScienceSkills.md
• データ分析 - DNET_DataAnalysis.md

参考

関連

• ストレージ - DNET_Storage.md
• NoSQL - DNET_NoSQL.md
• EAI/ETL - DNET_EAIETL.md
• 分散処理 - DNET_DistributedProcessing.md

ゼッタテクノロジー株式会社

データ活用塾

ビッグデータ活用講座

https://www.zetta.co.jp/bigdata/l_000_top.shtml

• 始めに　ビッグデータとは
• 第１回　問題解決方法
• 第２回　データクレンジング
• 第３回　単純集計とカテゴライズ
• 第４回　Excelを使ったクロス集計
• 第５回　多重クロス集計1
• 第６回　多重クロス集計2
• 第７回　アソシエーション分析１
• 第８回　アソシエーション分析２

特別講座

https://www.zetta.co.jp/bigdata/sl_101.shtml

• 杉浦先生基調講演：前編
• 杉浦先生基調講演：中編
• 杉浦先生基調講演：後編

ビッグデータ | Coursera

https://www.coursera.org/specializations/big-data

• Introduction to Big Data
• Big Data Modeling and Management Systems
• Big Data Integration and Processing
• Machine Learning With Big Data

---

Tags: 移行, ビッグデータ, データ分析, データサイエンス