-
Notifications
You must be signed in to change notification settings - Fork 0
DNET_BusinessIntelligence
経営・会計・情報処理などの用語で、
-
ビジネス上の意思決定の支援
-
企業などの組織のデータを、収集・蓄積・分析・報告することにより、経営判断上の過去・現在・未来予測などの視点を提供し意思決定に役立てる
- データディスカバリ等、単純なグラフなどの記述統計的な可視化
- 回帰分析や最小二乗法など推論統計的な推論
多次元データベースを用いた対話的なデータ分析
- データマイニング
- テキストマイニング
- イメージマイニング
- プロセスマイニング
- 複合イベント処理
- ビジネス業績管理(BPM)
- ベンチマーキング
- 予測分析
- 規範分析
ビッグデータの流れで遡って...。
データの流れ：
データレイク → （データクレンジング） → データウェアハウス（DWH） → （特定データ切出） → データマート
データレイク は構造化/非構造化データやバイナリ等のファイル含めたローデータを一元的に格納するデータリポジトリ。（雑に言うと、雑にデータを放り込んでおく入れ物。
-
特徴
- ⾮常に安価で、優れた耐久性をもつ。"10 nines"の耐久性。安価。無限のスケーラビリティ
- 多様な形式の⽣データを蓄積可能。動画, ⾳声, テキスト, 構造化データ, ⾮構造化データ
- オープンで標準のフォーマット。Parquetフォーマット, 多種多様なツールが対応可能な形式
-
課題
- データ処理・扱いに関する課題（追加・変更・エラー時の対応が難しい）
- ⼀貫性・データ管理に関する課題（リアルタイム連携、履歴管理、巨⼤メタデータの扱いが難しい）
- 処理性能・データ品質に関する課題（膨⼤なファイル、最⾼の処理性能担保、データ品質の担保が難しい）
データレイクから抽出したデータをDWHに格納するために、整合されたデータ属性やコード体系などに合うように変換及び修正を行う処理
- 従来は、EAI/ETLで行っていた
- 昨今のビッグデータのコンテキストでは、分散処理のプロダクトが使用される傾向にある
データ・クレンジングにより処理されたデータレイクより、より洗練されたデータを格納する。
-
従来のデータウェアハウス（DWH）は、
- 業務データを長期的に蓄積し管理したもの
- 基幹系システムとは別に構築され、経営的意思決定のためのビジネス インテリジェンス（BI）やデータマイニング等に利用される
-
しかし、以下のサポートに課題がある
- 動画、⾳声、テキスト
- オープンなフォーマットでの格納
- ストリーミング処理
- 機械学習、深層学習
-
昨今のビッグデータのコンテキストで、対応が可能になってきている
DWHに保存されたデータの中から、特定の部門やユーザの使用目的に応じて特定のデータを切り出し、別のデータベースに整理したもの。
- 従来のデータマートは、多次元データベースとして作成されていた
- しかし、昨今のビッグデータのコンテキストでは、データパイプラインの末端に位置し、分析超並列処理（MPP）データベース、インメモリ・データベースなどが利用されるようになってきている
データ分析に特化したデータベースで、OLAPのデータマートに用いられる。
- RDBのデータ構造でも構築可能だが（ROLAP）、RDBより分析性能の良い独自のデータ構造もある（MOLAP）
- 多次元データベースは、多次元モデルのスター・スキーマ構造で構成される
- データ自体を蓄積するファクト・テーブル（非正規化する）
- 分析軸を設定するディメンション・テーブル（高速化のためにキーや集計値以外はを追い出す）
- このようにして作成された多次元データを、OLAPキューブと呼ぶ
- 分散処理基盤の発達に伴い誕生
- データレイクとデータウェアハウス（DWH）の特徴を併せ持つ
- オンデマンドで、データレイク上のデータをデータ・クレンジング
- DWHやデータマートと組み合わせて利用されてきた経営者向けの可視化ツール・システム
- 対話的にデータを可視化することで価値ある情報を見つけようとするプロセス
エンドユーザが多次元データベース等のデータマートを自由に検索し、問題発見・解決するための、分析を主とした利用形態
→ 詳細は後述
- 明示されておらず今まで知られていなかったが、役立つ可能性があり、かつ、自明でない情報を、DWHやデータマートのデータから抽出する
- 通常は想像が及びにくい、ヒューリスティクな知識獲得が可能であるという期待を含意している
→ 詳細は後述
- データマートのデータの可視化に適したツール
- 古くは、OLAP用の多次元データベースをソースとしていたが、最近は、それ以外のデータベースが利用されるようになってきた（MPPデータベース、インメモリ・データベース）
- データディスカバリを行う色々な利用形態
- アドホック分析用のツール
- ダッシュボード・ツール
- モニタリング・ツール
1つのデータを多角的に分析する
- 全体を俯瞰
- KPIを一覧
- 対話的に条件を変更
- Tableau
- QlikView
- Power BI
- SAS Visual Analytics
- MotionBoard（国産）
- OLAP(Online Analytical Processing)
- RDBの生みの親でもある E.F.Codd 博士が生み出した言葉「RDB は、基幹系処理（≒OLTP）を行うために理論化されたものであり、分析処理（≒OLAP）には向かない」と言って、分析処理に関する「OLAP」を提唱したのが語源
- データセットの中に存在する属性か、計算した結果取得した派生属性のいずれか
- データセットをそれぞれディメンションもしくはメジャーという概念として捉える
- これらを組み合わせて使用してデータ集計することで、様々なデータビジュアライゼーションが可能となる
ディメンション
データをグループ化、分離、フィルタリングする、分析の切り口としての属性
- データ分析を行う際には、様々な切り口でデータを分割する
- ディメンションの例として、都道府県別、月別、商品カテゴリ別などが挙げられる
- 主に属性を使用するが、年代別などの数値範囲を使用することもできる
メジャー
分析の対象とする測定可能な数値属性（単純にディメンションの集計結果など）
- 「商品カテゴリ」ディメンションの場合、「売上金額」を集計した「商品カテゴリ別売上金額」、「決済数」を集計した「商品カテゴリ別決済数」、「購買点数」を集計した「商品カテゴリ別購買点数」
- 主に数値を使用するが、過去データと比較した上昇・維持・低下の評価属性もメジャー
- クロス集計分析 -
DNET_CrossTabulationAnalysis.md - また、得られた二次元表をEXCELなどの表計算ソフトに取り込み、表計算ソフトの機能を利用して、様々な分析を行うことができる
-
統計学、人工知能等の技法を適用することで知識を取り出す技術
- 統計学：データの特徴、説明変数で分類、目的変数と説明変数の関係（集約、予測）
- 人工知能等：エンリッチメント、その他
-
X マイニング
- テキスト マイニング：テキストデータから知識を取り出す（その中でもウェブページを対象にしたものをウェブ マイニングと呼ぶ）
- イメージ マイニング：大量の画像データから知識を取り出す手法
- プロセス マイニング：大量のプロセスのデータから知識を取り出す手法
-
参考：機械学習 - 教師なし学習
- データ分析 > 分析の目的と手法 -
DNET_DataAnalysis.md - データマイニング（DM）- CRISP-DM -
DNET_DataMiningCRISPDM.md - データマイニング（DM）- DataSet -
DNET_DataMiningDataSet.md
- データマイニング（DM）- Excel -
DNET_DataMiningExcel.md - データマイニング（DM）- KNIME -
DNET_DataMiningKNIME.md - データマイニング（DM）- Python -
DNET_DataMiningPython.md - データマイニング（DM）- Python - DL -
DNET_DataMiningPythonDL.md
Tags: 移行, BI, ビジネスインテリジェンス, データ分析, OLAP
このWikiは「Open棟梁Project」,「OSSコンソーシアム 開発基盤部会」によって運営されています。