第n回
確率については多く話す必要はないと思うので、要点を絞って話を進める。事象Xの発生確率は
で定義される。ただしUは全体集合であり、n(X)はXの元の数である。
事後確率は所謂「条件付き確率」である。
（例）
Aさんがサイコロを2回振って出た目を記録する。その結果を知らないBさんに「どちらかで2の目が出た確率は?」と聞く。答えは（サイコロが完全にランダムとすれば）11/36となる。これが事前確率である。 次にAさんは「出た目の和は6だった」というヒント（新たな情報）を出す。そうすると2の目が出た確率は2/5となる。これが事後確率である。
事後確率 - Wikipediaより引用
事象Bが起こっているとわかっているときに事象Aが発生する事後確率は
で定義される。p(A,B)はAとBの同時発生確率である。
これからBayes理論の話を進めていく上で理論の根幹をなすのがBayesの定理であり、
で表される。導出は非常に単純で、事後確率の定義式より
であるから、両辺をp(A)で割ればBayesの定理が得られる。
機械学習向けに説明すると、例えばC_1〜C_lというlクラスの分類問題において、Aというデータが与えられたときクラスC_iに分類される事後確率は
である。さらに最右辺の分母は規格化定数として見ることができるので
という単純な関係として見ることができる。このとき、p(C_i)を事前確率、p(C_i|A)を事後確率、p(A|C_i)を尤度という。