確率を理解してみる－ベイズの定理 - デジタル・デザイン・ラボラトリーな日々

はじめに

前回、ベイズ主義のところで「ベイズの定理」について軽くふれました。
yaju3d.hatenablog.jp

今回、「ベイズの定理」についてもう少し詳しく説明していきます。

ベイズの定理

$P(Y|X) = \displaystyle{\frac{P(Y)P(X|Y)}{P(X)}}$

P(X) : X が起きる確率
P(Y) : Y が起きる確率（事前確率）
P(X|Y) : Y の後でX が起きる確率（条件付き確率、尤度）
P(Y|X) : X の後でY が起きる確率（条件付き確率、事後確率）

確率変数

確率は p(X) という記号で表します。ここで X は「確率変数」、 p(X) は「 X の確率分布」あるいは単に「 X の確率」と言います。X の取り得る値 a に対してその確率を p(X=a)，または簡単に p(a) と書きます。

サイコロの例にすると、X はサイコロをふって出る目の「確率変数」、p(X) がその「確率分布」とします。このとき，X の取り得る値は1から6までの6通りです。
すべての目が同じ割合で出るとすると、「確率の合計は1」という条件から、p(X=1) = ... = p(X=6) = 1/6 となります。

ここまで確率変数は1つでしたが、確率変数は複数個になる場合もあります。特に機械学習では、よほど簡単な例題でも複数の確率変数を持っています。

同時確率と条件付き確率

2個の確率変数 X, Y に対する確率分布を p(X, Y) と書き、XとYの「同時分布」または「同時確率」と言います。
確率変数 X に何かある値が与えられているときのYの確率を p(Y|X) と書き、Xが与えられているときのYの「条件付き確率」と言います。確率変数 X は気にせずに、確率変数 Y のみの確率を考える場合もあります。これは p(X, Y) の Y に関する「周辺確率」と言い、単純に p(Y) と書きます。

例えば「あなたは女性だとして、美人である確率は？」という問題があった場合、先ほどの記号で表すと「P(美女|女性)」となります。
p(Y|X)で、X が前提の上で Y がで成り立つ確率となるわけです。
ベン図で表した場合
f:id:Yaju3D:20160911231744p:plain

数式 $P(Y|X) = \displaystyle{\frac{P(X \cap Y)}{P(X)}}$

数式の変形

最初の方でベイズの定理の数式を書いたのですが、先ほどの数式と違いますね。
これは式を変形した結果なのです。
$P(Y|X) = \displaystyle{\frac{P(Y)P(X|Y)}{P(X)}}$ → $P(Y|X) = \displaystyle{\frac{P(X \cap Y)}{P(X)}}$

分子の部分参照:ベイズの定理の基本的な解説
f:id:Yaju3D:20160911234122p:plain

変形式は何故そうなるのか？
$P(Y|X) = \displaystyle{\frac{P(X \cap Y)}{P(X)}}$
なので、分母を消してみます。分母を消すには左辺と右辺に $P(X)$ を掛けます。

$P(X)P(Y|X) = \displaystyle{P(X \cap Y)}$
変形式を分かりやすくするため、左辺と右辺の入れ替えて表示します。
$P(X \cap Y) = \displaystyle{P(X)P(Y|X)}$
分子は変形式と同じ？ちょっと待って下さいね。
よく見ると $P(X)P(Y|X)$ と $P(Y)P(X|Y)$ とXとYの順序が違ってます。
実は、 $P(X)P(Y|X) = P(Y)P(X|Y)$ となることが証明(参照:ベイズの定理の証明)されています。
よって、
$P(Y|X) = \displaystyle{\frac{P(X)P(Y|X)}{P(X)} = \frac{P(Y)P(X|Y)}{P(X)}}$

問題例1　喫煙者の推定の問題

問題

「男性１０人、女性７人が一室でパーティーを開いた。男子の喫煙者は５人、女性は３人である。部屋に入ったら煙草の吸殻が１本、灰皿の上にあった。このとき、吸った人が女性である確率を求めなさい（煙草の吸い回しはしていないと仮定する）」
出展：ベイズ推定の例題とその解

ベイズの定理による解法

吸った人が女性である確率を求めるということは、 $P(女性|喫煙者)$ を求めることである。
ベイズの定理によって、下記式を求めることになる。
$P(女性|喫煙者) = \displaystyle{\frac{P(女性)P(喫煙者|女性)}{P(喫煙者)}}$
$P(女性) = \displaystyle{\frac{7}{(7+10)} = \frac{7}{17}}$
$P(喫煙者|女性) = \displaystyle{\frac{3}{7}}$
$P(喫煙者) = \displaystyle{\frac{(3+5)}{(7+10)} = \frac{8}{17}}$
上式に代入して、分母の分母を消すために17を分母と分子に掛けます。17と7が相殺されます。
$P(女性|喫煙者) = \displaystyle{\frac{\frac{7}{17} \times \frac{3}{7}}{\frac{8}{17}} = \frac{\frac{7}{17} \times \frac{3}{7} \times \frac{17}{1} }{\frac{8}{17} \times \frac{17}{1} }= \frac{3}{8}}$

集合論による解法

次の図のような状況であった。吸殻を残したのは喫煙者の誰かであり、喫煙者が女性である確率は、図から明らかに $\displaystyle{\frac{3}{8}}$ である。
f:id:Yaju3D:20161001194113p:plain

解説

この例題から分かるように、この問題をベイズの定理を使って解く理由は特にない。普通にベン図を使った集合論で解けば良い。
それでもベイズの定理を使うことを推奨できるとすれば、定理の各項にかなり機械的に数値を当てはめれば良いことだろうか。

問題例2　1976年の早稲田大学の入試問題

問題

5回に1回の割合で帽子を忘れるくせのあるY君が、正月にA、B、Cの3軒を順に年始回りをして家に帰ったとき、帽子を忘れてきたことに気がつきました。2 軒目の家Bに忘れてきた確率はいくらになりますか。出展：その124 忘れ易い条件　その2

f:id:Yaju3D:20161016223312p:plain
f:id:Yaju3D:20161016223332p:plain

通常の解法

5回に1回忘れるとため、3軒のそれぞれで忘れる確率は $\displaystyle{\frac{1}{5}}$
しかし、回る順番が決まっておりそのうちの2軒目のBで忘れる確率が求められている。

1軒目のAで忘れないことが前提になるため、Bでの忘れる確率は1軒目Aで忘れない確率 $\displaystyle{\frac{4}{5}}$ と
Bで忘れる確率 $\displaystyle{\frac{1}{5}}$ を掛けた、 $\displaystyle{\frac{4}{5} \times \frac{1}{5} = \frac{4}{25}}$
同様にもしもCで忘れる確率となれば、 $\displaystyle{\frac{4}{5} \times \frac{4}{5} \times \frac{1}{5} = \frac{16}{125}}$ です。 f:id:Yaju3D:20161016225000p:plain
では、Bで忘れる確率 $\displaystyle{\frac{4}{5}}$ が正解であると思いがちですが、「確率の問題を取り扱う場合、すべてのケースの確率を合計すると1になる」という前提があります。
3軒のA、B、C どれかで忘れる確率は、 $\displaystyle{\frac{1}{5}}$ 、 $\displaystyle{\frac{4}{25}}$ 、 $\displaystyle{\frac{16}{125}}$ の合計になるので、 $\displaystyle{\frac{1}{5} + \frac{4}{25} + \frac{16}{125} = \frac{25}{125} + \frac{20}{125} + \frac{16}{125} = \frac{61}{125}}$ となりますが、これだけでは $\displaystyle{1}$ になりません。
f:id:Yaju3D:20161016231231p:plain
では、その残りの $\displaystyle{\frac{64}{125}}$ は何か？
それはこの合計を出したときの条件以外のときの確率で、これら3軒のどこにも帽子を忘れないという確率です。つまり $\displaystyle{\frac{4}{5} \times \frac{4}{5} \times \frac{4}{5} = \frac{64}{125}}$

f:id:Yaju3D:20161018033745p:plain
確率の問題を取り扱う場合、すべてのケースの確率を合計すると $\displaystyle{1}$ とする必要があるため、そのようにするにはそれぞれに対し $\displaystyle{\frac{61}{125}}$ 倍すればいいのです。
計算すると $\displaystyle{\frac{25}{61}+\frac{20}{61}+\frac{16}{61}=1}$ となって、A、B、Cそれぞれの割合、つまり帽子を忘れてくる確率が順に $\displaystyle{\frac{25}{61}}$ 、 $\displaystyle{\frac{20}{61}}$ 、 $\displaystyle{\frac{16}{61}}$ と出てきます。
したがってBで帽子を忘れてきたとされる確率は $\displaystyle{\frac{20}{61}}$ になります。

ベイズの定理による解法

X を帽子を忘れるという事象
Y を帽子を家 B に忘れるという事象とする。

求める確率は $P(Y|X) = \displaystyle{\frac{P(X \cap Y)}{P(X)}}$
(条件付き確率の定義)

$P(X)$ は帽子をどこかに忘れる確率：
$\displaystyle{\frac{1}{5} + \frac{4}{5} \times \frac{1}{5} + \frac{4}{5} \times \frac{4}{5} \times \frac{1}{5} = \frac{61}{125}}$

$P(X \cap Y)$ は帽子を家 B に忘れる確率：
$\displaystyle{\frac{4}{5} \times \frac{1}{5} = \frac{4}{25}}$

よって求める確率は(※ $\frac{5}{5}$ は分母 $125$ にして打ち消すため)
$\displaystyle{\frac{\frac{4}{25}}{\frac{61}{125}} = \frac{\frac{4}{25} \times \frac{5}{5}}{\frac{61}{125}} = \frac{\frac{20}{125}}{\frac{61}{125}} = \frac{20}{61}}$