『史上最強図解 これならわかる！ ベイズ統計学』

史上最強図解　これならわかる！ベイズ統計学

posted with amazlet at 16.11.20

涌井 良幸 涌井 貞美
ナツメ社
売り上げランキング: 33,414

Amazon.co.jpで詳細を見る

• ベイズの定理
• ベイズの基本公式
• ベイズの展開公式
• ベイズ理論の計算の３ステップ
• 理由不十分の原則
• ベイズ更新
• 検査の問題
• ナイーブ・ベイズ・フィルター
• 確率分布のベイズ推定
• ベイジアンネットワーク
• ベイズ統計学

ベイズの定理

$P\left(A\right|B)=\frac{P\left(B\right|A\left)P\right(A)}{P\left(B\right)}$

「ベイズの定理」の解釈の違いにより、ベイズ確率論とベイズ統計論に分かれる。

ベイズ確率論	A・・・原因 B・・・結果
ベイズ統計論	A・・・確率分布の母数 B・・・データ

統計学	従来の統計学（頻度論）	ネイマンとピアソンが完成させた。 頻度論者は、不厳密で曖昧なベイズ理論を否定。
	ベイズ統計学	トーマス・ベイズが「ベイズの定理」を導き出した。 欠点だった「不厳密・曖昧」が長所に。 「経験」や「常識」を取り込んだデータ処理が可能に。

	データへの対応	母数（平均,分散,など）
従来の統計学	たくさんある中の一つとして扱う	母集団固有の唯一値を仮定
ベイズ統計学	一期一会的に扱う	確率変数であり、その分布を調べようとする

「条件付き確率」と「同時確率」

条件付き確率	P(B|A)	事象Aが起こったという条件のもとで事象Bが起こる確率。
同時確率	P(B∩A)	事象Aと事象Bが同時に起こる確率。

条件付き確率

$P\left(B\right|A)=\frac{P(A\cap B)}{P\left(A\right)}$

確率の乗法定理

$P(A\cap B)=P\left(A\right)P\left(B\right|A)$ $P(A\cap B)=P\left(B\right)P\left(A\right|B)$

ベイズの定理

$P\left(A\right|B)=\frac{P\left(B\right|A\left)P\right(A)}{P\left(B\right)}$ $BのもとでAが起こる\mathrm{確率}=\frac{AのもとでBが起こる\mathrm{確率}\times Aの起こる\mathrm{確率}}{Bの起こる\mathrm{確率}}$

ベイズの基本公式

$P\left(H\right|D)=\frac{P\left(D\right|H\left)P\right(H)}{P\left(D\right)}$

• ベイズの定理のAやBの解釈を変える。
  • A → 原因や仮定（Hypothesis）
  • B → 結果やデータ（Data）
• ベイズの基本公式は、原因から結果をたどるように変換してくれる。
• 左辺P(H|D)は、「データDが得られたときの原因がHである」条件付き確率。

ベイズの展開公式

データDは原因H1, H2, ... Hn のどれか１つから生まれると仮定する。 このときデータDが得られたとき、その原因Hiである確率P(Hi|D)は、

$P\left(H_i\right|D)=\frac{P\left(D\right|H_i\left)P\right(H_i)}{P\left(D\right|H_1\left)P\right(H_1)+P(D\left|H_2\right)P\left(H_2\right)+\dots +P\left(D\right|H_n\left)P\right(H_n)}$

$\mathrm{事後確率}=\frac{\mathrm{尤度}\times \mathrm{事前確率}}{・・・}$

$P\left(H_i\right|D)$	事後確率 Posterior Probability	データDが原因Hiから得られた確率
$P\left(D\right|H_i)$	尤度 （ゆうど） likelihood	原因HiのもとでデータDが得られる確率
$P\left(H_i\right)$	事前確率 Prior Probability	データDを得る前の原因Hiの確からしさ

ホテルのアナロジー

国際ホテルの部屋 H1, H2, ... Hn に泊まっている客を任意に選ぶ。 選ばれた客が日本人である事象を D とする。

事後確率 P(Hi|D)	「日本人が選ばれたとき、彼が部屋Hiから来た」確率
尤度 P(D|Hi)	「部屋Hiの中で、日本人が選ばれる」確率
事前確率 P(Hi)	一人が選ばれる前の「部屋Hiの選ばれやすさ」

ベイズ理論の計算の３ステップ

1. モデル化し、それから尤度を算出
2. 事前確率を設定
3. ベイズの展開公式を用いて事後確率を算出

壺の例題

H1	取り出した玉が壺１からのものである
H2	取り出した玉が壺２からのものである
H3	取り出した玉が壺３からのものである
R	取り出した玉が赤（Red）である

事後確率

P(H1|R)	取り出した玉が赤のとき、それが壺１から来た確率
P(H2|R)	取り出した玉が赤のとき、それが壺２から来た確率
P(H3|R)	取り出した玉が赤のとき、それが壺３から来た確率	これを求めたい

尤度

P(R|H1)	壺１から取り出された玉が赤である確率	1/3
P(R|H2)	壺２から取り出された玉が赤である確率	2/3
P(R|H3)	壺３から取り出された玉が赤である確率	3/3

事前確率

P(H1)	壺１が選ばれる確率	3/6
P(H2)	壺２が選ばれる確率	2/6
P(H3)	壺３が選ばれる確率	1/6

$P\left(H_i\right|D)=\frac{P\left(D\right|H_i\left)P\right(H_i)}{P\left(D\right|H_1\left)P\right(H_1)+P(D\left|H_2\right)P\left(H_2\right)+\dots +P\left(D\right|H_n\left)P\right(H_n)}$

$P\left(H_3\right|D)=\frac{P\left(R\right|H_3\left)P\right(H_3)}{P\left(R\right|H_1\left)P\right(H_1)+P(R\left|H_2\right)P\left(H_2\right)+P\left(R\right|H_3\left)P\right(H_3)}$

$P\left(H_3\right|D)=\frac{{\displaystyle \frac{3}{3}}\times {\displaystyle \frac{1}{6}}}{({\displaystyle \frac{1}{3}}\times {\displaystyle \frac{3}{6}})+({\displaystyle \frac{2}{3}}\times {\displaystyle \frac{2}{6}})+({\displaystyle \frac{3}{3}}\times {\displaystyle \frac{1}{6}})}=\frac{3}{10}$

理由不十分の原則

「何も情報がなければ確率は同等」という発想。

前の例題では事前確率（それぞれの壺の選ばれやすさ＝3 : 2 : 1）が与えられていたが、与えられていない場合は「理由不十分の原則」に従い、以下のようになる。

事前確率

P(H1)	壺１が選ばれる確率	1/3
P(H2)	壺２が選ばれる確率	1/3
P(H3)	壺３が選ばれる確率	1/3

ベイズ更新

１回目のデータ解析で得られた事後確率を、２回めのデータ解析の際の新たな事前確率として利用すること。

例題. 「真珠 → 真珠 → ガラス」の場合、箱がA社製である確率は？
↓

尤度

真珠	P(S|HA)	3/4
	P(S|HB)	1/4
ガラス	P(G|HA)	1/4
	P(G|HB)	3/4

１回目の解析

事前確率（理由不十分の原理より）

P(HA)	1/2
P(HB)	1/2

事後確率

P(HA|S)	$\frac{{\displaystyle \frac{3}{4}}\times {\displaystyle \frac{1}{2}}}{({\displaystyle \frac{3}{4}}\times {\displaystyle \frac{1}{2}})+({\displaystyle \frac{1}{4}}\times {\displaystyle \frac{1}{2}})}=\frac{3}{4}$
P(HB|S)	$\frac{{\displaystyle \frac{1}{4}}\times {\displaystyle \frac{1}{2}}}{({\displaystyle \frac{3}{4}}\times {\displaystyle \frac{1}{2}})+({\displaystyle \frac{1}{4}}\times {\displaystyle \frac{1}{2}})}=\frac{1}{4}$

２回目の解析

事前確率　（１回目の事後確率より）

P(HA)	3/4
P(HB)	1/4

事後確率

P(HA|S)	$\frac{{\displaystyle \frac{3}{4}}\times {\displaystyle \frac{3}{4}}}{({\displaystyle \frac{3}{4}}\times {\displaystyle \frac{3}{4}})+({\displaystyle \frac{1}{4}}\times {\displaystyle \frac{1}{4}})}=\frac{9}{10}$
P(HB|S)	$\frac{{\displaystyle \frac{1}{4}}\times {\displaystyle \frac{1}{4}}}{({\displaystyle \frac{3}{4}}\times {\displaystyle \frac{3}{4}})+({\displaystyle \frac{1}{4}}\times {\displaystyle \frac{1}{4}})}=\frac{1}{10}$

３回目の解析

事前確率　（２回目の事後確率より）

P(HA)	9/10
P(HB)	1/10

事後確率

P(HA|S)	$\frac{{\displaystyle \frac{1}{4}}\times {\displaystyle \frac{9}{10}}}{({\displaystyle \frac{1}{4}}\times {\displaystyle \frac{9}{10}})+({\displaystyle \frac{3}{4}}\times {\displaystyle \frac{1}{10}})}=\frac{9}{12}=75\%$
P(HB|S)	$\frac{{\displaystyle \frac{3}{4}}\times {\displaystyle \frac{1}{10}}}{({\displaystyle \frac{1}{4}}\times {\displaystyle \frac{9}{10}})+({\displaystyle \frac{3}{4}}\times {\displaystyle \frac{1}{10}})}=\frac{3}{12}=25\%$

事後確率の変動と「信念」の揺らぎとが、よく似通っている。ベイズの論理が人間心理をよく表現する、と言われれる所以。

ベイズ更新による逐次合理性

データが同じであれば解析順序に依らないことが保証されている。 前の例題では「真珠 → 真珠 → ガラス」であったが、「真珠 → ガラス → 真珠」でも「ガラス → 真珠 → 真珠」でも結果は同じになる。

検査の問題

• 病気にかかっている人が検査Tを受ける　　→　98%の確率で病気であると「正」判定される。
• 病気にかかっていない人が検査Tを受ける　→　 5%の確率で病気であると「誤」判定される。
• 人全体でその病気にかかっている人　＝　 3%
• 人全体でその病気にかかっていない人＝　97%
• 無作為に抽出した１人に検査Tを受けさせ、病気であると判定された場合、この人が実際に病気にかかっている確率は？
• つまり求めたいのは、事後確率　P(病人|陽性)　。

尤度

P(D|H1) = P(陽性|病人)	0.98
P(D|H2) = P(陽性|健康)	0.05

事前確率

P(H1) = P(病人)	0.03
P(H2) = P(健康)	0.97

事後確率

P(H1|D) = P(病人|陽性)	？
P(H2|D) = P(健康|陽性)	ー

$P\left(\mathrm{病人}\right|\mathrm{陽性})=\frac{P\left(\mathrm{陽性}\right|\mathrm{病人}) P(\mathrm{病人})}{P\left(\mathrm{陽性}\right|\mathrm{病人}) P(\mathrm{病人})＋P(\mathrm{陽性}\left|\mathrm{健康}\right) P\left(\mathrm{健康}\right)}$

$\frac{0.98\times 0.03}{0.98\times 0.03+0.05\times 0.97}=37.7\%$

基準率の無視

人は尤度に目を奪われ事前確率に疎くなってしまう。

ナイーブベイズフィルター

「文書やメールの中の単語はすべて独立」という苦しい仮定（ナイーブな仮定）の基、文書やメールをフィルタリングする方法。

確率分布のベイズ推定

中の見えない１つの壺。
赤玉と白玉が合計３つ入っている。
「無作為に取り出し、元に戻す」を２回行なった。
すると、２回続けて赤玉が出た。
壺の中の赤玉の個数の確率分布は？

３種類の壺があると仮定する。

• H₁ = 赤玉が１個入った壺
• H₂ = 赤玉が２個入った壺
• H₃ = 赤玉が３個入った壺

つまり、尤度は

• P(R|H₁) = 1/3
• P(R|H₂) = 2/3
• P(R|H₃) = 3/3

である。

「理由不十分の原理」より事前確率を

• P(H₁) = 1/3
• P(H₂) = 1/3
• P(H₃) = 1/3

とし、１回目の解析を行なう。

１回目は赤玉が出たので、「ベイズの展開公式」より、その事後確率は

• P(H₁|R) = 1/6
• P(H₂|R) = 1/3
• P(H₃|R) = 1/2

となる。

次に、２回めの解析を行なう。

尤度は変わらない。

事前確率は、１回めの事後確率を使用する。

• P(H₁) = 1/6
• P(H₂) = 1/3
• P(H₃) = 1/2

２回目も赤玉が出たが、「ベイズの展開公式」より、その事後確率は

• P(H₁|R) = 1/14
• P(H₂|R) = 2/7
• P(H₃|R) = 9/14

となる。

２回目の事後確率より、壺の中の赤玉の期待値は

• (1 * 1/14) + (2 * 2/7) + (3 * 9/14) = 2.57 [個]

となる。

また、原因H₃の事後確率が最大であることから、壺の中の赤玉の個数のMAP推定値は

• 3 [個]

となる。

MAP推定

事後確率が最大な原因を真の原因と推定する方法。
Maximum ap posteriori

ベイジアンネットワーク

「泥棒と警報機」の例題

以下の振動に反応する警報機（Alarm）がある。

• 泥棒（Burglar）
• 地震（Earthquake）

警報機（Alarm）が作動すると、以下のどちらか、または両方に通報される。

• 警察（Police）
• 警備会社（Security）

問１．警報機（Alarm）が作動したとき、原因が泥棒（Burglar）である確率 P(B|A) は？

問２．警備会社（Secutiry）に通報が来たとき、原因が泥棒（Burglar）である確率 P(B|S) は？

問１．警報機（Alarm）が作動したとき、原因が泥棒（Burglar）である確率 P(B|A) は？

ベイズの定理より
$P\left(B\right|A)=\frac{P\left(A\right|B\left)P\right(B)}{P\left(A\right)}$

上式の

• P(A|B)・・・泥棒が入ったときに警報機が鳴る確率
• P(B)・・・泥棒が入る確率
• P(A)・・・警報機が鳴る確率

をそれぞれ求める。

公式より
$P\left(A\right|B)=P(A|B,E)P\left(E\right)+P\left(A\right|B,\overline{E}\left)P\right(\overline{E})$ （カンマは同時確率∩の意味）

表より
P(A|B)=0.95 * 0.02 + 0.94 * 0.98 = 0.9402

表より
P(B) = 0.01

$P\left(A\right)=P(A\cap B\cap E)+P(A\cap B\cap \overline{E})+P(A\cap \overline{B}\cap E)+P(A\cap \overline{B}\cap \overline{E})$

「確率の乗法定理」とか「BとEが独立である事実〜P(B∩E)=P(B)P(E)」とか表より
P(A) = 0.0092166

以上より、
P(B|A) = 10.2%

ベイズ統計学のための準備

確率分布

一様分布

確率密度関数	$f\left(x\right)=\frac{1}{b-a} (a\le x\le b)$
平均値	$\mu =\frac{a+b}{2}$
分散	${\sigma }^2=\frac{(a-b{)}^2}{12}$

ベルヌーイ分布

確率密度関数
平均値	$\mu =p$
分散	${\sigma }^2=p(1-p)$

正規分布

確率密度関数	$f\left(x\right)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$
平均値	$\mu$
分散	${\sigma }^2$

ベータ分布

確率密度関数	$f\left(x\right)=k{x}^{p-1}(1-x{)}^{q-1}$ (kは定数、p,qは正の定数、$0<x<1$)
平均値	$\mu =\frac{p}{p+q}$
分散	${\sigma }^2=\frac{pq}{(p+q{)}^2(p+q+1)}$
モード	$M=\frac{p-1}{p+q+1}$

ベイズ統計学

従来の統計学	母数（平均や分散）は定数。 その値が問題になる。
ベイズ統計学	母数（平均や分散）は確率変数。 その分布が問題になる。

母数を${\theta }_i$とすると、
$P\left({\theta }_i\right|D)=\frac{P\left(D\right|{\theta }_i\left)P\right({\theta }_i)}{P\left(D\right|{\theta }_1\left)P\right({\theta }_1)+P(D\left|{\theta }_2\right)P\left({\theta }_2\right)+\cdots +P\left(D\right|{\theta }_n\left)P\right({\theta }_n)}$

$P\left({\theta }_i\right|D)$	事後確率	データDが得られたとき、それが母数${\theta }_i$の確率分布から得られた確率
$P\left(D\right|{\theta }_i)$	尤度	母数${\theta }_i$の確率分布のもとで、データDが得られる確率
$P\left({\theta }_i\right)$	事前確率	データDを得る前の母数${\theta }_i$の生起確率

分母はデータDを得るときの確率P(D)である。
$k=\frac{1}{P\left(D\right)}$
とすると、
$P\left({\theta }_i\right|D)=k P(D\left|{\theta }_i\right)P\left({\theta }_i\right)$

母数を離散的ではなく連続的であると捉えると、

離散的		連続的
事後確率	$P\left({\theta }_i\right|D)$	事後分布	$\pi \left(\theta \right)$
尤度	$P\left(D\right|{\theta }_i)$	尤度	$f\left(D\right|\theta )$
事前確率	$P\left({\theta }_i\right)$	事前分布	$\pi \left(\theta \right|D)$

ベイズ統計学の基本公式が得られる。
$\pi \left(\theta \right|D)=kf(D\left|\theta \right)\pi \left(\theta \right)$

$\pi \left(\theta \right|D)$	事後分布	データDが得られたとき、それが母数${\theta }_i$の確率分布から得られた確率
$kf\left(D\right|\theta )$	尤度	母数${\theta }_i$の確率分布のもとで、データDが得られる確率
$\pi \left(\theta \right)$	事前分布	データDを得る前の母数${\theta }_i$の生起確率

ベイズ統計学の具体例

例①

内容量xは正規分布に従う。
分布は${１}^{２}$である。
製品１つを抽出したら、内容量xは101グラムであった。
この工場から作られる製品内容量の「平均値μの確率分布」（μの確率密度関数）は？

【答】
「ベイズ統計学の基本公式」に代入する。
$\pi \left(\theta \right|D)=kf(D\left|\theta \right)\pi \left(\theta \right)$
↓
$\pi \left(\mu \right|x=101)=kf(x=100\left|\mu \right)\pi \left(\mu \right)$

$\pi \left(\mu \right|x=101)$	事後分布	内容量ｘ＝101グラムが得られたとき、それが平均値μの確率分布から得られた確率
$f(x=101|\mu )$	尤度	平均値μの確率分布（正規分布）のもとで、内容量ｘ＝101グラムが得られる確率 $=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{(x-\mu {)}^2}{2}}=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{(101-\mu {)}^2}{2}}$
$\pi \left(\mu \right)$	事前分布	内容量x=101グラムを得る前の平均値μの生起確率 「理由不十分の原則」より、一様分布を仮定する。 =1

以上より事後分布は、
$\pi \left(\mu \right|x=101)=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{(101-\mu {)}^2}{2}}$

尤度		平均値μの正規分布（分散12）（確率密度関数）において、101が得られる確率。
×
事前分布		なにも情報がない状態なので、一様分布を仮定する。
||
事後分布		事前分布が一様分布なので、形は尤度と同じ。 ｘ軸はμ。 平均値μの確率分布。 平均値μは101である確率が最も大きい。

例② データがベルヌーイ分布に従うとき

表の出る確率がθであるコインを投げた。
１回目・・・表
２回目・・・表
３回目・・・表
４回目・・・裏
「表が出る確率θ」の確率分布（事後分布）は？

【答】
■尤度（母数θである確率分布において、表が出る確率）

f(表|θ) = θ
f(裏|θ) = 1 - θ
（↑ベルヌーイ分布）

■１回目の事前分布（コインを投げる前の「表の出る確率θ」がどんな値になるかの確率）

「理由不十分の原則」より
π₀(θ) = 1
（↑一様分布）

■１回目の事後分布

ベイズ統計学の基本公式より、
π(θ|D) = kf(D|θ)π(θ)

１回目は表だから、
π₁(θ|表) = k₁f(表|θ)π(θ)

尤度・事前分布に具体的な値を代入すると、
π₁(θ|表) = k₁θ
確率の総和は１になるので（規格化条件）、
${\int }_0^1{\pi }_1\left(\theta \right|表)d\theta ={\int }_0^1{k}_1\theta d\theta =1$
k₁ = 2
よって１回目の事後分布は
π₁(θ|表) = 2θ


■２回目の事前分布

１回目の事後分布である。
π₁(θ|表) = 2θ

■２回目の事後分布

ベイズ統計学の基本公式より、
π(θ|D) = kf(D|θ)π(θ)

１回目は表だから、
π₂(θ|表) = k₂f(表|θ)π(θ)

尤度・事前分布に具体的な値を代入すると、
π₂(θ|表) = k₂ × θ × 2θ
π₂(θ|表) = 2k₂θ²

確率の総和は１になるので（規格化条件）、
k₂ = 3/2

π₂(θ|表) = 3θ²


■３回目の事前分布

２回目の事後分布である。
π₂(θ|表) = 3θ²

■３回目の事後分布

ベイズ統計学の基本公式より、
π(θ|D) = kf(D|θ)π(θ)

３回目は表だから、
π₃(θ|表) = k₃f(表|θ)π(θ)

尤度・事前分布に具体的な値を代入すると、
π₃(θ|表) = k₃ × θ × 3θ²
π₃(θ|表) = 3k₃θ³

確率の総和は１になるので（規格化条件）、k₃が求まり、
π₃(θ|表) = 4θ³


■４回目の事前分布

３回目の事後分布である。
π₃(θ|表) = 4θ³

■４回目の事後分布

ベイズ統計学の基本公式より、
π(θ|D) = kf(D|θ)π(θ)

４回目は裏だから、
π₄(θ|裏) = k₄f(裏|θ)π(θ)

尤度・事前分布に具体的な値を代入すると、
π₄(θ|裏) = k₄ × (1 - θ) × 4θ³
π₄(θ|裏) = 20θ³(1 - θ)

事後分布を最大にするθは、
θ = 3/4 = 0.75

MAP推定より、「表の出る確率θ」の推定値は
3/4 である。

4回投げて3回表だから当たり前か。


■まとめ

１回目の事前分布	π0(θ) = 1
１回目の事後分布 ２回目の事前分布	π1(θ|表) = 2θ
２回目の事後分布 ３回目の事前分布	π2(θ|表) = 3θ2
３回目の事後分布 ４回目の事前分布	π3(θ|表) = 4θ3
４回目の事後分布	π4(θ|裏) = 20θ3(1 - θ)

【別解】
尤度をまとめれば一発で事後確率が求まる。

■尤度
f(表表表裏|θ) = θ³(1-θ)

■事後確率
π(θ|表表表裏) = k × f(表表表裏|θ) × π(θ)
= k × θ³(1-θ) × 1
= 20θ³(1-θ)

例③ データが正規分布に従うとき

内容量ｘグラムは正規分布に従い、分散は1²。
製品を３つ調べた。
１回目・・・ 99グラム
２回目・・・101グラム
３回目・・・103グラム
内容量ｘの「平均値μの確率分布」は？

【答】
■尤度
まとめて求める。
f(90,101,103|μ) = 略（正規分布になる）

■事前分布
とりあえず、なだらかな正規分布を仮定する。

■事後分布
略　（正規分布になる）

自然な共役分布

ある分布に従うデータに対して、事前分布に特定の分布を指定すると、事後分布が事前分布と同じになる関係を「自然な共役分布の関係」という。

データの分布	事前分布	事後分布
ベルヌーイ分布	ベータ分布	ベータ分布
正規分布	正規分布	正規分布
正規分布	逆ガンマ分布	逆ガンマ分布
ポアソン分布	ガンマ分布	ガンマ分布

史上最強図解　これならわかる！ベイズ統計学

posted with amazlet at 16.11.20

涌井 良幸 涌井 貞美
ナツメ社
売り上げランキング: 33,414

Amazon.co.jpで詳細を見る