続・わかりやすいパターン認識 第2章

続・わかりやすいパターン認識

第1章 ベイズ統計学 復習

ベイズの定理

結果(X)から原因(S)を探るための式

  • P(X)・・・周辺確率
  • P(X, S)・・・同時確率(複数の事象が組になって同時に生起する確率) P(X, S) = P(X|S)P(S)
  • P(S|X)・・・条件付き確率(Xという条件下でSが発生する確率)

後の例題のために・・・

ベイズの定理

離散型確率変数についてのベイズの定理

ベイズの定理

連続型確率変数についてのベイズの定理

上式のsigmaをintegralに

例題

表面が白色のカードが4枚,黒色のカードが6枚ある.
各カードは"当たり",もしくは,"外れ"であり,"当たり"のカードの裏面には,
「当」の文字が印刷され,"外れ"のカードの裏面には何も印刷されていない.
"当たり"は白色のカードで2枚,黒色のカードで1枚含まれている.
(1)これら10枚のカードから無作為に1枚取り出すとき,
そのカードが"当たり"である確率を求めよ.
(2)上記の取り出したカードを,表・裏とも見ずにそのままにしておく.
その後,表の色が白であることを知ったとき,このカードが"当たり"である確率を求めよ.

10枚のカードから一枚を無作為に取り出したとき,そのカードが"当たり"である確率はP(S=当)

P(S=当) = 3/10

表の色が白であることを知ったとき,このカードが"当たり"である確率は条件付き確率P(S=当|X=白)に変化する.

ベイズの定理より,

例題1

このとき,ベイズの定理の右辺のP(S)は,色の観測を行う前の"当たり"の確率であり, 左辺のP(S|X)は観測後の"当たり"の確率.

  • P(S) -> 事前確率
  • P(S|X) -> 事後確率

ベイズの定理は観測結果Xを得ることによって,「事前確率が事後確率に変化する」変換式と捉えることができる.

第2章 事前確率と事後確率

例題[1]

箱の中に,外見上は区別がつかない3種類のコインw1,w2,w3が大量に混ざっている.
その含有率はπ1,π2,π3.
これら3種類のコインを投げて表が出る確率はそれぞれθ1,θ2,θ3.
この箱の中からコインを無造作に1枚取り出して投げたところ表が出たとする.
(1)この結果より,そのコインがw1,w2,w3である確率を求めよ.
(2)上記確率をπ1=0.1,π2=0.4,π3=0.5 かつ,θ1=0.8,θ2=0.6,θ3=0.3 の場合について計算せよ.

(1)

結果X(コインを投げた結果)から原因S(コインの種類)を求める.

例題2

このとき,ベイズの定理より,

例題2

ここで,P(X)は,

例題2

コインwがわかっているとき,そのコインを投げて表(X=お)の出る確率は与えられており,

例題2

また,コインwの含有率について,

例題2

これがコインを投げる前に得られている確率で,事前確率に相当.

以上より,

例題2

これをベイズの定理の式に代入して,

例題2

(2)

与えられたそれぞれの値より,

P(X=お) = 0.1x0.8 + 0.4x0.6 + 0.5x0.3 = 0.47

よって,

P(S = w1|X = お) = (0.1x0.8)/0.47 = 0.170

P(S = w2|X = お) = (0.4x0.6)/0.47 = 0.511

P(S = w3|X = お) = (0.5x0.3)/0.47 = 0.319

w1 w2 w3
事前確率P(S=wi) 0.100 0.400 0.500
事後確率P(S=wi|X=お) 0.170 0.511 0.319

例題[2]

箱の中に,外見上は区別がつかない3種類のコインw1,w2,w3が大量に混ざっている.
その含有率はπ1,π2,π3.
これら3種類のコインを投げて表が出る確率はそれぞれθ1,θ2,θ3.
この箱の中からコインを無造作に1枚取り出し,そのコインをn(n>2)回投げたところ,観測結果x1x2・・・xt・・・xnが得られた.
このとき,r(0 =< r =< n)回が表だった.
この結果より,そのコインがw1,w2,w3である確率を求めよ.

コインをn回投げたときの観測結果を以下のように表す.

例題2

取り出したコインwについて観測結果xが得られる確率は各試行の独立性により,

例題2

ベイズ更新

上例題[2]ではコインをn回投げたときの事後確率を直接求めた.

ここでは,ベイズの更新を用いて,逐次的に求めることを考える.

コインを一回投げ,続けて同じコインをもう一度投げる.

コインを一回投げたとき,ベイズの定理より,

例題2

同様に2回投げた後での事後確率は,

例題2

この式は一回目のコインを投げた観測結果P(S=wi|X=x1)を利用して,事後確率P(S=Wi|X=x1x2)を求める形になっている.

同様に,n回投げたとき,

例題2

これにより,一般化ができ,コインをn回投げたときの事後確率P(S=wi|X=x(n))は,それまでに投げた(n-1)回のコインの観測結果に基づく事後確率P(S=wi|X=x(n-1))を事前確率としてみなし,ベイズの定理を適応すれば良いことがわかる.

Bern

上記のように,コインを何度も投げるなどといった同一条件で同じ試行を繰り返すとき,各回の試行は独立であり,他の試行に影響を与えない.

このような試行をベルヌーイ試行という. 一回の試行である事象が生起する確率がθであるとき,その試行をn回繰り返して事象がr回生起する確率Pn(r;θ)は,

例題2

この式で表されるrの分布は二項分布という.

またn=1のとき,r=0,r=1となる確率がそれぞれθ,(1-θ)の離散型確率分布が得られる.これを特にベルヌーイ分布といい,Bern(r;θ)で示す.

Go Top