An introduction to graphical models - （图形模型的介绍）.pdf

An introduction to graphical models 朱威達 1. 介紹 Graphical model是機率理論 (probability theory)與圖形理論(graph theory)的結 合，他們提供處理不確定性 (uncertainty)與複雜度(complexity)的工具，在工程問 題中扮演重要的角色。Graphical model的基本概念在於一個複雜的系統可由較簡 單的零件組成。機率理論讓我們可描述這些零件的數學 /相依特性，而圖形理論 則讓我們以直覺的方式指定零件之間的關係。 以下從幾個觀點來說明graphical model ： (1) 表現(representation) ：一個graphical model 如何簡潔地表現一個聯合機率 分佈(joint probability distribution) ？ (2) 推論(inference) ：如何在給定一些觀察之後推論出系統中未知部份的狀 態？ (3) 學習(learning) ：如何推斷系統的結構(structure)與參數(parameter) ？ (4) 決定理論(decision theory) ：如何根據graphical model 推論出來的結果做 出行動？ (5) 應用(application) ：graphical model可用於那些應用？ 2. 表現 (representation) N 若我們有N個binary random variables ，要描述P(X , X , …, X )需要O(2 )個參 1 2 N 數。 Graphical model可大幅減低所需的參數數量，讓推論與學習變得有效率。 有兩種 graphical model ：directed and undirected graphical model 。Directed graphical model又稱為 Bayesian network (BN) 、belief network 、generative model 、 causal model 等。Undirected graphical model又稱為 Markov network或 Markov random field (MRF) 。 2.1 Directed graphical model 在 directed graphical model中，有個箭頭從 node A 到node B代表 A “造成＂ (cause) B 。舉例言之，如圖一所示，“草地是濕的(grass is wet)＂的原因可能有 兩個：灑水器打開(S=true)或下雨 (R=true) 。它們之間的關係可用一個條件機率表 (conditional probability table, CPT) 來描述。比如說，我們可以看到 P(W=true|S=true,R=true) = 0.9 。 從此圖中我們也可看到某些事情之間是獨立的：在給定 parent的情況下，某 個 node 與其他 ancestor 無關。此稱為 conditional independent relationship ，而 Bayesian network 很適合用於描述這樣的關係。現在我們來看此圖的 joint probability distribution (JPD) 。根據chain rule ，它可重新寫成： 圖一、 Bayesian network的例子 P C ,S ,R ,W P C =×P S C ×P R C ,S