PRML 第2章 演習 2.51-2.61

Table of Contents

\begin{align*} \newcommand{\l}{\left} \newcommand{\r}{\right} \newcommand{\f}{\frac} \newcommand{\p}[2]{\frac{\partial #1}{\partial #2}} \newcommand{\A}{\mathbf{A}} \newcommand{\B}{\mathbf{B}} \newcommand{\C}{\mathbf{C}} \newcommand{\D}{\mathbf{D}} \newcommand{\G}{\mathbf{G}} \newcommand{\I}{\mathbf{I}} \newcommand{\L}{\mathbf{L}} \newcommand{\M}{\mathbf{M}} \newcommand{\R}{\mathbf{R}} \newcommand{\S}{\mathbf{S}} \newcommand{\TT}{\mathbf{T}} \newcommand{\W}{\mathbf{W}} \newcommand{\X}{\mathbf{X}} \newcommand{\Y}{\mathbf{Y}} \newcommand{\b}{\mathbf{b}} \newcommand{\e}{\mathbf{e}} \newcommand{\m}{\mathbf{m}} \newcommand{\t}{\mathbf{t}} \newcommand{\u}{\mathbf{u}} \newcommand{\v}{\mathbf{v}} \newcommand{\w}{\mathbf{w}} \newcommand{\x}{\mathbf{x}} \newcommand{\y}{\mathbf{y}} \newcommand{\tt}{\mathbf{\mathsf{t}}} \newcommand{\xx}{\mathbf{\mathsf{x}}} \newcommand{\yy}{\mathbf{\mathsf{y}}} \newcommand{\Λ}{\mathbf{Λ}} \newcommand{\α}{\mathbf{α}} \newcommand{\ε}{\mathbf{ε}} \newcommand{\μ}{\mathbf{μ}} \newcommand{\η}{\mathbf{η}} \newcommand{\Φ}{\mathbf{Φ}} \newcommand{\Σ}{\mathbf{Σ}} \newcommand{\bPhi}{{\rm \bf \Phi}} \newcommand{\bphi}{\boldsymbol \phi} \newcommand{\bvphi}{\boldsymbol \varphi} \newcommand{\E}{{\mathbb{E}}} \newcommand{\D}{{\cal D}} \newcommand{\N}{{\cal N}} \newcommand{\d}{\mathrm{d}} \newcommand{\T}{\mathrm{T}} \newcommand{\Tr}{\mathrm{Tr}} \newcommand{\var}{\mathrm{var}} \newcommand{\cov}{\mathrm{cov}} \newcommand{\mode}{\mathrm{mode}} \newcommand{\Bern}{\mathrm{Bern}} \newcommand{\Beta}{\mathrm{Beta}} \newcommand{\Bin}{\mathrm{Bin}} \newcommand{\Dir}{\mathrm{Dir}} \newcommand{\Gam}{\mathrm{Gam}} \newcommand{\St}{\mathrm{St}} \newcommand{\ML}{\mathrm{ML}} \end{align*}

PRML 第2章 演習 2.51-2.61

2.51 [www] 三角関数の公式

2.52 フォン・ミーゼス分布が\(m→∞\)の極限でガウス分布になることの証明

2.53 フォン・ミーゼス分布における\(θ\)の最尤推定

2.54 フォン・ミーゼス分布の最大値と最小値

2.55 フォン・ミーゼス分布の集中度の最尤推定

2.56 [www] ベータ分布、ガンマ分布、フォン・ミーゼス分布の指数型分布族の一般形への変形

TODO 2.57 多変量ガウス分布の指数型分布族の一般形への変形

指数型分布族の一般形

\begin{align*} p(\x|\η) = h(\x) g(\η) \exp\{ \η^T \u(\x) \} \\ \end{align*}

多変量ガウス分布

\begin{align*} \N(\x|\μ,\Σ) = & \f{1}{(2π)^{D/2}} \f{1}{|\Σ|^{1/2}} \exp\l\{ -\f{1}{2} (\x - \μ)^T \Σ^{-1} (\x - \μ) \r\} \\ = & \f{1}{(2π)^{D/2}} \f{1}{|\Σ|^{1/2}} \exp\l\{ -\f{1}{2} ( \x^T \Σ^{-1} \x - \x^T \Σ^{-1} \μ - \μ^T \Σ^{-1} \x + \μ^T \Σ^{-1} \μ) \r\} \\ = & \f{1}{(2π)^{D/2}} \f{1}{|\Σ|^{1/2}} \exp\l\{ - \f{1}{2} \x^T \Σ^{-1} \x + \μ^T \Σ^{-1} \x - \f{1}{2} \μ^T \Σ^{-1} \μ \r\} \\ \end{align*} \begin{align*} \η = & \l( \begin{array}{c} \μ^T \\ -\f{1}{2} \Σ^{-1} \\ \end{array} \r) \\ \u(\x) = & \l( \begin{array}{c} \Σ^{-1} \x \\ \Σ \x^T \Σ^{-1} \x \\ \end{array} \r) \\ h(\x) = & \f{1}{(2π)^{D/2}} \\ g(\η) = & -2 |\η_2|^{1/2} \exp\l( \η_1 \η_2 \η_1^T \r) \end{align*}

2.58 指数型分布族で\(\ln g(\η)\)の2階微分が\(\u(\x)\)の共分散になることの証明

2.59 \(f(x)\)が正規化されていれば密度も正規化されていることの証明

2.60 [www] ヒストグラム型の密度モデルの最尤推定

2.61 K近傍密度モデルが変速分布であることの証明

Emacs 24.4.4 (Org mode 8.2.10)

Validate