概率论

先验、后验、似然

根据原因的可能性、结果的可能性、它们的先后顺序和条件关系判断
后验概率
由果溯因，由结果概率分布估计原因概率分布，记作$p(原因｜结果)$条件概率
先验概率
人为假设原因的概率分布，与结果概率分布无关，记作$p(原因)$条件概率
似然概率
由因溯果，由原因概率分布估计结果概率分布，记作$p(结果｜原因)$条件概率
evidence
实际经验给出结果的概率分布，不考虑原因的概率分布，记作$p(结果)$
贝叶斯公式

$p(\theta|x)=\frac{p(x|\theta)p(\theta)}{p(x)}$

$x$:观察测量（结果）
$\theta$:状态量（原因）
$p(\theta|x)$:后验几率
$p(\theta)$:先验几率
$L(\theta|x)或p(x|\theta)$:似然几率
$p(x)$:经验几率

MLE-最大似然估计: 频率学派求模型参数$\Theta$

$\begin{aligned} \hat{\Theta}_{\mathrm{MLE}}&=\arg\max P(X|\Theta) \\ &=\arg\max P(x_1|\Theta)P(x_2|\Theta)\cdots P(x_n|\Theta) \\ &=\arg\max \log\prod_{i=1}^{n}P(x_i|\Theta) \\ &=\arg\max \sum_{i=1}^{n}\log P(x_i|\Theta) \\ &=\arg\min -\sum_{i=1}^{n}\log P(x_i|\Theta) \end{aligned}$

MAP-最大后验估计: 贝叶斯学派求模型参数$\Theta$

$\begin{aligned} \hat{\Theta}_{\mathrm{MAP}}&=\arg\max P(\Theta|X) \\ &=\arg\min -\log P(\Theta|X) \\ &=\arg\min -\log\frac{P(X|\Theta)P(\Theta)}{P(X)} \\ &=\arg\min -\log P(X|\Theta)-\log P(\Theta) + \log P(X)\\ &=\arg\min -\log P(X|\Theta)-\log P(\Theta) \end{aligned}$