📖基础知识｜概率论

2024-6-2|2024-11-23
黎明
黎明
type
status
date
slug
summary
tags
category
icon
password
进度
 
摘要&介绍条件概率联合概率边缘概率参考文献
 

摘要&介绍

概率论中三个基本概念：条件概率、联合概率和边缘概率。它们描述随机事件间的关系和概率分布。在机器学习中，经常使用概率论公式推导和证明。本文帮忙理解常用公式并尝试证明。
 

条件概率

设 A 与 B 为样本空间 Ω 中的两个事件，其中 P(B)>0。那么在事件 B 发生的条件下，事件 A 发生的条件概率为：
欧拉图表示（Euler Diagram）
notion image
 
 
两次公平掷骰子（Two fair six-sided dice）
规则一： 第一次正面朝上的数字是2
规则二： 两次朝上数字之和小于等于5
表1
ㅤ
ㅤ
D2
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
+
1
2
3
4
5
6
D1
1
2
3
4
5
6
7
ㅤ
2
3✅
4✅
5✅
6✅
7✅
8✅
ㅤ
3
4
5
6
7
8
9
ㅤ
4
5
6
7
8
9
10
ㅤ
5
6
7
8
9
10
11
ㅤ
6
7
8
9
10
11
12
表2
ㅤ
ㅤ
D2
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
+
1
2
3
4
5
6
D1
1
2✅
3✅
4✅
5✅
6
7
ㅤ
2
3✅
4✅
5✅
6
7
8
ㅤ
3
4✅
5✅
6
7
8
9
ㅤ
4
5✅
6
7
8
9
10
ㅤ
5
6
7
8
9
10
11
ㅤ
6
7
8
9
10
11
12
ㅤ
ㅤ
D2
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
+
1
2
3
4
5
6
D1
1
2✅
3✅
4✅
5✅
6
7
ㅤ
2
3🌻
4🌻
5🌻
6
7
8
ㅤ
3
4✅
5✅
6
7
8
9
ㅤ
4
5✅
6
7
8
9
10
ㅤ
5
6
7
8
9
10
11
ㅤ
6
7
8
9
10
11
12
令D1表示第一次掷骰子正面朝上的值
令D2表示第二次掷骰子正面朝上的值
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
使用公式：

联合概率

设 X 与 Y 为样本空间 Ω 中的两个事件，联合概率分布是所有可能输出的相应概率分布。X，Y 可能是离散或是连续分布。
两个离散随机变量 𝑋, 𝑌 的联合概率函数是:
等价于：
约束：
概率链式法则:
=
 
示例：假设随机变量，联合概率 可以分解为:
约束：
notion image
 
两次公平掷骰子（Two fair six-sided dice）
规则一： 若是，则为1，否则为0
规则二： 若是，则为1，否则为0
ㅤ
1
2
3
4
5
6
D1
0
1
0
1
0
1
D2
0
1
1
0
1
0
 
 
红色：表示 P(X) 的概率分布
蓝色：表示 P(Y) 的概率分布
绿色：表示 的联合概率分布
 
 
 
令
令
 

边缘概率

在联合概率中，只观测某个随机变量发生的概率，而忽略其他随机变量。即将其他随机变量合成其的全概率（离散随机变量求和得全概率，连续随机变量积分得全概率）。在联合概率中，的边缘概率表示，的边缘概率表示。
 
两次公平掷骰子（Two fair six-sided dice）
规则一： 若是，则为1，否则为0
规则二： 若是，则为1，否则为0
ㅤ
1
2
3
4
5
6
D1
0
1
0
1
0
1
D2
0
1
1
0
1
0
令
令
 
则的边缘概率
 
 

参考文献

 
深度学习
动画｜Blender机器学习｜EM算法
Loading...