企业官网建设流程全解析

2.1 概率论基本知识

2.1.1 样本空间与随机事件

1. 随机试验：结果具有随机性，试验结果不可预先预测的试验，记作E。
2. 样本空间Ω：随机试验所有可能结果构成的集合；集合内每一个基本结果称为样本点ω。
例：抛一枚硬币，样本空间Ω={H,T}，H表示正面，T表示反面。
3. 随机事件：样本空间Ω的任意子集E⊂Ω，简称事件。事件是若干样本点的集合，事件发生等价于集合内某个样本点出现。

2.1.2 概率、条件概率、联合概率

1. 概率的公理化定义
对于样本空间Ω上事件E，概率P[E]满足三条公理：
(1) 非负性：0≤P[E]≤1
(2) 归一性：P[Ω]=1
(3) 可列可加性：两两互斥事件序列E₁,E₂⋯，P[⋃ₙ₌₁^∞ Eₙ]=∑ₙ₌₁^∞ P[Eₙ]
2. 条件概率
在事件A已经发生的前提下，事件B发生的概率，记作p(B|A)。
公式：
p(B|A)=p(AB)/p(A)
若A、B相互独立：p(B|A)=p(B)，A发生与否不改变B发生的概率。
3. 联合概率
事件A、B同时发生的概率，记作p(AB)。
p(AB)=p(A)p(B|A)=p(B)p(A|B)

2.1.3 完备事件组、全概率公式、贝叶斯公式

1. 完备事件组
a₁,a₂,…,a_N为样本空间Ω的一组事件，满足：
① 任意两个事件互斥：aᵢ∩aⱼ=∅,i≠j；
② 全部事件合并等于全集：⋃ₙ₌₁^N aₙ=Ω。
则{aₙ}称为完备事件组，是对样本空间的一个划分。
2. 全概率公式
完备事件组{aᵢ}，事件B发生的总概率，等于各个原因下B发生概率之和。
p(B)=∑ᵢ₌₁^N p(aᵢ)p(B|aᵢ)
含义：寻找事件B发生的全部来源，叠加所有来源对应的发生概率。
3. 贝叶斯公式
已知事件B已经发生，反推是由原因aᵢ引发的概率，用于由果溯因。
p(aᵢ|B)=p(aᵢ)p(B|aᵢ)/∑ₙ₌₁^N p(aₙ)p(B|aₙ)

2.1.4 先验概率与后验概率

- 先验概率：不依靠其他条件，根据统计得到的事件本身固有的概率，是事件发生前的统计量。
- 后验概率：事件B发生之后，反过来推断触发B的原因a_i的条件概率，也就是贝叶斯公式的计算结果。通信中，收到接收符号之后，反推发送符号的概率就是后验概率。

2.1.5 离散随机变量

1. 随机变量定义
随机试验样本空间Ω，对每一个样本点ω∈Ω，都有唯一实数X与之对应，X(ω)称为随机变量。本质：样本点到实数集的映射。
2. 离散随机变量
取值为有限个，或者无限可列个数的随机变量，称为离散随机变量。
3. 累积分布函数（分布函数CDF）
F(x)=P[X≤x]
性质：
(1) F(x)是非减函数；
(2) limₓ→₊∞ P[X≤x]=F(+∞)=1
(3) limₓ→₋∞ P[X≤x]=F(−∞)=0

2.1.6 离散随机变量的统计特性：数学期望

1. 单个离散随机变量的数学期望
若X概率分布p(xₙ),n=1,2,…,N
E[X]=∑ₙ₌₁^N xₙ p(xₙ)
含义：随机变量取值的加权平均，权重是对应取值的发生概率。
2. 两个离散随机变量的数学期望E[XY]
已知X,Y联合分布p(xᵢ yⱼ)
E[XY]=∑ᵢ₌₁^N ∑ⱼ₌₁^M xᵢ yⱼ p(xᵢ yⱼ)
3. 随机变量函数的数学期望
Y=f(X)，则f(X)的期望：
E[f(X)]=∑ᵢ₌₁^N f(xᵢ)p(xᵢ)

2.2 信息量度量方法的引入

信息量公理：
1. 越不可能发生的消息，包含信息量越大；
2. 确定必然发生的消息，信息量=0；
3. 事件发生概率越大，信息量越小；
4. 独立事件，总信息量等于各自信息量之和（可加性）。
满足该公理的函数为对数函数，以此定义自信息量。

2.3 自信息量与信息熵

2.3.1 自信息量

1. 定义
离散随机事件X=xᵢ，自信息量I(xᵢ)：
I(xᵢ)=−logₐ p(xᵢ)
底数a决定单位：
- a=2，单位bit（比特，工程最常用）
- a=e，单位nat（奈特，理论推导）
- a=10，单位Hart（哈特）
2. 自信息量含义
(1) 事件发生前：代表事件的不确定性；概率越小，不确定性越强。
(2) 事件发生后：事件带给接收者的信息量。
(3) 信息论的自信息，只和概率有关，和消息本身语义、含义无关。
(4) 必然事件p=1，I=0；不可能事件p=0，信息量趋向无穷。

2.3.2 信息熵（香农熵）

1. 概率空间
事件集合X + 对应概率集合P，共同构成概率空间
[X; P] = [x₁ x₂ … x_N; p(x₁) p(x₂) … p(x_N)]
2. 信息熵定义
自信息量I(x)是随机变量，取数学期望，得到信息熵H(X)：
H(X)=E[I(x)]=−∑ₙ₌₁^N p(xₙ)log p(xₙ)
规定：0log0=0，处理零概率项。
3. 信息熵含义
(1) 平均自信息量，集合内随机变量的平均不确定性；
(2) 熵越大，信源不确定性越强，能够提供的平均信息量越多；
(3) 描述整个信源集合的统计特性，不是单次事件的信息量。

2.4 联合自信息量与联合熵

2.4.1 联合自信息量

1. 二元联合自信息
联合事件xᵢ yⱼ，联合概率p(xᵢ yⱼ)
I(xᵢ yⱼ)=−log p(xᵢ yⱼ)
含义：xᵢ、yⱼ两个事件同时发生带来的自信息量。
2. 多维随机矢量联合自信息
N维矢量x=(x₁,x₂,…,x_N)
I(x)=−log p(x)

2.4.2 联合熵

1. 两个随机变量的联合熵
联合自信息量I(xᵢ yⱼ)的数学期望
H(X,Y)=E[I(xᵢ yⱼ)]=−∑ᵢ₌₁^N ∑ⱼ₌₁^M p(xᵢ yⱼ)log p(xᵢ yⱼ)
也叫共熵，描述二维联合随机变量集合整体平均不确定性。
2. 序列熵（N个随机变量集合的联合熵）
N个随机变量X₁X₂⋯X_N构成序列，序列熵就是多维联合熵
H(X₁X₂⋯X_N)=−∑ p(x₁x₂⋯x_N)log p(x₁x₂⋯x_N)
单位：比特/序列。