☰
集成学习及置信度
2026/10/15 4:03:19 网站建设 项目流程

1.认知功能与身体功能

NHATS 的参与者接受了认知测试,包括即时和延迟后的 10 个单词记忆测试、计时绘画测试(用于评估执行功能)以及一系列定向测试问题。轻度认知障碍的判定标准是:在一个或多个认知领域中的得分低于平均值的 1.5 个标准差[27]。而痴呆症的判定标准是:至少在两个认知领域的得分低于平均值的 1.5 个标准差,或者根据 AD8 痴呆筛查访谈的结果,该人的痴呆症评分至少为 2 分[27]

参考文献:Kasper JD, Freedman VA, Spillman B. Classification of persons by dementia status in the National Health and Aging Trends Study. Technical Paper #5. Baltimore: Johns Hopkins University School of Public Health

2.集成学习

1)如何衡量各个学习器的置信度?

训练集为,其中。

基学习器表示为

对每一个样本给一个软标签,其是在条件下赋值为标签的概率。故H中训练集上的输出可以表示为:

与此同时,在观测(元数据)上的K个基学习器的输出可以表示为:

当每个类标签的概率相差很大时,我们可以很容易选择出概率大的那个标签。如果各类标签概率接近,比如说对二分类问题,当存在的情况时,就很难区分选哪个类比较好。为更好衡量置信度,引入熵值。熵值越小,置信度越高。主要的熵值计算方式有香农熵(信息熵),最小熵和碰撞熵。

2)如何评估各个学习器的可信度阈值?---证据学习的结构和机理

在多数情况下,分类网络得到的结果只是当前类别的概率,但是并不代表对于当前这个 sample 预测的置信度。(softmax 激活函数的互斥性导致的,分类网络总会给出一个预测结果,无论好坏)

我们将问题缩小到一个简单的 K 分类网络,它的参数是,输入特征,给出对应的 K 维向量,代表属于 K 个类别的概率。但是根据前面说的,这 K 个概率只是相对于训练样本而言的,如果是 OOD 样本,模型应该需要判断一下这 K 个概率的可信度。

为了度量这种可信度,我们用 K 维向量来表示这 K 个类别概率的可信度,称为 集体信念(belief mass),用 表示预测结果的不确定性。显然, 一起构成了一组新的 PMF,自然满足。

可信度用来衡量每个学习器领域知识的丰富程度,对每个学习器,设置可信度阈值为,,则学习器的选择准则为


3.集成学习的概率

把K个基学习器的输出合并,常见结合策略有三类。

1)平均法(数值型输出)

个体性能相差较大时宜用加权平均,相近时宜用简单平均。

简单平均法:

加权平均法:,其中

2) 投票法(分类型输出)

  • 绝对多数投票法(majority voting):某标记得票过半才预测它,否则拒绝预测。
  • 相对多数投票法(plurality voting):预测得票最多的标记,平票时随机选一个。
  • 加权投票法(weighted voting):与加权平均法类似,给各学习器的票加权。

按的取值类型,投票又分两种:

  • 硬投票(hard voting):,使用类标记。
  • 软投票(soft voting):,使用类概率(对后验概率P 的估计)。

3) 学习法Stacking

当训练数据较多时,更强大的做法是用学习法,再训练一个学习器来做结合,代表方法是Stacking。这里把个体学习器称为初级学习器,用来结合的学习器称为元学习器。

先用初级学习算法训练出若干初级学习器;然后把初级学习器的输出当作新样本的输入特征、原始标记仍作为标记,生成一个新数据集,用它训练元学习器。

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询