1.认知功能与身体功能
NHATS 的参与者接受了认知测试,包括即时和延迟后的 10 个单词记忆测试、计时绘画测试(用于评估执行功能)以及一系列定向测试问题。轻度认知障碍的判定标准是:在一个或多个认知领域中的得分低于平均值的 1.5 个标准差[27]。而痴呆症的判定标准是:至少在两个认知领域的得分低于平均值的 1.5 个标准差,或者根据 AD8 痴呆筛查访谈的结果,该人的痴呆症评分至少为 2 分[27]
参考文献:Kasper JD, Freedman VA, Spillman B. Classification of persons by dementia status in the National Health and Aging Trends Study. Technical Paper #5. Baltimore: Johns Hopkins University School of Public Health
2.集成学习
1)如何衡量各个学习器的置信度?
训练集为,其中
。
基学习器表示为
对每一个样本给一个软标签,其是在
条件下
赋值为标签
的概率。故H中训练集上的输出可以表示为:
与此同时,在观测(元数据)上的K个基学习器的输出可以表示为:
当每个类标签的概率相差很大时,我们可以很容易选择出概率大的那个标签。如果各类标签概率接近,比如说对二分类问题,当存在的情况时,就很难区分选哪个类比较好。为更好衡量置信度,引入熵值
。熵值越小,置信度越高。主要的熵值计算方式有香农熵(信息熵)
,最小熵
和碰撞熵
。
2)如何评估各个学习器的可信度阈值?---证据学习的结构和机理
在多数情况下,分类网络得到的结果只是当前类别的概率,但是并不代表对于当前这个 sample 预测的置信度。(softmax 激活函数的互斥性导致的,分类网络总会给出一个预测结果,无论好坏)
我们将问题缩小到一个简单的 K 分类网络,它的参数是
,输入特征
,给出对应的 K 维向量,代表属于 K 个类别的概率。但是根据前面说的,这 K 个概率只是相对于训练样本而言的,如果是 OOD 样本,模型应该需要判断一下这 K 个概率的可信度。
为了度量这种可信度,我们用 K 维向量来表示这 K 个类别概率的可信度,称为 集体信念(belief mass),用 表示预测结果的不确定性。显然, 一起构成了一组新的 PMF,自然满足。
可信度用来衡量每个学习器领域知识的丰富程度,对每个学习器,设置可信度阈值为
,,则学习器的选择准则为
3.集成学习的概率
把K个基学习器的输出合并,常见结合策略有三类。
1)平均法(数值型输出)
个体性能相差较大时宜用加权平均,相近时宜用简单平均。
简单平均法:
加权平均法:,其中
2) 投票法(分类型输出)
- 绝对多数投票法(majority voting):某标记得票过半才预测它,否则拒绝预测。
- 相对多数投票法(plurality voting):预测得票最多的标记,平票时随机选一个。
- 加权投票法(weighted voting):与加权平均法类似,给各学习器的票加权。
按的取值类型,投票又分两种:
- 硬投票(hard voting):
,使用类标记。
- 软投票(soft voting):
,使用类概率(对后验概率P 的估计)。
3) 学习法Stacking
当训练数据较多时,更强大的做法是用学习法,再训练一个学习器来做结合,代表方法是Stacking。这里把个体学习器称为初级学习器,用来结合的学习器称为元学习器。
先用初级学习算法训练出若干初级学习器;然后把初级学习器的输出当作新样本的输入特征、原始标记仍作为标记,生成一个新数据集,用它训练元学习器。