深度学习：二次加权Kappa系数（QWK）详细介绍

深度学习：二次加权Kappa系数（QWK）详细介绍

引用

CSDN

1.

https://m.blog.csdn.net/m0_56184997/article/details/144433198

二次加权Kappa系数（QWK）是深度学习中一个常用的评价指标，主要用于衡量两个评分者（如自动评分系统和人工评分）之间的一致性水平。本文将通过一个具体的例子，详细介绍QWK的计算步骤及其应用场景。

1. QWK定义

QWK（Quadratic Weighted Kappa）已在整体论文评分和论文特征评分研究中广泛采用，旨在衡量两名评分员（自动评分系统和人工评分）之间的一致性水平。它考虑了不一致性的严重程度，并使用一个权重矩阵来量化这种差异。对于二次加权，权重是根据评分差值的平方来计算的，因此更大的评分差异会得到更高的惩罚。

2. QWK计算步骤

假设我们有两个评分员，他们分别对100篇论文进行了评分。评分等级为1到2分，其中1分为最低分，2分为最高分。

（1）创建观测混淆矩阵O

在100篇论文中，假设有40篇论文同时被两个评分员打了1分；20篇论文被A评分员打了2分，H评分员打了1分；10篇论文被A评分员打了1分，H评分员打了1分；有30篇论文同时被两个评分员打了2分，即得到如下观测混淆矩阵O：

这里可以把A评分员看成是自动打分系统（即是预测值），H评分员看成是人工打分（即为真实值）。其中Pi和Pj为行和列边缘分布概率，Pi表示每个实际类别中的样本总数，Pj表示每个预测类别中的样本总数，可以看成这是评分员对每一个打分类别的倾向性。

（2）创建预期混淆矩阵E

预期混淆矩阵E的计算公式如下，其中Pi和Pj为行和列边缘分布概率：

计算得到如下预期混淆矩阵E：

（3）构建权重矩阵W

权重矩阵W的计算公式如下，其中N为分类的总类数：

计算得到如下权重矩阵W：

（4）计算二次加权Kappa值

二次加权Kappa值的计算公式如下：

就以此为例，计算Kappa值为：

Kw=1-(10.2+10.1)/(10.2+10.3)=1-(0.3/0.5)=0.4

3. 总结

Kappa值的含义如下：

• -1：完全不一致
• 0: 偶然一致
• 0.0~0.20: 极低的一致性(slight)
• 0.21~0.40: 一般的一致性(fair)
• 0.41~0.60: 中等的一致性(moderate)
• 0.61~0.80: 高度的一致性(substantial)
• 0.81~1: 几乎完全一致(almost perfect)