多评估者数据的评估者间可靠性计算

问题描述

我有以下列表:

[[1, 1, 1, 1, 3, 0, 0, 1],
 [1, 1, 1, 1, 3, 0, 0, 1],
 [1, 1, 1, 1, 2, 0, 0, 1],
 [1, 1, 0, 2, 3, 1, 0, 1]]

在我想计算 inter-rater 可靠性分数的地方，有多个评分者(行).我不能使用 Fleiss 的 kappa，因为行的总和不是相同的数字.在这种情况下，什么是好的方法?

Where I want to calculate an inter-rater reliability score, there are multiple raters(rows). I cannot use Fleiss' kappa, since the rows do not sum to the same number. What is a good approach in this case?

推荐答案

这个问题的答案是使用krippendorff alpha score:

The answer to this problem was to use krippendorff alpha score:

维基百科描述

Python 库

import krippendorff

arr = [[1, 1, 1, 1, 3, 0, 0, 1],
       [1, 1, 1, 1, 3, 0, 0, 1],
       [1, 1, 1, 1, 2, 0, 0, 1],
       [1, 1, 0, 2, 3, 1, 0, 1]]    
res = krippendorff.alpha(arr)

这篇关于多评估者数据的评估者间可靠性计算的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持！