我正在为获取的一组Twitter数据执行不同的情感分析技术。它们基于词典（Vader Sentiment和SentiWordNet），因此不需要任何预先标记的数据。
我想知道是否有一种方法（例如F-Score，ROC / AUC）来计算分类器的准确性。我知道的大多数方法都需要一个目标才能与结果进行比较。
最佳答案
我所做的研究是从这些推文中随机抽取少量样本，然后手动将其标记为正面或负面。然后，您可以使用VADER或SentiWordNet计算归一化的分数，并为每个分数计算混淆矩阵，这将为您提供F分数等。
尽管这可能不是一个特别好的测试，但它取决于您使用的推文样本。例如，您可能发现SentiWordNet比VADER将更多的东西归为否定因素，因此，如果您的随机样本大多为负数，则似乎具有更高的准确性。