我正在使用logisticregression作为一个模型来培训Scikit Learn中的估算器。我使用的功能主要是分类的,标签也是。因此,我分别使用dictvectorizer和labelencoder对值进行适当的编码。
培训部分相当简单,但测试部分有问题。简单的方法是使用训练模型的“预测”方法得到预测标签。但是,对于随后需要进行的处理,我需要每个特定实例的每个可能标签(类)的概率。我决定使用“预测概率”方法。但是,对于同一个测试实例,无论是在实例本身还是与其他实例一起使用此方法,我都会得到不同的结果。
接下来,是一个重现问题的代码。

from sklearn.linear_model import LogisticRegression
from sklearn.feature_extraction import DictVectorizer
from sklearn.preprocessing import LabelEncoder


X_real = [{'head': u'n\xe3o', 'dep_rel': u'ADVL'},
          {'head': u'v\xe3o', 'dep_rel': u'ACC'},
          {'head': u'empresa', 'dep_rel': u'SUBJ'},
          {'head': u'era', 'dep_rel': u'ACC'},
          {'head': u't\xeam', 'dep_rel': u'ACC'},
          {'head': u'import\xe2ncia', 'dep_rel': u'PIV'},
          {'head': u'balan\xe7o', 'dep_rel': u'SUBJ'},
          {'head': u'ocupam', 'dep_rel': u'ACC'},
          {'head': u'acesso', 'dep_rel': u'PRED'},
          {'head': u'elas', 'dep_rel': u'SUBJ'},
          {'head': u'assinaram', 'dep_rel': u'ACC'},
          {'head': u'agredido', 'dep_rel': u'SUBJ'},
          {'head': u'pol\xedcia', 'dep_rel': u'ADVL'},
          {'head': u'se', 'dep_rel': u'ACC'}]
y_real = [u'AM-NEG', u'A1', u'A0', u'A1', u'A1', u'A1', u'A0', u'A1', u'AM-ADV', u'A0', u'A1', u'A0', u'A2', u'A1']

feat_encoder =  DictVectorizer()
feat_encoder.fit(X_real)

label_encoder = LabelEncoder()
label_encoder.fit(y_real)

model = LogisticRegression()
model.fit(feat_encoder.transform(X_real), label_encoder.transform(y_real))

print "Test 1..."
X_test1 = [{'head': u'governo', 'dep_rel': u'SUBJ'}]
X_test1_encoded = feat_encoder.transform(X_test1)
print "Features Encoded"
print X_test1_encoded
print "Shape"
print X_test1_encoded.shape
print "decision_function:"
print model.decision_function(X_test1_encoded)
print "predict_proba:"
print model.predict_proba(X_test1_encoded)

print "Test 2..."
X_test2 = [{'head': u'governo', 'dep_rel': u'SUBJ'},
           {'head': u'atrav\xe9s', 'dep_rel': u'ADVL'},
           {'head': u'configuram', 'dep_rel': u'ACC'}]

X_test2_encoded = feat_encoder.transform(X_test2)
print "Features Encoded"
print X_test2_encoded
print "Shape"
print X_test2_encoded.shape
print "decision_function:"
print model.decision_function(X_test2_encoded)
print "predict_proba:"
print model.predict_proba(X_test2_encoded)


print "Test 3..."
X_test3 = [{'head': u'governo', 'dep_rel': u'SUBJ'},
           {'head': u'atrav\xe9s', 'dep_rel': u'ADVL'},
           {'head': u'configuram', 'dep_rel': u'ACC'},
           {'head': u'configuram', 'dep_rel': u'ACC'},]

X_test3_encoded = feat_encoder.transform(X_test3)
print "Features Encoded"
print X_test3_encoded
print "Shape"
print X_test3_encoded.shape
print "decision_function:"
print model.decision_function(X_test3_encoded)
print "predict_proba:"
print model.predict_proba(X_test3_encoded)

以下是获得的输出:
Test 1...
Features Encoded
  (0, 4)    1.0
Shape
(1, 19)
decision_function:
[[ 0.55372615 -1.02949707 -1.75474347 -1.73324726 -1.75474347]]
predict_proba:
[[ 1.  1.  1.  1.  1.]]
Test 2...
Features Encoded
  (0, 4)    1.0
  (1, 1)    1.0
  (2, 0)    1.0
Shape
(3, 19)
decision_function:
[[ 0.55372615 -1.02949707 -1.75474347 -1.73324726 -1.75474347]
 [-1.07370197 -0.69103629 -0.89306092 -1.51402163 -0.89306092]
 [-1.55921001  1.11775556 -1.92080112 -1.90133404 -1.92080112]]
predict_proba:
[[ 0.59710757  0.19486904  0.26065002  0.32612646  0.26065002]
 [ 0.23950111  0.24715931  0.51348452  0.3916478   0.51348452]
 [ 0.16339132  0.55797165  0.22586546  0.28222574  0.22586546]]
Test 3...
Features Encoded
  (0, 4)    1.0
  (1, 1)    1.0
  (2, 0)    1.0
  (3, 0)    1.0
Shape
(4, 19)
decision_function:
[[ 0.55372615 -1.02949707 -1.75474347 -1.73324726 -1.75474347]
 [-1.07370197 -0.69103629 -0.89306092 -1.51402163 -0.89306092]
 [-1.55921001  1.11775556 -1.92080112 -1.90133404 -1.92080112]
 [-1.55921001  1.11775556 -1.92080112 -1.90133404 -1.92080112]]
predict_proba:
[[ 0.5132474   0.12507868  0.21262531  0.25434403  0.21262531]
 [ 0.20586462  0.15864173  0.4188751   0.30544372  0.4188751 ]
 [ 0.14044399  0.3581398   0.1842498   0.22010613  0.1842498 ]
 [ 0.14044399  0.3581398   0.1842498   0.22010613  0.1842498 ]]

如图所示,“x_test1”中的实例使用“predict_proba”获得的值在x_test2中的其他实例使用同一实例时会发生变化。另外,“x_test3”只是复制“x_test2”并添加一个实例(等于“x_test2”中的最后一个),但所有实例的概率值都会发生变化。为什么会这样?
另外,我发现很奇怪的是“x_test1”的所有概率都是1,难道所有的和不是1吗?
现在,如果不使用“预测概率”,而是使用“决策函数”,我就可以得到所需值的一致性。问题是我得到了负系数,甚至一些正系数大于1。
那么,我应该用什么呢?为什么“预测概率”的值会那样改变?我是否没有正确理解这些价值观的含义?
事先谢谢你能给我任何帮助。
更新
如前所述,我修改了代码,以便同时打印编码的“x_test1”、“x_test2”和“x_test3”,以及它们的形状。这似乎不是问题所在,因为测试集之间的相同实例的编码是一致的。

最佳答案

如问题注释所示,错误是由我使用的Scikit Learn版本的实现中的错误引起的。问题解决了,更新到最新的稳定版本0.12.1

08-25 03:40