我有一个评论集,它的类别标签为正/负。我正在将Logistic回归应用于该评论数据集。首先,我要转换成单词的单词袋。这里 sorted_data ['Text'] 是评论和 final_counts 是稀疏矩阵
count_vect = CountVectorizer()
final_counts = count_vect.fit_transform(sorted_data['Text'].values)
standardized_data = StandardScaler(with_mean=False).fit_transform(final_counts)
将数据集分为训练和测试
X_1, X_test, y_1, y_test = cross_validation.train_test_split(final_counts, labels, test_size=0.3, random_state=0)
X_tr, X_cv, y_tr, y_cv = cross_validation.train_test_split(X_1, y_1, test_size=0.3)
我正在按照以下方法应用逻辑回归算法
optimal_lambda = 0.001000
log_reg_optimal = LogisticRegression(C=optimal_lambda)
# fitting the model
log_reg_optimal.fit(X_tr, y_tr)
# predict the response
pred = log_reg_optimal.predict(X_test)
# evaluate accuracy
acc = accuracy_score(y_test, pred) * 100
print('\nThe accuracy of the Logistic Regression for C = %f is %f%%' % (optimal_lambda, acc))
我的体重是
weights = log_reg_optimal.coef_ . #<class 'numpy.ndarray'>
array([[-0.23729528, -0.16050616, -0.1382504 , ..., 0.27291847,
0.35857267, 0.41756443]])
(1, 38178) #shape of weights
我想获得功能的重要性,即;高权重的前100个功能。谁能告诉我如何获得它们?
最佳答案
研究线性分类模型中给定特征/参数的“影响”或“重要”的一种方法是考虑系数的幅度。
这是最基本的方法。 用于查找特征重要性或参数影响的其他技术可以提供更多的见解,例如使用 p值, bootstrap 分数,各种“判别式索引”等。
在这里,您已经标准化了数据,因此直接使用此:
weights = log_reg_optimal.coef_
abs_weights = np.abs(weights)
print(abs_weights)
如果查看原始的
weights
,则负系数表示相应特征的较高值会将分类推向负类。编辑1
示例显示如何获取功能名称:
import numpy as np
#features names
names_of_variables =np.array(['a','b','c','d'])
#create random weights and get the magnitude
weights = np.random.rand(4)
abs_weights = np.abs(weights)
#get the sorting indices
sorted_index = np.argsort(abs_weights)[::-1]
#check if the sorting indices are correct
print(abs_weights[sorted_index])
#get the index of the top-2 features
top_2 = sorted_index[:2]
#get the names of the top 2 most important features
print(names_of_variables[top_2])
关于machine-learning - 如何使用权重在逻辑回归中获得特征重要性?,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/51462979/