我正在使用(并喜欢)TPOT,但是在实现自定义P @ K计分器时遇到了麻烦。假设我想在100个预测(或任意数量的K)中拥有尽可能多的真实肯定,那么如何编码呢?我已经尝试使用下面的代码,但是尽管标准记分器没有错误,但仍然出现错误,指出尚未安装管道。
def pak(actual, predicted):
k = 100
if len(predicted) > k:
predicted = predicted[:k]
score = 0.0
num_hits = 0.0
for i, p in enumerate(predicted):
if p in actual and p not in predicted[:i]:
num_hits += 1.0
score += num_hits / (i + 1.0)
if not actual:
return 0.0
return score / min(len(actual), k)
my_custom_scorer = make_scorer(pak, greater_is_better=True)
最佳答案
实施算法以最大化真实阳性数
我不建议您这样做(请参阅最后的讨论),但是基于我的理解,您希望最大化真实肯定的数量。因此,您要创建一个自定义计分器并使用TPOT优化真实的阳性率。我优化了您的功能,因为它取决于给定的数字k
。如果您仅计算真实的阳性率,就可以避免这种情况。我使用了sklearn的示例数据集,当然可以将其替换为任何其他数据集。
import numpy as np
import sklearn
from sklearn.metrics import make_scorer
import tpot
from tpot import TPOTClassifier
from sklearn.model_selection import train_test_split
def maximize_true_pos(y, y_pred):
# true positives are marked with ones, all others with zeros
true_pos = np.where((y==1) & (y_pred == 1), 1, 0)
# sum true positives
num_true_pos = np.sum(true_pos)
# determine the true positive rate, how many of the positives were found?
true_pos_div_total_tp = num_true_pos/np.sum(y)
return true_pos_div_total_tp
iris = sklearn.datasets.load_breast_cancer()
# create the custom scorer
max_true_pos_scorer = make_scorer(maximize_true_pos)
X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target,
train_size=0.75, test_size=0.25)
X_train.shape, X_test.shape, y_train.shape, y_test.shape
tpot = TPOTClassifier(verbosity=2, max_time_mins=2, scoring=max_true_pos_scorer)
tpot.fit(X_train, y_train)
y_pred = tpot.predict(X_test)
讨论结果和方法
现在,我们通过查看
y_pred
来了解在此进行了优化。y_pred
array([1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1])
由于我们只想优化真实阳性的数量,因此该算法了解到不会误判阳性,因此将所有内容都设置为类
1
(尽管y_true
并不总是1
,因此准确度要使用精确度或召回率(您可能知道,但出于完整性考虑,我还是将其放在此处),可以按以下方式简单地将
"precision"
或"recall"
作为评分参数:TPOTClassifier(scoring='recall')