我想知道,考虑到支持向量机回归模型的回归系数,是否可以“手工”计算该模型做出的预测。
更准确地说,假设:

svc = SVR(kernel='rbf', epsilon=0.3, gamma=0.7, C=64)
svc.fit(X_train, y_train)

然后你可以很容易地通过使用
y_pred = svc.predict(X_test)

我想知道人们是如何通过直接计算得到这个结果的。从决策函数开始,
python - 反向支持向量机:计算预测-LMLPHP
其中,K是RBF核函数,b是截距,α是对偶系数。
因为我使用的是RBF内核,所以我开始是这样的:
def RBF(x,z,gamma,axis=None):
    return np.exp((-gamma*np.linalg.norm(x-z, axis=axis)**2))


for i in len(svc.support_):
    A[i] = RBF(X_train[i], X_test[0], 0.7)

然后我计算
np.sum(svc._dual_coef_*A)+svc.intercept_

然而,这个计算的结果与y_pred的第一项不同。我怀疑我的推理不完全正确和/或我的代码不应该是正确的,所以如果这不是问的正确的董事会道歉。在过去的两个小时里,我一直目不转睛地盯着这个问题看,如果有任何帮助,我将不胜感激!
更新
经过进一步的研究,我发现了以下帖子:Replication of scikit.svm.SRV.predict(X)Calculating decision function of SVM manually
在第一篇文章中,他们讨论回归,在第二篇文章中,他们讨论分类,但观点不变。在这两种情况下,OP基本上都会问相同的问题,但是当我尝试实现它们的代码时,我总是在步骤中遇到错误
diff = sup_vecs - X_test

形式的
ValueError: operands could not be broadcast together with shapes

(number equal to amount of support vectors,7) (number equal to len(Xtest),7)

我不明白为什么支持向量的数量应该等于测试数据的数量。据我所知,几乎从来没有过这种情况。那么,有没有人能告诉我们应该如何更普遍地解决这个问题,即如何改进代码,使之适用于多维数组呢?
P.S.与问题无关,但准确地说:7是特征的数量。

最佳答案

你犯的错误就在这个循环中。
在第一个n_SV(支持向量的数量)训练点上循环,而不一定是支持向量。所以只要在for i in len(svc.support_):上循环就可以得到实际的支持向量。其余代码保持不变。下面我提供代码的更正。

from sklearn import datasets
from sklearn.svm import SVR

# Load the IRIS dataset for demonstration
iris = datasets.load_iris()
X = iris.data
y = iris.target

# Train-test split
X_train, y_train = X[:140], y[:140]
X_test, y_test = X[140:], y[140:]

print(X.shape, X_train.shape, X_test.shape) # prints (150, 4) (140, 4) (10, 4)

# Fit a rbf kernel SVM
svc = SVR(kernel='rbf', epsilon=0.3, gamma=0.7, C=64)
svc.fit(X_train, y_train)

# Get prediction for a point X_test using train SVM, svc
def get_pred(svc, X_test):

    def RBF(x,z,gamma,axis=None):
        return np.exp((-gamma*np.linalg.norm(x-z, axis=axis)**2))

    A = []
    # Loop over all suport vectors to calculate K(Xi, X_test), for Xi belongs to the set of support vectors
    for x in svc.support_vectors_:
        A.append(RBF(x, X_test, 0.7))
    A = np.array(A)

    return (np.sum(svc._dual_coef_*A)+svc.intercept_)

for i in range(X_test.shape[0]):
    print(get_pred(svc, X_test[i]))
    print(svc.predict(X_test[i].reshape(1,-1))) # The same oputput by both

09-07 02:20