python - numpy.linalg.lstsq和sklearn.linear_model.LinearRegression之间的区别

据我了解， numpy.linalg.lstsq 和 sklearn.linear_model.LinearRegression 都在寻找线性系统x的解决方案Ax = y，该解决方案使残留的总和||Ax - y||最小化。

但是他们给出的结果不同:

from sklearn import linear_model
import numpy as np

A = np.array([[1, 0], [0, 1]])
b = np.array([1, 0])
x , _, _, _ = np.linalg.lstsq(A,b)
x

Out[1]: array([ 1.,  0.])

clf = linear_model.LinearRegression()
clf.fit(A, b)
coef = clf.coef_
coef

Out[2]: array([ 0.5, -0.5])

我在俯视什么？

最佳答案

它们都由LPACK gelsd实现。

区别在于linear_model.LinearRegression将对输入X(您的A)进行如下数据预处理(默认)。但是np.linalg.lstsq不会。您可以引用the source code of LinearRegression以获得有关数据预处理的更多详细信息。

X = (X - X_offset) / X_scale

如果您不希望对数据进行预处理，则应设置fit_intercept=False。

简而言之，如果在线性回归之前对输入进行归一化，则linear_model.LinearRegression和np.linalg.lstsq都将获得相同的结果，如下所示。

# Normalization/Scaling
from sklearn.preprocessing import StandardScaler
A = np.array([[1, 0], [0, 1]])
X_scaler = StandardScaler()
A = X_scaler.fit_transform(A)

现在A是array([[ 1., -1.],[-1., 1.]])

from sklearn import linear_model
import numpy as np

b = np.array([1, 0])
x , _, _, _ = np.linalg.lstsq(A,b)
x
Out[1]: array([ 0.25, -0.25])

clf = linear_model.LinearRegression()
clf.fit(A, b)
coef = clf.coef_
coef

Out[2]: array([ 0.25, -0.25])