python - 用GIRLS理解scipy最小二乘函数

我很难理解这个函数是如何工作的。

a, b = scipy.linalg.lstsq(X, w*signal)[0]

我知道信号是代表信号的数组，而目前w只是[1,1,1,1,1...]
我应该如何操作X或w来模拟加权最小二乘法或迭代重加权最小二乘法？

最佳答案

如果将x和y乘以sqrt（权重），则可以计算加权最小二乘。
您可以通过以下链接获得公式：
http://en.wikipedia.org/wiki/Linear_least_squares_%28mathematics%29#Weighted_linear_least_squares
下面是一个例子：
准备数据：

import numpy as np
np.random.seed(0)
N = 20
X = np.random.rand(N, 3)
w = np.array([1.0, 2.0, 3.0])
y = np.dot(X, w) + np.random.rand(N) * 0.1

OLS：

from scipy import linalg
w1 = linalg.lstsq(X, y)[0]
print w1

输出：

[ 0.98561405  2.0275357   3.05930664]

WLS：

weights = np.linspace(1, 2, N)
Xw = X * np.sqrt(weights)[:, None]
yw = y * np.sqrt(weights)
print linalg.lstsq(Xw, yw)[0]

输出：

[ 0.98799029  2.02599521  3.0623824 ]

按状态模型检查结果：

import statsmodels.api as sm
mod_wls = sm.WLS(y, X, weights=weights)
res = mod_wls.fit()
print res.params

输出：

[ 0.98799029  2.02599521  3.0623824 ]

关于python - 用GIRLS理解scipy最小二乘函数，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/19624997/