我正在构建一种算法，该算法使用BFGS方法在Octave中的二进制数据集的逻辑回归中查找参数。
现在，我正在努力解决一些我认为过分适合的问题。我针对多个数据集运行该算法，并且实际上收敛到与Octave的fminunc函数相同的结果。但是，对于特定的“数据集类型”，该算法收敛到很高的参数值，这与ffinunc相反，后者给出了这些参数的可剃化值。我添加了一个正则化项，并且实际上实现了我的算法以收敛到fminunc的相同值。
这种特定的数据集类型的数据可以完全由一条直线分开。我的问题是：为什么这对于BFGS方法来说是一个问题，但对于fminunc而言却不是一个问题？此功能如何避免不进行正则化的问题？我可以在算法中实现吗？
我的算法代码如下：
function [beta] = Log_BFGS(data, L_0)
clc
close
%************************************************************************
%************************************************************************
%Loading the data:
[n, e] = size(data);
d = e - 1;
n; %Number of observations.
d; %Number of features.
Y = data(:, e); %Labels´ values
X_o = data(:, 1:d);
X = [ones(n, 1) X_o]; %Features values
%Initials conditions:
beta_0 = zeros(e, 1);
beta = [];
beta(:, 1) = beta_0;
N = 600; %Max iterations
Tol = 1e-10; %Tolerance
error = .1;
L = L_0; %Regularization parameter
B = eye(e);
options = optimset('GradObj', 'on', 'MaxIter', 600);
[beta_s] = fminunc(@(t)(costFunction(t, X, Y, L)), beta_0, options);
disp('Beta obtained with the fminunc function');
disp("--------------");
disp(beta_s)
k = 1;
a_0 = 1;
% Define the sigmoid function
h = inline('1.0 ./ (1.0 + exp(-z))');
while (error > Tol && k < N)
beta_k = beta(:, k);
x_0 = X*beta_k;
h_0 = h(x_0);
beta_r = [0 ; beta(:, k)(2:e, :)];
g_k = ((X)'*(h_0 - Y) + L*beta_r)/n;
d_k = -pinv(B)*g_k;
a = 0.1; %I´ll implement an Armijo line search here (soon)
beta(:, k+1) = beta(:, k) + a*d_k;
beta_k_1 = beta(:, k+1);
x_1 = X*beta_k_1;
h_1 = h(x_1);
beta_s = [0 ; beta(:, k+1)(2:e, :)];
g_k_1 = (transpose(X)*(h_1 - Y) + L*beta_s)/n;
s_k = beta(:, k+1) - beta(:, k);
y_k = g_k_1 - g_k;
B = B - B*s_k*s_k'*B/(s_k'*B*s_k) + y_k*y_k'/(s_k'*y_k);
k = k + 1;
error = norm(d_k);
endwhile
%Accuracy of the logistic model:
p = zeros(n, 1);
for j = 1:n
if (1./(1. + exp(-1.*(X(j, :)*beta(:, k)))) >= 0.5)
p(j) = 1;
else
p(j) = 0;
endif
endfor
R = mean(double(p == Y));
beta = beta(:, k);
%Showing the results:
disp("Estimation of logistic regression model Y = 1/(1 + e^(beta*X)),")
disp("using the algorithm BFGS =")
disp("--------------")
disp(beta)
disp("--------------")
disp("with a convergence error in the last iteration of:")
disp(error)
disp("--------------")
disp("and a total number of")
disp(k-1)
disp("iterations")
disp("--------------")
if k == N
disp("The maximum number of iterations was reached before obtaining the desired error")
else
disp("The desired error was reached before reaching the maximum of iterations")
endif
disp("--------------")
disp("The precision of the logistic regression model is given by (max 1.0):")
disp("--------------")
disp(R)
disp("--------------")
endfunction
下图显示了我为数据集获得的结果。如果您需要在这种情况下使用的数据，请告诉我。
Results of the algorithm
最佳答案
检查目标！
解向量的值很好，但是整个优化是由目标驱动的。您说的是fminunc which gives reasonable values of these parameters，但此模型中未定义合理的值。
低价值解决方案和高价值解决方案都可以实现几乎相同的目标，这并非不可能。这就是那些求解器唯一关心的问题（不使用调节项时）。
因此，重要的问题是：是否存在唯一的解决方案（应禁止这些结果）？仅当您的数据集具有完整排名时！因此，也许您的数据排名不足，并且您获得了两个同样好的解决方案。当然，由于数值问题，可能会有细微的差异，数值问题始终是错误的根源，尤其是在更复杂的优化算法中。