我是用主成分分析法从CNN的不同层次提取特征我已经从here下载了降维工具箱。
我总共有11232个训练图像,每个图像的特征是6532所以特征矩阵是这样的11232x6532
如果我想要前90%的特征,我可以很容易地做到这一点,使用支持向量机的训练精度为81.73%,这是公平的。
但是,当我尝试测试数据时,它有2408个图像,每个图像的特征是6532因此,测试数据的特征矩阵是2408x6532
在这种情况下,前90%功能的输出不正确,显示2408x2408
。
测试精度为25%。
在不使用降维的情况下,训练精度为82.17%,测试精度为79%。
更新:
其中,X
是数据,no_dims
是输出时所需的维度数。
PCA函数的输出是变量mappedX
和结构mapping
。
% Make sure data is zero mean
mapping.mean = mean(X, 1);
X = bsxfun(@minus, X, mapping.mean);
% Compute covariance matrix
if size(X, 2) < size(X, 1)
C = cov(X);
else
C = (1 / size(X, 1)) * (X * X'); % if N>D, we better use this matrix for the eigendecomposition
end
% Perform eigendecomposition of C
C(isnan(C)) = 0;
C(isinf(C)) = 0;
[M, lambda] = eig(C);
% Sort eigenvectors in descending order
[lambda, ind] = sort(diag(lambda), 'descend');
if no_dims < 1
no_dims = find(cumsum(lambda ./ sum(lambda)) >= no_dims, 1, 'first');
disp(['Embedding into ' num2str(no_dims) ' dimensions.']);
end
if no_dims > size(M, 2)
no_dims = size(M, 2);
warning(['Target dimensionality reduced to ' num2str(no_dims) '.']);
end
M = M(:,ind(1:no_dims));
lambda = lambda(1:no_dims);
% Apply mapping on the data
if ~(size(X, 2) < size(X, 1))
M = bsxfun(@times, X' * M, (1 ./ sqrt(size(X, 1) .* lambda))'); % normalize in order to get eigenvectors of covariance matrix
end
mappedX = X * M;
% Store information for out-of-sample extension
mapping.M = M;
mapping.lambda = lambda;
根据你的建议我已经计算了训练数据的向量。
numberOfDimensions = round(0.9*size(Feature,2));
[mapped_data, mapping] = compute_mapping(Feature, 'PCA', numberOfDimensions);
然后使用相同的向量测试数据:
mappedX_test = Feature_test * mapping.M;
准确率仍然是32%
通过做减法求解:
Y = bsxfun(@minus, Feature_test, mapping.mean);
mappedX_test = Y * mapping.M;
最佳答案
看起来你在分别对训练和测试数据进行降维在训练过程中,你应该记住训练中例子的主要分数或基本向量请记住,您正在根据训练数据使用一组新的正交轴查找数据的新表示在测试过程中,重复与训练数据完全相同的过程,因为您表示的是与这些基向量相关的数据因此,可以使用训练数据的基向量来减少数据您只得到一个2408 x 2408
矩阵,因为您正在测试示例上执行PCA,因为不可能生成超出所讨论矩阵秩的基向量(即2408)。
保留训练阶段的基向量,当在测试阶段执行分类时,必须使用训练阶段的相同基向量请记住,在主成分分析中,在降维之前,您必须通过执行均值减去来将数据居中为此,在您的代码中,我们注意到基向量存储在mapping.M
中,而相关的平均向量存储在mapping.mean
中在测试阶段,确保您的意思是用mapping.mean
从训练阶段减去您的测试数据:
Y = bsxfun(@minus, Feature_test, mapping.mean);
一旦你做到了这一点,最后继续,维度减少你的数据:
mappedX_test = Y * mapping.M;