python - 稀疏矩阵中行的L2归一化

因为我只想使用numpy和scipy（我不想使用scikit-learn），所以我想知道如何在庞大的csc_matrix（2,000,000 x 500,000）中执行行的L2归一化。该操作必须占用尽可能少的内存，因为它必须适合内存。

到目前为止，我有：

import scipy.sparse as sp

tf_idf_matrix = sp.lil_matrix((n_docs, n_terms), dtype=np.float16)
# ... perform several operations and fill up the matrix

tf_idf_matrix = tf_idf_matrix / l2_norm(tf_idf_matrix)
# l2_norm() is what I want

def l2_norm(sparse_matrix):
    pass

最佳答案

由于我在任何地方都找不到答案，因此我将在此处发布如何解决该问题。

def l2_norm(sparse_csc_matrix):
    # first, I convert the csc_matrix to csr_matrix which is done in linear time
    norm = sparse_csc_matrix.tocsr(copy=True)

    # compute the inverse of l2 norm of non-zero elements
    norm.data **= 2
    norm = norm.sum(axis=1)
    n_nzeros = np.where(norm > 0)
    norm[n_nzeros] = 1.0 / np.sqrt(norm[n_nzeros])
    norm = np.array(norm).T[0]

    # modify sparse_csc_matrix in place
    sp.sparsetools.csr_scale_rows(sparse_csc_matrix.shape[0],
                                  sparse_csc_matrix.shape[1],
                                  sparse_csc_matrix.indptr,
                                  sparse_csc_matrix.indices,
                                  sparse_csc_matrix.data, norm)

如果有人有更好的方法，请发布它。

关于python - 稀疏矩阵中行的L2归一化，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/22122035/