我正在使用 sklearn.feature_extraction.text 中的 HashingVectorizer 函数,但我不明白它是如何工作的。
我的代码
from sklearn.feature_extraction.text import HashingVectorizer
corpus = [ 'This is the first document.',
'This document is the second document.',
'And this is the third one.',
'Is this the first document?']
vectorizer = HashingVectorizer(n_features=2**3)
X = vectorizer.fit_transform(corpus)
print(X)
我的结果
(0, 0) -0.8944271909999159
(0, 5) 0.4472135954999579
(0, 6) 0.0
(1, 0) -0.8164965809277261
(1, 3) 0.4082482904638631
(1, 5) 0.4082482904638631
(1, 6) 0.0
(2, 4) -0.7071067811865475
(2, 5) 0.7071067811865475
(2, 6) 0.0
(3, 0) -0.8944271909999159
(3, 5) 0.4472135954999579
(3, 6) 0.0
我读了很多关于哈希技巧的论文,比如这篇文章 https://medium.com/value-stream-design/introducing-one-of-the-best-hacks-in-machine-learning-the-hashing-trick-bf6a9c8af18f
我理解这篇文章,但没有看到与上面获得的结果的关系。
你能用简单的例子解释一下 HashingVectorizer 是如何工作的吗
最佳答案
结果是矩阵的 sparse 表示(大小为 4x8)。
print(X.toarray())
输出:
[[-0.89442719 0. 0. 0. 0. 0.4472136
0. 0. ]
[-0.81649658 0. 0. 0.40824829 0. 0.40824829
0. 0. ]
[ 0. 0. 0. 0. -0.70710678 0.70710678
0. 0. ]
[-0.89442719 0. 0. 0. 0. 0.4472136
0. 0. ]]
为了得到一个标记的向量,我们计算它的哈希值并得到矩阵中的列索引。该列是 token 的向量。
关于python-3.x - 不了解 sklearn 的 HashingVectorizer,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/56275693/