我只是通过将其用作较大的PyTorch模型的一部分来尝试使用ELMo。给出了一个基本示例here。
这是一个torch.nn.Module子类，可计算任意数量的ELMo
表示法，并为每种方法引入可训练的标量权重。对于
例如，此代码段计算了两层表示（例如
在我们论文的SNLI和SQuAD模型中）：
from allennlp.modules.elmo import Elmo, batch_to_ids
options_file = "https://s3-us-west-2.amazonaws.com/allennlp/models/elmo/2x4096_512_2048cnn_2xhighway/elmo_2x4096_512_2048cnn_2xhighway_options.json"
weight_file = "https://s3-us-west-2.amazonaws.com/allennlp/models/elmo/2x4096_512_2048cnn_2xhighway/elmo_2x4096_512_2048cnn_2xhighway_weights.hdf5"
# Compute two different representation for each token.
# Each representation is a linear weighted combination for the
# 3 layers in ELMo (i.e., charcnn, the outputs of the two BiLSTM))
elmo = Elmo(options_file, weight_file, 2, dropout=0)
# use batch_to_ids to convert sentences to character ids
sentences = [['First', 'sentence', '.'], ['Another', '.']]
character_ids = batch_to_ids(sentences)
embeddings = elmo(character_ids)
# embeddings['elmo_representations'] is length two list of tensors.
# Each element contains one layer of ELMo representations with shape
# (2, 3, 1024).
# 2 - the batch size
# 3 - the sequence length of the batch
# 1024 - the length of each ELMo vector
我的问题与“陈述”有关。您可以将它们与普通的word2vec输出层进行比较吗？您可以选择返回多少ELMo（增加第n维），但是这些生成的表示形式之间的区别是什么？它们的典型用法是什么？
为了给您一个想法，对于上述代码，
embeddings['elmo_representations']返回一个包含两个项目（两个表示层）的列表，但是它们是相同的。简而言之，如何定义ELMo中的“表示”？
最佳答案
参见the original paper的3.2节。
ELMo是biLM中中间层表示形式的特定于任务的组合。对于每个令牌，L层biLM计算一组2L + 1个表示
先前在第3.1节中说过：
最近的最新神经语言模型计算上下文无关的令牌表示（通过令牌嵌入或字符上的CNN），然后将其传递给前LSTM的L层。在每个位置k，每个LSTM层输出一个上下文相关的表示。顶层LSTM输出用于预测带有Softmax层的下一个标记。
为了回答您的问题，这些表示形式是这些基于L LSTM的上下文相关表示形式。
关于python - 了解ELMo的演讲次数，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/54947258/