我是tensorflow hub的新手,遇到了ELMo模型(https://www.tensorflow.org/hub/modules/google/elmo/2)。
根据最初的论文,ELMo表示是隐藏状态激活的加权平均值,这些权重可以根据手头的任务(即特定任务)进行训练。如所料,当我使用tf.trainable_variables()时,可以看到4个可训练参数。如何用tensorflow训练这些变量?
他们只是说这些重量是可以训练的。但谁来训练呢?我还是埃尔莫模型本身训练它?报纸似乎建议我应该训练它。如果是的话,我该如何在tensorflow中训练它?
最佳答案
您可以首先将一个模块导入到模型中,trainable=True,然后train模型,就像导入其他TF模型一样。在这个训练过程中,模型的重量导入模块的一部分也将得到训练。您也可以使用this tutorial作为良好的起点,只需将nnlm嵌入替换为ELMo。
关于python - ELMo-如何训练可训练参数,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/50999880/