2020 ICLR

• 修改传统LSTM
  • 当前输入和隐藏状态充分交互，从而获得更佳的上下文相关表达

1 Mogrifier LSTM

• LSTM的输入X和隐藏状态H是完全独立的

   

  •  机器学习笔记：GRU_gruc_UQI-LIUWJ的博客-CSDN博客
  • 这篇论文想探索，如果在输入LSTM之前，能让输入X和隐藏状态H做交互，那么性能能不能得到提升？
• ——>论文提出了Mogrifier LSTM

   

  • 
  • 
    • i=0的时候，就是传统LSTM的输入和hidden state
    • i为奇数的时候，动输入x
    • i为偶数的时候，动隐藏状态h
  • 

2 实验