StreamingLLM - 处理无限长度的输入

关于 StreamingLLM

Efficient Streaming Language Models with Attention Sinks

• GitHub : https://github.com/mit-han-lab/streaming-llm
• 论文：https://arxiv.org/abs/2309.17453

在流媒体应用程序（如多轮对话）中 部署大型语言模型（LLM）是迫切需要的，但这带来了两个主要挑战。
首先，在解码阶段，缓存先前 tokens’ Key and Value（KV）会消耗大量内存。
其次，流行的LLM不能推广到 比训练序列长度更长的文本。

Window attention，只缓存最新的KV，是一种自然的方法——但我们表明，当文本长度超过缓存大小时，它会失败。
我们观察到一个有趣的现象，即注意力下沉，即保持初始 tokens 的KV，将在很大程度上恢复窗口注意力的表现。

在本文中，我们首先证明了 attention sink 的出现是由于对作为“sink”的初始标记的