Context Tuning for In-Context Optimization

Context Tuning for In-Context Optimization

Context Tuning（上下文调优）”是用于提升大语言模型（LLM）在少样本学习表现的方法

原理

• Context Tuning的基础概念：大语言模型具备上下文学习（In-Context Learning，ICL）能力，即能通过上下文中少量示例完成新任务，无需更新模型参数。Context Tuning则是在这个基础上， 优化由任务相关示例初始化的可训练上下文（prompt或prefix），充分发挥LLM的ICL能力 。
• 两种变体：
  • CT-Prompt：把少样本示例组成的prompt嵌入初始化为可优化参数，在训练过程中，通过优化这些参数来引导模型作答。例如，在一个文本分类任务中，将少量的文本分类示例（如正面评价、负面评价示例）组成prompt