In-context Learning
formulate the
example + query -> LLM -> answer
no gradient descent and fine-tuning, no parameters update
advantages: 提供了与LLM进行交流的可解释的接口，通过template和demonstration将人类知识和LLM更好的结合；更像人类的预测思维，会根据类比；相比监督学习，更加的training-free。
GPT-3具有较强的ICL能力，这个能力可以通过pretraining进行提升。
对prompting template、example、example的顺序敏感。
(1) training phase培养大模型的ICL能力 (2) inference stage，根据具体的demonstration预测。
严格说ICL是prompt learning的子类，其中的demonstration和是prompt的一种，只不过demonstration是很多的xy对构成的。
ICL和few shot learning不一样，因为ICL不需要参数更新。
warmup是介于pretraining和 inference之间的，可选择的，一般是调整llm或者增加一些参数，不同于fine-tune，不会对llm针对具体任务进行训练。
https://arxiv.org/pdf/2301.00234.pdf