当前位置: 首页 > news >正文

提示词工程入门-使用文心一言4.0-通义千问-GPT4-Claude3通用提示技巧测试

提示词工程基础🚀

       在了解完了大语模型的基本知识,例如API的使用多轮对话,流式输出,微调,知识向量库等知识之后,接下来需要进一步补足的一个大块就是提示词工程,学习和了解提示词工程除了基本的提示词类型之外,不同的大模型对于提示词工程润色之后的提示词的反应如何,也是比较值得关注的一点,因此本文使用文心一言4.0,通义千问,ChatGPT4, Claude3,四种模型来实验一下各类的提示词


文章目录

  • 提示词工程基础🚀
  • 1.什么是提示词工程
  • 2.提示词要素
  • 3.提示词的通用技巧
    • 3.1 在提示词中明确指令
      • 3.1.1 输入基础和改进之后的提示词模型的输出
      • 3.1.2 结果对比分析
    • 3.2 具体描述输出所要的格式
      • 3.2.1 输入基础和改进之后的提示词模型的输出
      • 3.2.2 结果对比分析
    • 3.3精确描述想要的内容不要概括
      • 3.3.1 输入基础和改进之后的提示词模型的输出
      • 3.3.2 结果对比分析
    • 3.4 以鼓励的方式向大模型提问
      • 3.4.1 输入基础和改进之后的提示词模型的输出
      • 3.4.2 结果对比分析
  • 4.整体结果分析
  • 结束


https://www.promptingguide.ai/zh
在这里插入图片描述
       首先分享一个网站这是我在谷歌上搜索到的,一个非常好的提示词学习网站,不但由简单到难的总结了提示词工程中的各种概念要素和提示词的各类技术,后面还包括了一些工具,笔记,还有一些提示词领域的优秀的论文,并不断的对论文进行更新,根据这个网站的逻辑,这篇文章首先测试一下其中的通用提示词技巧,最如果有什么错误或者不完善的非常欢迎沟通交流。

1.什么是提示词工程


这里先引用上面的提示词指南中对提示词工程的介绍:

提示工程(Prompt Engineering)是一门较新的学科,关注提示词开发和优化,帮助用户将大语言模型(Large Language Model, LLM)用于各场景和研究领域。 掌握了提示工程相关技能将有助于用户更好地了解大型语言模型的能力和局限性。

我个人的感觉的话就是针对不同类型的问题然后找出一些通用的提示结构从而让回答的正确率和质量更高。

2.提示词要素


这里我认为提示词指南网站里的解释非常好,我就直接给粘过来,然后补充点自己的理解。
在这里插入图片描述
提示词的四要素:

指令:想要模型执行的特定任务或指令。

上下文:包含外部信息或额外的上下文信息,引导语言模型更好地响应。

输入数据:用户输入的内容或问题。

输出指示:指定输出的类型或格式。

一般来说我们在使用大模型的时候,都是直接输入指令和数据,但是如果能有效的提供上下文和输出格式,则一般而言回答的质量会更高。

3.提示词的通用技巧


3.1 在提示词中明确指令

在这里插入图片描述
明确指令的过程中的要点如下:

  • 使用例如“写入”、“分类”、“总结”、“翻译”、“排序”等明确的提示词
  • 将“###指令###”放在开头

接下来我们分别测试三种

将“hello!”翻译成西班牙语
将以下文本翻译成西班牙语:
文本:“hello!”
### 指令 ###
将以下文本翻译成西班牙语:
文本:“hello!”

为了避免多轮对话的记忆,因此每次实验都新开一个会话


3.1.1 输入基础和改进之后的提示词模型的输出

文心一言

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述


通义千问

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述


ChatGPT4

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述


Claude3

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3.1.2 结果对比分析


       下面是我自我感受的一个测试结果,纯个人感受,文心一言的基础效果给差是因为,只有文心一言的基础结果输出时候,翻译出的西班牙语少了开头的一个符号(但我不知道重要不重要不太懂西班牙语),剩下的情况翻译的情况都基本是正确的,虽然额外的表示方式或是信息不同。

模型名称基础效果使用提示技巧效果特点相关任务推荐建议
文心一言4.0良好不是很推荐
通义千问良好良好只输出结果需要精简回答时推荐
GPT4良好良好结果前会铺垫一句描述对话场景推荐
Claude3良好良好会自动切换回答语言需自动切换语言时推荐

3.2 具体描述输出所要的格式

在这里插入图片描述
接下来测试两种文本:

提取以下文本中的地名。
输入:“虽然这些发展对研究人员来说是令人鼓舞的,但仍有许多谜团。里斯本未知的香帕利莫德中心的神经免疫学家 Henrique Veiga-Fernandes 说:“我们经常在大脑和我们在周围看到的效果之间有一个黑匣子。”“如果我们想在治疗背景下使用它,我们实际上需要了解机制。”
提取以下文本中的地名。
所需格式:
地点:<逗号分隔的公司名称列表>
输入:“虽然这些发展对研究人员来说是令人鼓舞的,但仍有许多谜团。里斯本未知的香帕利莫德中心的神经免疫学家 Henrique Veiga-Fernandes 说:“我们经常在大脑和我们在周围看到的效果之间有一个黑匣子。”“如果我们想在治疗背景下使用它,我们实际上需要了解机制。”

3.2.1 输入基础和改进之后的提示词模型的输出


文心一言

在这里插入图片描述在这里插入图片描述


通义千问

在这里插入图片描述
在这里插入图片描述


GPT4

在这里插入图片描述
在这里插入图片描述


Claude3

在这里插入图片描述
在这里插入图片描述

3.2.2 结果对比分析

       在通用提示词中明确指令前文测试结果,这里两个地名都识别出来了我认为是正确,然后识别出来一个的我就给了差。然后较好是有时候正确有时候错误我就给了较好。

模型名称基础效果使用提示技巧效果特点相关任务推荐建议
文心一言4.0不是很推荐
通义千问良好较好不改进提示词前正确,改进有时正确有时错误推荐不改进提示词使用
GPT4不是很推荐
Claude3良好不改进之前错误,改进之后正确推荐改进提示词之后使用

3.3精确描述想要的内容不要概括

在这里插入图片描述

向高中学生解释提示工程的概念。
使用 2-3 句话向高中学生解释提示工程的概念。

3.3.1 输入基础和改进之后的提示词模型的输出


文心一言

在这里插入图片描述

在这里插入图片描述


通义千问

在这里插入图片描述

在这里插入图片描述


ChatGPT4

在这里插入图片描述

在这里插入图片描述


Claude3

在这里插入图片描述

在这里插入图片描述

3.3.2 结果对比分析

然后由于这是一个开放性问题没有正确答案,大家总结的也都不错但是有个明显的区别。

  • 国内的两个模型文心一言和通义千文把提示工程认为是一种提示作用的行为然后讲述出来
  • 国外的两个模型把提示工程认为提示工程是大模型中的提示词工程而进行输出描述。

我个人认为在这方面国外的两个模型的表现要更好或者更符合当前科技背景一些。


3.4 以鼓励的方式向大模型提问

在这里插入图片描述
测试的两个文本如下

以下是向客户推荐电影的代理程序。不要询问兴趣。不要询问个人信息。客户:请根据我的兴趣推荐电影。
代理:
以下是向客户推荐电影的代理程序。代理负责从全球热门电影中推荐电影。它应该避免询问用户的偏好并避免询问个人信息。如果代理没有电影推荐,它应该回答“抱歉,今天找不到电影推荐。”
顾客:请根据我的兴趣推荐一部电影。
客服:

3.4.1 输入基础和改进之后的提示词模型的输出


文心一言

在这里插入图片描述
在这里插入图片描述


通义千问

在这里插入图片描述
在这里插入图片描述


ChatGPT4-以鼓励的方式向大模型提问

在这里插入图片描述
在这里插入图片描述


Claude3

在这里插入图片描述
在这里插入图片描述

3.4.2 结果对比分析

这里除了GPT4,其他模型都没有完成拒绝推荐的指令,因此GPT在理解复杂指令方面还是表现出了领先的优势。

4.整体结果分析


  • 随着大模型的发展,提示词工程的通用技巧之后的模型绝大多数情况下都好于改善了之前,但也有更差的情况,个人认为随着大模型的发展,提示词工程的作用在不断的降低。如果把上述四种提示词基础功能分别对应四种任务的话我粗略的给每个模型排个名仅供参考
模型名称明确指令任务中实体识别任务精确内容任务附加条件任务综合排名(求和)
文心一言4.043324
通义千问11323
GPT413111
Claude312121
  • GPT在中文实体识别任务中不如通义千问和Claude3其他任务中全处在最优水平,而且在理解复杂逻辑方面遥遥领先
  • Claude各方面能力相当均衡没有明显的短板
  • 国产模型在整体能力上距离世界领先水平还有一段空间,加油我们自己大模型一定会越来越好。

结束


这个对比就到这,毕竟花了好多钱开了这这些大模型,争取把能测试都测试一遍,后面从零样本提示开始做实验,进一步看一下各个模型在面对复杂情况下表现和提示词能起到的作用。

http://www.lryc.cn/news/343487.html

相关文章:

  • 损失函数详解
  • 算法提高之树的中心
  • 【Java基础】面向对象是什么
  • 家用洗地机应该怎么选?哪个牌子好?市场上主流洗地机品牌推荐
  • python Django REST framework允许你根据API的版本提供不同的行为或数据
  • unity给物体添加可以包裹所有子物体的BoxCollider
  • 2024五一数学建模A题思路代码与论文分析
  • ICode国际青少年编程竞赛- Python-1级训练场-基础训练2
  • 科技控必看!让你轻松成为机器人领域达人
  • Linux进程——Linux下常见的进程状态
  • TCP长连接短链接
  • 代码随想录35期Day33-Java
  • PMP考试没过怎么办?如何补考?(附复核流程)
  • 自主实现Telnet流量抓取
  • 以瓦片地图为底图添加图表,保留拖拽功能
  • Windows cmd bat之特殊符号及变量
  • 用python写个控制MicroSIP自动拨号和定时呼叫功能(可用在小型酒店叫醒服务)
  • axios 取消token 模糊搜索
  • 【OTS4WORD】“精简并行过程”——容易剪裁的“软件过程改进方法和规范”模板
  • 22 | MySQL有哪些“饮鸩止渴”提高性能的方法?
  • 【AIGC调研系列】VILA-1.5版本的视频理解功能如何
  • 如何解决WordPress邮件发送和接收问题
  • MySQL学习笔记10——日志
  • OpenSPG docker 安装教程
  • TypeScript学习日志-第十六天(泛型)
  • Flutter路由跳转的两种方式
  • Hydroxyethyl-PEG-Hydroxyethyl,Hy-PEG-Hy是一种由聚乙二醇(PEG)和二酰肼单元构成的嵌段共聚物
  • 链表面试题目:反转一个单链表的两种方法(解析+代码)
  • [C++][数据结构]AVL树插入的模拟实现
  • 力扣每日一题108:将有序数组转换为二叉搜索树