提示工程:引导ChatGPT的咒语是怎样炼成的丨周五直播·后ChatGPT读书会
导语
随着GPT一代代地更新,人们对如何创建提示以获得自己想要的内容越来越感兴趣,prompt engineering成为人工智能发展的一个重要方向,但如何用好它们仍然是一个问题,而在 Prompt Learning 相关的论文里已经有了大量的研究在尝试解答这个问题。本期读书会,从这些研究出发,我们可以获得比较体系的、相对客观的、可操作的使用指导,将帮助我们了解从 Prompt 的设计到 Prompt 的评估优化及应用这整个环节里需要注意的问题并掌握对应的处理方案。
集智俱乐部的“”读书会由北师大教授、集智俱乐部创始人张江老师联合肖达、李嫣然、崔鹏、侯月源、钟翰廷、卢燚等多位老师共同发起,旨在系统性地梳理ChatGPT技术,并发现其弱点与短板。同时,结合集智俱乐部常年来积累的各种人工智能技术讨论,展望后GPT时代的人工智能都有哪些可能性?读书会自2023年3月3日开始,每周五晚上19:00-21:00举办,持续时间预计6周,欢迎对本话题感兴趣的朋友报名参加!
与读书会主题之间的关系
从应用和工程的角度来了解以 ChatGPT 为代表的语言模型的能力、问题以及可能的应对策略。
主要涉及到的知识概念
语言模型(Language Model)
提示(Prompt)
提示学习(Prompt Learning)
提示工程(Prompt Engineering)
困惑度(Perplexity)
提示评估(Prompt Evaluation)
提示集成(Prompt Ensembling)
上下文学习(In-Context Learning)
标签偏差(Label Bias)
近期偏差(Recency Bias)
上下文校准(Contextual Calibration)
提示组合(Prompt Composition)
提示分解(Prompt Decomposition)
分享简介
尽管以 ChatGPT 为代表的语言模型已经表现出非常强的能力,如何用好它们却仍然是一个问题,而在 Prompt Learning 相关的论文里已经有了大量的研究在尝试解答这个问题,从这些研究出发,我们可以获得比较体系的、相对客观的、可操作的使用指导,帮助我们了解从 Prompt 的设计到 Prompt 的评估优化及应用这整个环节里需要注意的问题并掌握对应的处理方案。
分享大纲
语言模型简介
Prompt Engineering 简介
Prompt Generation
Prompt Evaluation
Prompt Ensembling
In-Context Learning
Examples Selection
Examples Ordering
Contextual Calibration
Prompt Composition
Prompt Decomposition
Prefix-Tuning 和 P-Tuning
主讲人
钟翰廷,近十年 NLP 从业经验,在信息检索、对话机器人、信息抽取、知识图谱方面有丰富实践经验,目前于贝叶智能担任算法工程师。
个人博客 https://www.zmonster.me
直播信息
时间:
2022年3月31日(周五) 晚上 19:00-21:00
扫码参与读书会,加入群聊获取本系列读书会的视频回放权限、资料权限,与社区的一线科研工作者和企业实践者沟通交流。
概念解析
什么是提示工程 (Prompt engineering) ?
提示工程(Promt Engineering)是伴随着 Prompt Learning 这种新的学习范式而出现的,在 Prompt Learning 中,研究人员把分类、抽取、翻译、问答、摘要、推理以及许许多多以前需要专用模型去做的不同的语言任务统一到了文本生成或文本填空的形式中,用自然语言的形式描述任务目的并带上任务输入,在不改变模型结构和参数的情况下指引语言模型完成不同的任务,这种带有任务目标意图和任务输入的文本就是所谓的 Prompt —— 区别于单纯的任务输入,如何省时省力地写出一个能达到预期目的的 Prompt 就是 Prompt Engineering 关注的核心问题,Prompt Engineering 之于语言模型就好比以前的特征工程之于传统的机器学习模型,本质上还是由于现有语言模型能力不足导致的,或许随着 GPT 等模型的升级,Prompt Engineering 也将不再需要,但在此之前,掌握相关的概念和方法,将能有效地节省我们的精力。
“后ChatGPT”读书会启动
集智俱乐部的由北师大教授、集智俱乐部创始人张江老师联合肖达、李嫣然、崔鹏、侯月源、钟翰廷、卢燚等多位老师共同发起,旨在系统性地梳理ChatGPT技术,并发现其弱点与短板。同时,结合集智俱乐部常年来积累的各种人工智能技术讨论,展望后GPT时代的人工智能都有哪些可能性?读书会自2023年3月3日开始,每周五晚上举办,持续时间预计6周,欢迎对本话题感兴趣的朋友报名参加!
详情请见: