ChatGPT 的已知与未知：从发展脉络到未解之谜丨周五直播·后ChatGPT读书会

　　导语

　　本次读书会由肖达和李嫣然两位老师进行分享。分享将通过对比不同翻译任务时期完成该任务方式和解决的问题，梳理GPT家族的发展演化脉络，并简要介绍涉及到的Transformer自注意力、预训练/微调、in-context learning、instruction tuningRLHF等技术和概念。过程中穿插反思OpenAI GPT路线的成功的启示。

　　当前有很多工作观察到大模型迭代发展趋势和现象，现象背后的根源仍众说纷纭。这些讨论主要集中在大模型涌现出的 Chain-of-Thoughts思维链推理能力、In-Context Learning能力及不理想的Hallucination生成幻觉问题。本次读书会将会梳理一些大模型的迷思、提出探讨角度，尝试将大模型与更多领域研究关联在一起。

　　集智俱乐部的由北师大教授、集智俱乐部创始人张江老师联合肖达、李嫣然、崔鹏、侯月源、钟翰廷、卢燚等多位老师共同发起，旨在系统性地梳理ChatGPT技术，并发现其弱点与短板。同时，结合集智俱乐部常年来积累的各种人工智能技术讨论，展望后GPT时代的人工智能都有哪些可能性？读书会自2023年3月3日开始，每周五晚上举办，持续时间预计6周，欢迎对本话题感兴趣的朋友报名参加！

　　与读书会整体主题之间的关系

　　肖达老师部分

　　梳理GPT家族的发展演化脉络，介绍涉及到的主要概念和技术，为后续讨论打下基础

　　李嫣然老师部分

　　尽管通过 Instruction Tuning、RLHF 等训练出的大模型“涌现”出了很多惊人的能力，但在这些现象背后仍然有很多引人深思的问题，仍待解决。比如，为什么会涌现出这些能力？这些能力是否有更好的获取途径？大模型现在仍然表现不好的地方，是否有其它技术可以帮助解决？信息论、因果推断、神经科学等等学科的一些研究成果是否能帮助我们更好地理解现状？

　　主要涉及到的知识概念

　　Transformer

　　PLM

　　Emergence

　　In-context Learning

　　Instruction Tuning

　　RLHF

　　Chain-of-Thoughts Reasoning

　　Hallucination

　　分享简介

　　肖达老师部分

　　以翻译任务为例，按四个时期

　　1）统计机器翻译、神经机器翻译（RNN S2S -> CNN S2S -> Transformer）；

　　2）预训练+微调(GPT-1、BERT)；

　　3）基于PLM和涌现的few-shot learning和prompt programming（GPT-2/3）；

　　4）基于PLM和指令微调+RLHF的zero-shot learning（GPT-3.5/ChatGPT）

　　通过对比每个时期完成这个任务的方式和解决的问题，梳理GPT家族的发展演化脉络，并简要介绍涉及到的Transformer自注意力、预训练/微调、in-context learning、instruction tuning、RLHF等关键技术和概念。

　　过程中穿插反思OpenAI GPT路线的成功带给我们的启示（主要从科学研究的角度）。

　　李嫣然老师部分

　　当前，有很多工作观察到了大模型迭代发展的一些趋势和现象，比如大模型会在特定的条件下涌现出一些能力。尽管有了这些观察，但这些现象背后的根本原因是什么，仍然众说纷纭。这些讨论，主要集中在大模型涌现出的 Chain-of-Thoughts 思维链推理能力、In-Context Learning 能力以及不理想的 Hallucination 生成幻觉问题上。在本次读书会中，我们将会梳理一些大模型的迷思，提出一些探讨角度，尝试将大模型与更多领域的研究关联在一起。

　　分享大纲

　　肖达老师部分

　　古典时代：神经机器翻译（RNN S2S -> CNN S2S -> Transformer）

　　中世纪：预训练+微调(GPT-1、BERT)

　　文艺复兴：基于PLM和涌现的few-shot learning和prompt programming（GPT-2/3）

　　工业革命：基于PLM和指令微调+RLHF的zero-shot learning（GPT-3.5/ChatGPT）

　　李嫣然老师部分

　　推理之谜：如何才能让模型学会推理？推理能力与其它能力是什么样的关系？

　　涌现之谜：为何会涌现出 In-Context Learning 的能力？能力的涌现是可以被预测的吗？

　　幻觉之谜：如何能缓解生成幻觉的问题？幻觉与因果推断、神经科学有什么关联吗？

　　主讲人

　　肖达，集智科学家社群成员，人工智能公司彩云天气联合创始人、首席科学家，主要负责深度神经网络模型和算法的研发用于彩云天气、彩云小译、彩云小梦等产品，北京邮电大学网络空间安全学院讲师。

　　集智斑图个人主页：https://pattern.swarma.org/user/2118

　　李嫣然，集智学园讲师、集智俱乐部核心成员。曾任小米人工智能实验室高级算法工程师及场景对话团队研发负责人，同时也兼任着北京大学心理与认知学院的行业导师。其多年担任 AAAI，ACL，EMNLP等国际顶级会议的审稿人，并担任 EMNLP 2022 领域主席。其曾在国际顶级会议及期刊上发表论文二十余篇，涵盖情感计算、人机对话、自然语言生成等研究领域，谷歌学术累计引用逾2000次。

　　集智斑图个人主页：https://pattern.swarma.org/user/39

　　直播信息

　　时间：

　　2022年3月3日（周五） 晚上 19:30-21:30

　　扫码参与读书会，加入群聊获取本系列读书会的视频回放权限、资料权限，与社区的一线科研工作者和企业实践者沟通交流。

　　“后ChatGPT”读书会启动

　　集智俱乐部的由北师大教授、集智俱乐部创始人张江老师联合肖达、李嫣然、崔鹏、侯月源、钟翰廷、卢燚等多位老师共同发起，旨在系统性地梳理ChatGPT技术，并发现其弱点与短板。同时，结合集智俱乐部常年来积累的各种人工智能技术讨论，展望后GPT时代的人工智能都有哪些可能性？读书会自2023年3月3日开始，每周五晚上举办，持续时间预计6周，欢迎对本话题感兴趣的朋友报名参加！

　　详情请见：

　　集智学园最新AI课程推荐，

　　张江教授亲授

　　理解人类语言、创作艺术品、下围棋、蛋白质结构预测、新质子模型的发现、辅助数学定理证明，所有这些不同领域的难题都正在被新兴人工智能技术逐一攻破。人工智能， 特别是以大数据、机器学习、神经网络等技术为主体的智能技术，近年来获得了迅猛的发展，它正在与各个学科发生交叉、融合，逐渐演化为一种解决各种复杂系统问题的跨学科方论，成为支撑复杂系统分析与建模的重要新兴技术。

　　本课程面向具有一定理工科背景和编程技术基础的学生，全面介绍基于大数据技术驱动为主的人工智能技术的最新进展，包括但不限于：神经网络、深度学习、强化学习、因果推断、生成模型、语言模型、面向科学发现的AI等前沿领域。希望学员能够在本课程的学习过程中了解数据驱动的人工智能最新方法、技术和前沿发展情况，同时通过一定的课程项目实践，能够具备利用人工智能解决复杂问题的实操、编程能力。

　　课程定价：399元

　　课程时间：课程目前已上线到第2课。从2023年3月-6月，每周二中午12:00更新课程。法定节假日除外。

　　https://campus.swarma.org/course/5084?from=wechat