2023年3月5日，第二届中国行业数字化转型高峰论坛暨华南CIO年会在广州隆重召开。本次大会由CIO时代主办，新基建创新研究院提供智库支持，汇聚了数智化转型创新领域的顶尖行业专家、研究学者、优秀CIO群体和科技厂家，围绕“创新·进化”的大会主题发表重要观点。
深圳点用工业互联网研究院CTO、北大深圳系统芯片设计重点实验室人工智能专家明辉出席了华南年会并分享了“ChatGPT原理与应用”。
以下是演讲实录：
非常荣幸能够为大家介绍ChatGPT的原理及应用，我将从以下五个部分为大家进行分享：一是ChatGPT的前世今生；二是ChatGPT的核心技术；三是ChatGPT的具体操作和使用；四是ChatGPT的应用领域；五是ChatGPT的产业模式，如何将ChatGPT应用到企业的数字化转型中。
ChatGPT的前世今生
ChatGPT是自然语言处理的最新技术成果，但其中涉及的很多技术研究已有近80年的历史。20世纪40年代，英国著名数学家艾伦·麦席森·图灵在对德国密码机进行破译时，提出了“图灵机”的概念。1956年，在达特茅斯学院研讨会上，科学家正式提出了“人工智能”概念，意图以此来识别人类的语音及语言。最初，科学家们认为这并不是一件很有难度的工作，以英语为例，其语言结构性很强，包含主语、谓语、宾语，以及动词、名词、代词等，存在一定的语言规则，便于进行总结。
但直到90年代，模型的研发仍未达到理想效果。但是负责自然语言识别和理解的科学家提出，通过对语言学家的解构，其模型性能可以提升10%。于是科学家们不再探讨规则，而是进入统计机器学习时代，统计词频、特征，并应用机器学习的部分算法和神经网络进行语言的处理。这为深度学习时代的到来，奠定了坚实的基础，其产生的部分成果，如SVM支持向量机、TF-IDF、词嵌入等算法，在深度学习时代仍在使用。
自2010年开始，我们正式进入了传统深度学习时代，真正的人工智能开始逐渐兴起。其复兴最早是从计算机视觉开始，但很快便转向NLP方向，自然语言处理迟迟得不到突破，这是由于其使用的技术和算法是在20世纪90年代发明的，如循环神经网络RNN，以及长短期记忆网络LSTM，并没有得到最根本的创新。
直到2017年，谷歌正式提出注意力机制。很多人采用注意力算法，更好地获取语义时序关联特征，而且能够并行计算，使用更大的神经网络框架包括Transformer等，制作了多个NLP预训练大模型，例如BERT、GPT、多模态AI等，这使得当前的人工智能达到了革命性的临界点。
ChatGPT是由OpenAI公司开发的，OpenAI最早是埃隆·马斯克发起并投资的非盈利性机构，目前其背后最主要的公司是微软。微软目前在人工智能领域处在行业领先地位，其Azure云集成了众多人工智能技术，并且应用十分广泛，在硅谷已经超越了谷歌和苹果。
ChatGPT是一个融合了NLP预训练大模型和人类反馈强化学习技术的通用问答机器人，不仅可以聊天，也可以帮助我们做其他事情。从广泛的概念看，它是一个能够颠覆多个行业领域的AIGC机器人。AIGC指的是“人工智能产生内容”。我们过去在研究大数据时，常说大数据模型是历史学家，因为我们只能通过过去的数据了解过去的规律，预测未来也必须遵循过去的规律。但AIGC并不一样，它可以自己产生内容、产生想法，我们可以认为它拥有一定的自我意识。
ChatGPT用了不到两个月的时间火爆全球，增长了近一亿用户，其火爆的主观原因有三方面。首先，ChatGPT模型的数据量非常庞大，它从互联网上收集了各种各样的文本、社交和图书数据，拥有近45T的训练数据。其次，OpenAI开发了GPT-3模型架构，并使用近800个A100芯片组成的GPU集群，训练了近两个月。并且，OpenAI选择了大模型+强化学习技术，虽然在很多传统领域，强化学习技术的应用并不乐观，但OpenAI将强化学习技术与人相结合，实现了产品能力的极大提升，这是非常重要的技术突破。
ChatGPT火爆的客观原因，是由于当前人工智能全球应用正面临天花板：国外主要的自动驾驶公司市值大幅度缩水；国内AI四小龙增长面临“天花板”；硅谷的很多互联网企业营收增长停滞，裁员潮不断出现；人工智能应用面临诸多监管限制；AI领域迟迟没有“杀手级”应用；投资人需要新的热点。
在多方面的因素影响下，ChatGPT成为了人工智能转入低潮时的强心剂。在ChatGPT的影响下，人工智能应用将达到新的高度，因为ChatGPT所具有的功能，不仅仅是我们所看到的写文案、代码等ToC端的应用，在传统NLP应用、命名实体抽取、语义环境理解等方面都具有很大的应用价值。这是一项很重要的技术，我们不仅要了解它，而且要应用它。
ChatGPT的核心技术
ChatGPT的核心步骤共有三大步骤：
第一步，收集示例数据，训练监督模型。ChatGPT会训练大模型，通过自监督学习，也就是由少量的标注人员给出示范答案，对ChatGPT模型进行不断微调。
第二步，对比生成数据和示范数据，训练奖励模型。
第三步，通过PPO强化学习算法，针对奖励模型优化策略。
预训练大模型是ChatGPT的基石，预训练大模型是NLP领域参考视觉领域的技术。而GPT实际上就是生成式预训练大模型，其约有1750亿参数，模型尺寸约80G字节，模型的参数主要是模型中的权重，大部分行业使用的GPT2，也有近150亿参数量，所以在应用时也要注意算力等相关问题。
注意力机制是ChatGPT的核心技术之一，在2017年被正式提出，目前已经是人工智能领域内提取特征的最主要技术。其原理类似于人类的瞳孔，当人在看一个画面时，瞳孔注视的范围非常小，所以通过一个小范围地注视就可以把其余内容进行过滤，所以注意力机制是一个高效的信息过滤和特征提取算法。注意力机制最终融入Transformer框架，并基于此框架，进行ChatGPT模型的训练。
Transformer包括两部分，左边是Encoder是编码器，右边Decoder是解码器，编码过程是降噪，抽取特征，解码的时候会更进一步加入自己的东西。在编码器方面就会产生很多模型，类似BERT，像在做填空题。而GPT主要是通过一个单词或者几个单词，从而生成一大段文字，这是一个相反的操作，特别适合AIGC人工智能产生内容，所以GPT将来的应用会更加广泛。
ChatGPT的操作使用
目前ChatGPT网站在国内无法注册登录，我们可以通过香港服务器进行登录。ChatGPT的API接口服务使用也非常简单，在安装OpenAI的安装包后，有API的Key，就可以进行问答。后续API的接口也会越来越丰富，目前ChatGPT所展现的ToC功能只是它的十分之一，后续会有更多的功能逐渐展示。
ChatGPT的缺点，首先其中文语料数据较少，而这对我们来说也是一个机会。其次依赖于特征匹配，没有深度理解意识，当然这是仁者见仁智者见智，如果ChatGPT可以像人一样，提出很多专业方案，也可以理解为有一定意识。再者我们要注意ChatGPT带来的风险，新的事物出现必然会伴有风险存在，我们要注意、规避风险。
ChatGPT的应用领域
在传媒领域，ChatGPT可以进行新闻的采编，写新闻稿件，这也是目前应用ChatGPT最为广泛的领域。很多企业非常关注ChatGPT在营销领域的应用，如何利用ChatGPT推销产品，过往我们也在营销领域，探索过类似机器人的应用，但效果并未达到预期。销售、客服机器人需要的是多轮会话的能力，不仅需要生成内容，而且能理解所有内容，这是双向交互的功能。在影视、教育、医疗等领域，ChatGPT的应用也非常广泛，很多学生在利用ChatGPT写论文，人们也可以利用ChatGPT获取医疗知识。目前也有公司在探索反ChatGPT技术，也就是如何让人们查不到这份内容是否是由ChatGPT所生产的。
ChatGPT的产业模式
在产业模式方面，以ChatGPT为主的产业正处于爆发阶段，包括代码生成、问答等。其产业分工主要分为三部分：一是数据供给、数据采集、数据标注；二是模型定制开发，我们需要能够理解ChatGPT模型的技术人员，并且使用迁移学习技术，在垂直细分领域进行模型的二次开发，以便适应定制化需求；三是应用集成开发。
在AIGC文生图方面，ChatGPT的应用也非常广泛。目前，国内外互联网公司如同军备竞赛一般，在AIGC领域纷纷布局，这会为很多垂直行业的公司带来更多的机会，他们可以按照自己想要的方式训练类似的产品。目前AIGC应用落地，在图像生成、音频生成、视频生成等场景中都较为成熟，并在逐渐向更高阶段迈进。
虽然目前AI技术的发展处于向好阶段，但我们要避免拿着锤子找钉子的窘境。首先我们要分别真实需求和伪需求。技术人员所考虑的很多是伪需求，真实需求是用户提出来的，当用户提不出需求时，我们就要自己要去不断尝试，失败了没有关系，再试下一个。其次，我们要避免好高骛远，要找准自己的定位。再者，我们要关注少样本Few-shot和零样本Zero-shot等AI民主化算法，解决数据量和算力问题。并且要专注于垂直行业，积累领域知识。而且要以更广的视角看待问题，与其他行业的交叉融合，数字化转型不仅仅是技术的问题，更多是组织的变革和思维的提升，需要既懂技术又懂业务。
很多同学想做类似ChatGPT的产品或功能，那么就要学会八个字“似我者死 学我者生”，不要被一时喧闹所迷惑，而是要学习OpenAI结合GPT-3大模型和RLHF强化学习的工程之道。并且也要注重用户交付，因为产品是要与C端打交道，越早开启用户交互越好。
最后和大家互勉，我们要从实际出发，承认差距，不要自我贬低。虽然在很多领域我们被“卡脖子”，但只要给予我们一定的时间，通过技术突破、成本突破，就可以让它做得更好用、成本更便宜，可以占领市场，打破外国对我们的限制。最关键的，是要开始做，只要开始做，就会有收获，真正赋能行业才是王道。
第三十八届CIO班招生
国际CIO认证培训
首席数据官（CDO）认证培训
责编：zhanghy
免责声明：本网站（http://www.ciotimes.com/）内容主要来自原创、合作媒体供稿和第三方投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
本网站刊载的所有内容（包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等）版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时，请及时通知本站，予以删除。
抢沙发
