支撑ChatGPT运行的到底是什么?

AI头条· 2023-07-24 11:10:06

 ChatGPT自问世以来,立刻就成为全球科技领域关注的热点,据新华社报道,ChatGPT推出约两个月后,活跃用户即已达到1亿,成为历史上增长最快的消费者应用程序。有学者甚至把它同蒸汽机的发明、电力的应用、个人计算机和互联网的发明相提并论,认为以ChatGPT为代表的人工智能技术,将极大推动生产力的发展,引领人类社会的又一次工业革命,推动社会产生重大变革。也有人认为,ChatGPT并不是取得突破性的技术革命,只不过是互联网时代的又一次概念炒作。那么,ChatGPT到底是什么,会为我们带来哪些挑战和机遇?

  支撑ChatGPT运行的到底是什么?

  ChatGPT是新一代的自然语言处理模型。语言模型,故名思义,就是用来处理人类语言的。当人们把一段文字输入语言模型后,它经过分析处理,输出相对应的结果。比如有用于翻译外文的翻译模型,用于对内容进行分类的文本分类模型,用于检索内容的文本匹配模型等,而ChatGPT是一个生成式的语言模型。所谓生成式语言模型,简单来说,就是一个聊天机器人。当你输入一段文字后,它根据对文字含义的理解,输出一段对应的回答。类似这样的聊天机器人在互联网刚刚兴起的时候就有,粗看起来并没有什么特别的地方。但是ChatGPT的不同之处在于,它生成的文字并不是由人事先设定好的“标准答案”,它的每一次回答都是经过“思考”后“创作”的结果。

  ChatGPT之所以具有如此惊艳的“思考”和“创作”能力,正是建立在大数据、大模型和大算力的基础之上。据推测,ChatGPT学习了数以亿计单词量的来自书籍、文章、新闻、网页、博客,以及维基百科等载体的各类资源,这些内容涵盖了人类社会的政治、经济、文化、社会、军事、历史等各个方面。但ChatGPT不是简单地复制和记录所学习的内容,它是通过深度学习技术和自注意力机制来训练自己。所谓深度学习,就是用计算模型模拟一种类似人类神经系统的运行机制,通过学习不断更新模型参数。ChatGPT在学习过程中,会通过根据上文猜下文的方式,来不断摸索所学内容的“规律”,在这个过程中,它会对自身模型中的约1750亿个参数进行反复修正,直到它认为根据上文所猜出的下文从统计规律来看是最合适的时候,参数才趋于稳定。换句话说,它找到了所学内容的“内在规律”,一个训练成熟的语言模型就完成了。值得注意的是,ChatGPT之所以从众多语言模型中脱颖而出还在于它使用了一种经过改良的自注意力机制。在这种机制下,它会判断出一句话之中需要重点关注的内容是哪些,能更好地联系上下文,联系提出的问题和它学习的内容,从而给出更合适的答复。学习如此大规模的数据,且每一次学习都要更新和调整千亿数量级的参数,在投入使用后,面对海量问题快速作出响应,这离不开大算力的支持。据推测,ChatGPT的总算力消耗约为 3640PF-days(假设每秒计算一千万亿次,需要计算3640天),需要7到8个投资规模30亿、算力500P的数据中心才能支撑运行,其单次训练成本超过千万美元。

  这样一个自然语言模型到底有什么用?

  我们知道,自然语言是人类沟通交流、表达情感、传播和积累知识、进行抽象思考的重要媒介,正是因为拥有了语言,才使得人类文明得以不断传承、积累和发展。ChatGPT的出现,让人类语言能够直接被计算机进行分析和处理,这就使得以自然语言为基础进行的一系列活动,不再是人类的专利。虽然,尚无研究表明ChatGPT出现了人类智能,但不可否认的是,至少从语言的形式上、逻辑上,它成功地模拟了人类的话语体系。ChatGPT的最新版本在许多专业测试中表现出超过绝大多数人类的水平,比如模拟律师资格考试取得了前10%的好成绩,在阅读考试中排名前7%左右。基于此,ChatGPT可以在许多以语言为主要形式的生产生活活动中发挥重要作用。ChatGPT能够快速生成高质量的文案,大大提高了广告、营销等行业的生产效率;能够快速分析大量数据和信息,为企业提供有价值的市场洞察和建议;作为智能客服,可以有效应对用户咨询,提高客户满意度;作为个性化的辅导老师,通过问答式的方式,帮助学生更好地理解和掌握学习内容。

  值得一提的是,ChatGPT作为处理语言的“专家”,具有很大的潜力应用于计算机程序语言的领域,有望成为人和机器之间直接沟通的桥梁。当前,ChatGPT已经能够根据需要编写一些程序代码。通过持续优化和升级,ChatGPT可能实现把自然语言直接转换为机器可以读懂的计算机编程语言,根据人们提出的要求自动编写代码操作机器。这意味着,未来我们可以通过自然语言直接指挥机器执行各类复杂的、自定义的任务。

  当然,ChatGPT还远没有达到完美的程度。作为一个语言模型,其学习和创造的内容仍然是建立在人类所积累的知识和信息的基础之上,也就是说它还不具备创造新知识的能力。同时,作为基于文本学习的模型使得它“只知其文”而“不知其义”,也导致了它经常“望文生义”产生“幻觉”。在一些具有很强逻辑性的问题上,也可能“理解”出错。



您可能关注: ChatGPT
文章链接: http://lw.cy211.cn/aizixun/239.html Chat AI人工智能机器人在线使用

[免责声明]如需转载请注明原创来源;本站部分文章和图片来源网络编辑,如存在版权问题请发送邮件至398879136@qq.com,我们会在3个工作日内处理。非原创标注的文章,观点仅代表作者本人,不代表炎黄立场。