首页|必读|视频|专访|运营|制造|监管|大数据|物联网|量子|元宇宙|博客|特约记者
手机|互联网|IT|5G|光通信|人工智能|云计算|芯片报告|智慧城市|移动互联网|会展
首页 >> 人工智能 >> 正文

人工智能军备竞赛白热化:谷歌最新 AI 大语言模型 PaLM2 数据量扩充 5 倍

2023年5月17日 11:13  新浪科技  

北京时间 5 月 17 日早间消息,据报道,谷歌上周发布的最新大语言模型使用的训练数据,几乎是 2022 年的上一代模型的 5 倍。得益于此,该模型在编程、数学和创意写作方面的表现更为优秀。

谷歌是在其 I / O 开发者大会上发布最新通用大语言模型 PaLM2 的。内部文件显示,该模型采用了 3.6 万亿个令牌(token)进行训练。令牌指的是单词串,这是训练大语言模型的重要基础,因为这可以教给模型如何预测字符串中可能出现的下一个单词。

之前版本的 PaLM 发布于 2022 年,当时使用的令牌为 7800 亿个。

虽然谷歌很希望展示其人工智能技术的实力,以及嵌入搜索、电子邮件、字处理和电子表格后的效果,但该公司却不愿发布其训练数据的规模和其他细节。微软支持的 OpenAI 也对其最新的 GPT-4 大语言模型的细节信息保密。

这些公司表示,之所以不披露这些信息,是出于商业竞争考虑。谷歌和 OpenAI 都在努力吸引想要用聊天机器人代替传统搜索引擎,从而直接获取答案的用户。

但随着人工智能军备竞赛日趋白热化,相关研究人员也呼吁企业加大透明度。

自从发布 PaLM2 之后,谷歌一直表示新的模型比之前的大语言模型更小,这就意味着该公司的技术效率得以提升,但却可以完成更加复杂的任务。内部文件显示,PaLM2 基于 3400 亿个参数训练 —— 这项指标可以说明该模型的复杂程度。最初的 PaLM 则基于 5400 亿个参数训练。

目前,谷歌尚未对此置评。

谷歌在一篇关于 PaLM2 的博文中表示,该模型使用了一种名为“计算机优化扩张”的新技术。这就让大语言“更高效、整体性能更好,包括加快推理速度、减少参数调用和降低服务成本。”

在宣布 PaLM2 时,谷歌证实了此前的媒体报道,计该模型针对 100 种语言进行训练,可以执行更广泛的任务。它已经被用于 25 项功能和产品,包括该公司的实验性聊天机器人 Bard。按照从小到大的规模划分,该模型共有 4 种,分别是壁虎(Gecko)、水獭(Otter)、野牛(Bison)和独角兽(Unicorn)。

根据公开披露的信息,PaLM2 比现有的任何模型都更加强大。Facebook 在 2 月份宣布的的 LLaMA 大语言模型采用 1.4 万亿个令牌。OpenAI 上一次披露 GPT-3 的训练规模时表示,它当时基于 3000 亿个令牌。OpenAI 今年 3 月发布 GPT-4 时表示,它在许多专业测试中展示出“与人类媲美的表现”。

LaMDA 是谷歌两年前推出的一个对话型大语言模型,在今年 2 月还与 Bard 一同对外宣传。该模型基于 1.5 万亿个令牌训练。

随着新的人工智能应用快速进入主流,围绕底层技术的争议也越来越激烈。

谷歌高级研究科学家艾尔 迈赫迪 艾尔 麦哈麦迪(El Mahdi El Mhamdi)于今年 2 月辞职,主要原因就是人工智能技术缺乏透明度。本周二,OpenAI CEO 山姆 阿尔特曼(Sam Altman)出席美国国会针对隐私和技术举行的听证会,他也认为需要设立一套新的制度来应对人工智能的潜在问题。

“对于一种全新的技术,我们需要一套全新的框架。”阿尔特曼说,“当然,像我们这样的公司应当为我们推出的工具承担许多责任。”

编 辑:章芳
声明:刊载本文目的在于传播更多行业信息,本站只提供参考并不构成任何投资及应用建议。如网站内容涉及作品版权和其它问题,请在30日内与本网联系,我们将在第一时间删除内容。本站联系电话为86-010-87765777,邮件后缀为#cctime.com,冒充本站员工以任何其他联系方式,进行的“内容核实”、“商务联系”等行为,均不能代表本站。本站拥有对此声明的最终解释权。
相关新闻              
 
人物
工信部张云明:大部分国家新划分了中频段6G频谱资源
精彩专题
专题丨“汛”速出动 共筑信息保障堤坝
2023MWC上海世界移动通信大会
中国5G商用四周年
2023年中国国际信息通信展览会
CCTIME推荐
关于我们 | 广告报价 | 联系我们 | 隐私声明 | 本站地图
CCTIME飞象网 CopyRight © 2007-2024 By CCTIME.COM
京ICP备08004280号-1  电信与信息服务业务经营许可证080234号 京公网安备110105000771号
公司名称: 北京飞象互动文化传媒有限公司
未经书面许可,禁止转载、摘编、复制、镜像