首页|必读|视频|专访|运营|制造|监管|大数据|物联网|量子|元宇宙|博客|特约记者
手机|互联网|IT|5G|光通信|人工智能|云计算|芯片报告|智慧城市|移动互联网|会展
首页 >> 头条固定一 >> 正文

移动赛场上的新“10号”,AI引擎将如何策动智能新体验

2024年3月7日 06:37  CCTIME飞象网  作 者:魏德龄

飞象网讯(魏德龄/文)“10号”这一足球场上代表了球队核心的号码,随着战术理念的变化,其所属球员的定义也正在发生改变,从原来的传统组织核心,转变为倾向于全能中场的设定,要求球员在拥有聪明的头脑之上,既能在关键时刻爆发能量、组织发起攻势,还要有更高体能的耐力要求,与球队达到共同施压的效果。

随着生成式AI在移动终端上的初露端倪,对于如何策动智能新体验,也在硬件能力上有了全新要求,就移动赛场上的新“10号”而言,同样少不了如同全能型中场一样的上述三样关键能力,并能够实现有效协同。

 

生成式AI时代的全能中场

聪明的头脑确保了瞬间反应能力,如在球场上敏锐地发现空档,或快速进行拦截。在智能终端上则代表了由用户发出的按需型用例,并立即进行响应。例如图片或视频的拍摄、在PC上生成会议摘要,或在开车时用语音查询最近的加油站。

爆发能量组织发起攻势则需要在一段时间内进行高强度的带动串联。对于智能终端而言,则对应了运行时间较长的持续型用例,如语音识别、游戏和视频的超级分辨率、视频通话的音视频处理及实时翻译。

持续的跑动让新10号能够时刻能够对整体阵型与战术作出贡献,好比是智能终端上的泛在型用例,包括始终开启的预测性AI助手、基于情景感知的AI个性化和高级文本自动填充。

从上述三项能力要求中不难发现,如同对于全能型中场的要求,终端上的移动平台其实存在着如在“性能爆发与持久续航”之间的矛盾点,这就需要利用内部不同的处理器来进行不同的任务,CPU擅长于顺序控制和即时性,GPU适合并行数据流处理,NPU擅长标量、向量和张量数学运算,可用于核心AI工作负载。

也就是说,通过使用合适的处理器,异构计算能够实现最佳应用性能、能效和电池续航,赋能全新增强的生成式AI体验。让跑不累的新“10号”,还能有细腻的脚法与关键时刻的爆发力。

于是,不妨就来具体看看这名新“10号”的具体各项能力如何,以及它将如何进行灵活运用,来实现在AI上的全面表现。

 

高效组织的AI引擎

从上文中不难发现,移动平台中的众多单元其实都参与了AI用例的运算工作。在高通技术公司刚刚发布的最新白皮书《通过NPU和异构计算开启终端侧生成式AI》中将高通AI引擎定义为包括Hexagon NPU、Adreno GPU、高通Kryo或Oryon CPU、高通传感器中枢和内存子系统,能够支持按需型用例、持续型用例和泛在型用例,为生成式AI提供业界领先的异构计算解决方案。

对于新“10号”,“球商”高不高无疑决定了上限将能够达到何种水平。其中Hexagon NPU在近年来可谓迎来了巨大升级,在2020年高通Hexagon NPU实现了标量、向量和张量加速器的架构融合,打造了专用大共享内存,为未来的进一步升级奠定了基础。2022年的第二代骁龙8中引入了微切片推理能力,可将神经网络分割成多个能够独立执行的微切片,可最大化利用NPU中的加速器并降低功耗。2023年发布的第三代骁龙8,为持续AI推理带来了98%的性能提升和40%能效提升,Hexagon NPU成为了面向终端侧生成式AI大模型推理的领先处理器。

Adreno GPU可用于以高精度格式进行AI并行处理,支持32位浮点、16位浮点和8位正数运算。在第三代骁龙8中,基于Adreno GPU,Llama 2-7B每秒可生成超过13个tokens。

高通Oryon CPU在骁龙X Elite计算平台上可谓实现了一鸣惊人,在功耗仅为竞品三分之一的情况下,可提供高达竞品两倍的CPU性能,非常擅长时延敏感型的低计算量AI工作负载。

同时,在整体架构上,高通进一步提升了AI引擎的运行能力。例如作为大语言模型token生成瓶颈的内存带宽,一方面移动平台上的共享内存机制带来了天生的优势,另一方面高通还为第三代骁龙8配置了最快的内存之一:4.8GHz LPDDR5x,支持77GB/s带宽。

异构计算也带来在运行生成式AI工作负载时的最佳解决方案,可充分利用所有处理器的能力,包括跨处理器和处理器内核扩展生成式AI处理,以及将生成式AI模型和用例映射至一个或多个处理器及内核。

高通技术公司产品管理高级副总裁Ziad Asghar就举例表示:当应用使用小模型时,CPU通常是正确的选择。而当模型变大时,GPU和NPU往往更合适。电池续航和能效对于持续和泛在型用例至关重要,因此NPU是最佳选择。

当新“10号”AI引擎具备了全面的能力,移动赛场的新体验升级也将开始策动,下面不妨来看看当下这个最为经典的本地AI案例背后,新10号带来了什么样的临场表现。

 

策动智能新体验

AI个人助手恰好是一个充分体现AI引擎如何通过不同的处理器来完成工作负载的案例。

当用户与AI助手进行交谈时,通过高通传感器中枢上运行的OpenAI自动语音识别生成式AI模型Whisper,可将语音转化为文本。随即在通过NPU上运行的大语言模型Llama 2-7B生成文本回复。CPU再通过运行开源TTS模型将文本转化为语音。整个过程中,NPU还负责实现虚拟化身与语音的输出同步,再借助音频创建融合变形动画,为嘴形和面部表情带来合适的动画效果。GPU还会在最后完成虚拟化身的渲染。

综上不难发现,整个过程尽可能的实现了本地完成。只有当遇到如机票预定这类联网问题时,才会通过云端的插件来完成操作。最大限度的确保了用户隐私安全,同时也大大减轻了云端的功耗压力。

大语言模型落地至端侧的案例背后,其实也预言了生成式AI对于电子终端在交互方式上的变革。当用户只需通过简单的对话就能获得想要的结果,调用开启相关功能,甚至是直接完成机票、商品的消费时,就意味着电子终端将在交互上打破如今在不同应用间的隔阂,用户不用反复跳转,就能在单一入口下达成所需。就像如今很多人开始通过具备联网能力的生成式AI,来替代传统搜索引擎。

策动这场智能新一轮体验变革的核心,无疑正是AI引擎。移动赛场上正在迎来的战术与理念变化,同样也需要对于核心的重新定义,已经展现出全能属性的新“10号”正在跃跃欲试。

编 辑:章芳
声明:刊载本文目的在于传播更多行业信息,本站只提供参考并不构成任何投资及应用建议。如网站内容涉及作品版权和其它问题,请在30日内与本网联系,我们将在第一时间删除内容。本站联系电话为86-010-87765777,邮件后缀为#cctime.com,冒充本站员工以任何其他联系方式,进行的“内容核实”、“商务联系”等行为,均不能代表本站。本站拥有对此声明的最终解释权。
相关新闻              
 
人物
工信部辛国斌:2023年全国行政村通5G覆盖超过80%
精彩专题
CES 2024国际消费电子展
2023年信息通信产业盘点暨颁奖礼
飞象网2023年手机评选
第24届中国国际光电博览会
CCTIME推荐
关于我们 | 广告报价 | 联系我们 | 隐私声明 | 本站地图
CCTIME飞象网 CopyRight © 2007-2024 By CCTIME.COM
京ICP备08004280号-1  电信与信息服务业务经营许可证080234号 京公网安备110105000771号
公司名称: 北京飞象互动文化传媒有限公司
未经书面许可,禁止转载、摘编、复制、镜像