苹果大模型能否持续“后发制人”?
近期,苹果悄悄放出一条不起眼的消息:其研发部门发布了一篇题为《闪存中的大型语言模型:在有限内存下高效的大型语言模型推理》的论文。冗长的标题下,掩藏着大模型落地端侧的技术亮点。业内人士纷纷猜测:在“AIGC元年”里始终保持着沉默的苹果,是否终于要在大模型领域出手了? 苹果大模型“浮出水面”? 近年来,在新技术方面的“后发先至”已经成为了苹果身上的独特标签:不是行业首发,却能凭借更加优越的技术能力
2024-01-16 09:09:39
来源:中国电子报、电子信息产业网 张琪玮  

近期,苹果悄悄放出一条不起眼的消息:其研发部门发布了一篇题为《闪存中的大型语言模型:在有限内存下高效的大型语言模型推理》的论文。冗长的标题下,掩藏着大模型落地端侧的技术亮点。业内人士纷纷猜测:在“AIGC元年”里始终保持着沉默的苹果,是否终于要在大模型领域出手了?

苹果大模型“浮出水面”?

近年来,在新技术方面的“后发先至”已经成为了苹果身上的独特标签:不是行业首发,却能凭借更加优越的技术能力、设计理念与生态体系重新定义产品甚至整个产业生态。这一特质早在iPhone、Macbook等系列产品上就有所显现,去年6月发布的MR头显初次进入人们视野之时,更是苹果“后发制人”的高光时刻。

基于此,虽然苹果始终对百舸争流的大模型保持缄默,业内却认为苹果在暗自“憋大招”。多位业内专家对《中国电子报》记者表示,在大模型领域,苹果手握“门票”却迟迟没有“入场”,或许也是其“后发制人”习惯的延续。

这也解释了为何苹果在大模型方面的任何风吹草动,都格外引人注目。去年7月,首次传出苹果暗中测试大模型工具“Ajax”,并推出代号为“Apple GPT”的内部聊天机器人的消息。人们纷纷猜测,“Apple GPT”将为苹果的人工智能助手Siri带来革命性的升级。然而,这一猜测迄今尚未成为现实,“Apple GPT”最广为大众接受的解释落定为“工作人员在开发层面开始使用能够适配苹果系统的人工智能工具”。

去年11月,踏着“AIGC元年”的尾声,苹果悄然推出一款名为Ferret的开源多模态大语言模型。据了解,这款大模型拥有70亿和130亿两个参数版本,从测试结果上看,其图像处理技术走在行业前列。然而,这款大模型由于仅面向研究机构开放,最终并没有走入大众视野。

图说:苹果发布Ferret大模型,图像处理能力优越

去年12月,随着上述论文的发布,“苹果大模型”再次被推上风口浪尖。略过晦涩的文字表述和复杂的技术原理,论文的结论是:大参数模型,终于有望在“内存有限”的端侧设备中落地了。

苹果大模型另辟蹊径

大语言模型要实现普及,落地智能手机是一条必经之路。当下,荣耀、Vivo、OPPO、小米、华为等智能手机厂商纷纷推出“大模型手机”,大模型在手机终端的适配与落地已成大势所趋。

然而,训练参数大、体量庞大、难以部署在端侧离线使用,是大模型“走入用户掌心”的一大难题。记者了解到,在当下主流智能手机市场,16GB运存是较为广泛的终端配置,这样的运存处理手机日常运行绰绰有余,但要实现模型的加载与数据分析,就显得捉襟见肘。

为此,谷歌、Meta、微软等头部企业均选择了“让模型适应终端”的路线,纷纷推出了训练参数更少、体量更小的“小模型”。以微软为例,去年12月,微软正式发布了参数规模仅有27亿的“小模型”Phi-2,并宣称该模型性能够“吊打”体量在其25倍以上的大模型。

图说:微软CEO Satya Nadella在微软Ignite 2023现场发布Phi-2

而面对着这条“卷起来”的“小模型”之路,苹果却另辟蹊径,首次提出利用闪存技术创新来突破大模型端侧部署的难点的概念。苹果发布的论文指出,利用其创新的闪存技术,可以让模型的运行规模达到iPhone 可用内存的两倍。在该技术的加持之下,大模型的推理速度在Apple M1 Max CPU 上提高了4-5 倍,在GPU 上提高了20-25 倍。“这一突破对于在资源有限的环境中部署先进的大语言模型至关重要,极大地扩展了它们的适用性和可访问性。”研究人员写道。

具体而言,论文中提到了两种关键技术:一是“窗口化”技术,允许模型重复使用部分已处理的数据,从而减少频繁读取内存的需要,提高大模型运行效率;二是“行-列捆绑”技术,通过对数据进行更有效的分组,令大模型能够更快地从闪存中读取数据,从而加速AI 理解和生成语言的能力。

图说:图解两项核心技术

从论文内容看,大模型在端侧的部署难题似乎可以迎刃而解。但也有业内专家指出,闪存技术仍有“漏洞”,离实际应用尚有距离。专家表示,闪存技术可用的核心假设是大模型所处理的相邻数据前后具有相似性,但论文中苹果并未对这一必要条件展开论证。闪存技术能否成为大模型端侧部署的“转折点”,还有待验证。

苹果大模型蓄势待发

苹果公司CEO库克曾说过:“苹果有计划在更多产品中加入AI,但要‘深思熟虑’”。

过去一年,苹果虽未对“AI”大书特书,但却处处可见AI的影子。在2023苹果全球开发者大会上,库克始终强调ML(机器学习)概念,称无论是硬件领域还是软件领域,苹果都早已为ML做足了准备。一方面,苹果最新推出的M2 Ultra芯片可以负担大规模ML的性能需求,在某些场景和需求下甚至可以部分替代独立图形处理器;另一方面,从系统到软件,苹果将ML的应用重点放在提升用户体验上。比如iOS17输入法方面的更新,其本质就是大语言模型的应用。

在技术层面的准备之外,苹果在内容方面也逐渐开始了动作。去年12月,有消息传出,苹果正就“价值至少5000万美元的多年期合作协议”展开讨论,并与康泰纳仕、NBC新闻和IAC等媒体接洽,获取他们过往新闻文章的使用授权,以作大模型训练之用。相比同期微软、OpenAI被纽约时报因版权原因起诉的尴尬,苹果的这笔“版权投资”更显示了其在内容生成领域的计划性。

图说:OpenAI被纽约时报因侵权问题起诉

硬件准备方面,香港海通国际证券分析师Jeff Pu发布报告称,2023年苹果可能已经建造了几百台AI服务器,而这个数量在2024年还将显著增加。他还指出,苹果计划最早于2024年末在iPhone和iPad上采用生成式AI技术。这意味着,如果该计划得以实现,用户有望在于2024年末发售的下一代的iPhone和iPad上亲身体验苹果大模型。

最新文章
1
4年前理想李想和特斯拉陶琳说的话,值得所有人深思
2
TCL上新Mini LED电视,T7L为何“最能打”,Q9L为何“最值得买”?
3
八年前用A9带火屏幕发声技术的索尼,今年会有OLED新品吗?
4
海信视像发布2024年可持续发展报告:以绿色科技推动可持续发展
5
都叫“养鲜”冰箱,格力、容声有啥不一样?
6
财报观察:2024全球智能家电销量第一品牌,讲好新故事?
7
续航灭霸 +倍强大 vivo Y300 Pro+正式发布
8
BOE(京东方)f-OLED柔性显示技术策源地论坛举办 携手中关村论坛共筑科技创新高地
9
海信视像2024年营收净利双增,高端稳步增长,蝉联世界第二
10
精装修热水系统市场外资占优,高端住宅需求点燃新增长(2025年1-2月)
11
AI家电:技术狂欢还是实用革命?
12
中国半导体并购潮起
13
小家电市场表现低迷,2025年小家电市场面临严峻挑战
14
全球首款!新型手机OLED面板问世:可发声、会变形
15
空调等家电冲击传统厂商!持股近10年 美的彻底清仓了小米:合计套现20亿元
16
同期唯一2K直屏超大杯!OPPO Find X8 Ultra外观正式揭晓
17
添可做饭,追觅洗碗
18
海尔海信洗衣机听劝玩起“滚筒分身术”,三筒分区洗哪家强?
19
催更效果拉满!高对比度屏+万象分区,TCL T7L&Q9L系列全球首发
20
健康守护+空间革命+智慧服务,TCL冰洗创新“三重奏”击中时代刚需
关于我们

微信扫一扫,加关注

商务合作
  • QQ:61149512