杂志社简介

论见台 当前位置:首页 > 杂志社简介> 《环球华人》杂志> 论见台

国产AI框架,如何“弯道超车”?

"作为后发框架,要想实现技术超越或者领先,核心就是找到AI技术变革的下一条新赛道,只有当新赛道出现的时候,才有弯道超车的机会。"近期在人工智能框架生态峰会2023上,昇思MindSpore开源社区理事长丁诚在接受观察者网采访时说道。

今年以来,ChatGPT掀起的这轮AI大模型浪潮,彻底拉高了市场对AI底层硬件的预期,算力、GPU、服务器等概念萦绕在不少人的脑海中。但实际上,在每个划时代的技术更迭中,硬件都需要与软件系统密切配合,才能更好地实现产品或应用价值。

在当前的人工智能技术架构中,共分为大约四层:芯片层、框架层、模型层和应用层。其中,AI框架在行业内被定义为"AI领域的操作系统"。在这一底层核心软件领域取得主导权,无异于微软在PC时代拥有Windows,谷歌在移动互联时代打造安卓。

AI成为大国竞争新高地的今天,国产AI框架的发展,事关中国能否在新一轮科技革命中掌握主动权。令人感到欣慰的是,近些年以昇思MindSpore、飞桨PaddlePaddle等为代表的国产AI框架逐步成长起来,没有让中国科技产业"缺芯少魂"的剧情重演。

但同时也要指出的是,由于具有先发优势,谷歌的TensorFlowMetaPyTorch,在性能和易用性上依然不乏好评,目前使用率在国内高居前列。面对TensorFlowPytorch构筑的旧市场格局,国产AI框架"弯道超车"的机会在哪?又该如何打造自己的生态优势?

image.png

AI框架有何重要作用?

"大模型时代,大家对AI产业发展的关注,往往会聚焦在算法本身以及底层的算力上,也就是基础设施硬件方面,中间的技术软件经常被忽视。"近日在上海举行的人工智能框架生态峰会2023上,昇思MindSpore开源社区理事长丁诚向观察者网说道。

自去年底以来,新一轮AI大模型热潮被ChatGPT掀起,算力和服务器成为绝对的市场焦点,国内大模型厂商抢购GPU的消息此起彼伏。例如最近就有传言称,字节跳动今年向英伟达订购了超过10亿美元的GPU,国内另一家大厂的订单也超过10亿元人民币。

AI训练和推理需要大算力,GPUAI芯片受到热捧无可厚非。但同时也要指出的是,所有人工智能的算法及应用,都要通过AI框架进行训练与部署。作为人工智能的"根技术""AI框架+算力硬件"的组合,可以在一定程度上决定AI产业应用的主体技术路线。

"人工智能框架南向对接多样算力,北向通过编程接口帮助开发者实现算法创新应用。在整个大模型生态当中,人工智能框架是起到一个大模型使能的定位,所谓大模型使能,就是帮助开发者孵化他的大模型,人工智能框架不会自己去做大模型,但是它会把做大模型的算法团队作为它的用户。"丁诚告诉观察者网。

对于AI框架的重要意义,商汤科技联合创始人林达华曾这样表述:

在我们最初探索深度学习的时候,没有TensorFlow,没有PyTorch,甚至没有GPU。我们需要手写C++程序来完成整个计算过程,训练一个模型需要一两个月。正是因为经历了这样的艰辛,我们深切地认识到训练框架的核心意义,可以说,训练框架定义了算法研发的空间,框架的空间有多大,我们就能走多远;框架的能力有多强,我们就能走多快。

百度首席技术官王海峰也曾表示:

深度学习的通用性特点,以及深度学习框架及平台的发展,正推动人工智能标准化、自动化和模块化,进入工业大生产阶段。深度学习框架下接芯片,上承业务模型、行业应用。一个好的AI框架,与芯片互相配合,可以最大限度的"榨干"芯片的算力,发挥其最高效用。

总体而言,对于开发者来说,AI框架的底层能力、功能丰富度、生态完善度,都会影响开发效率,进而影响新技术和应用创新的速度。随着大模型浪潮席卷而来,AI领域内的开发创新工作更加如火如荼,AI框架作为核心开发工具,重要性更加凸显。

image.png

国产没有缺席,但国外仍有优势

PC和移动互联网时代,Windows+IntelAndroid/iOS+ARM的软硬件联盟,曾让中国饱受"缺芯少魂"之苦。进入AI时代,中国企业更早认识到"操作系统"的重要性,纷纷开始布局AI框架。例如,华为MindSpore、百度PaddlePaddle、商汤科技SenseParrots、腾讯TNN、阿里MNN、字节跳动BytePS、旷视MegEngine、小米Mace等。

丁诚在前述峰会2023上告诉观察者网,昇思MindSpore开源三周年以来,一直在帮助包括像中科院自动化所,鹏城实验室,各个高校,以及产业用户孵化各种各样的大模型。目前,国内大概已经有20个大模型通过昇思AI框架原生孵化出来,至少有9个大模型通过MindSpore开源社区平台和搭建的渠道推向产业。

20198月,华为推出昇思MindSpore,并在20203月将框架开源。观察者网获悉,截至20235月底,昇思开源社区下载量已突破474万,社区贡献者1.3万,服务企业数量5500家,与240家科研院所展开合作,开源模型达400多个,发表顶会论文超过900篇。

百度布局AI框架的时间其实更早,2016年该公司发布并开源飞桨PaddlePaddle。百度方面披露的数据显示,截至20225月,飞桨汇聚477万开发者,创造56万个AI模型,服务18万企事业单位。截至2021年底,已有超过20个厂家、30种以上的芯片适配飞桨。

根据20231Omdia发布的《中国人工智能框架市场调研报告》,在中国开发者的心目中,MindSpore在国产框架中认知度排第一,PaddlePaddle紧随其后。在开发者认知度排名方面,昇思和飞桨已超过国外非常成熟的框架MXNet,以及谷歌重点支持的新兴框架JAX

但易用性和性能方面,国产框架似乎与国外仍有差距。根据前述报告,在国外的端到端框架中,开发者认为TensorFlowPyTorch的易用性更好,而本土框架昇思MindSpore和飞桨PaddlePaddle紧随其后;性能方面,开发者认为TensorFlowPyTorch性能更好,昇思MindSpore和飞桨PaddlePaddle同样紧随其后,二者在性能评价上已经超过其他主流框架。

image.png

AI框架隔离了底层的复杂性,更加易用的框架能够让开发人员以更快的速度和更高的效率,来探索、创建、改进和迭代AI项目。而AI框架的性能则涉及到框架本身的底层性能,包括框架的底层算法效率,以及框架利用底层硬件资源进行优化开发、训练和推理的能力。

由于易用性和性能是开发者最看重的因素,因此目前TensorFlowPyTorch在开发者中的使用率较高。根据Omdia报告,在中国开发者AI框架使用率排名中,PyTorchTensorFlow,分别以34%30%遥遥领先,PaddlePaddleMindSpore并驾齐驱,使用率均为11%

中国信通院发布的《AI框架发展白皮书(2022年)》提到,全球来看,国际主流AI框架由GoogleMeta等科技巨头主导。目前以GoogleMetaAmazonMicrosoft等代表的互联网科技巨头,凭借自身的数据、技术和资本等优势,持续在AI框架生态领域发力,引领全球AI框架技术创新升级趋势,并逐步形成了以Google-TensorFlowMeta-PyTorch为代表的双寡头格局。从市场占有情况看,产业界以TensorFlow为主,学术界以PyTorch为主。

"弯道超车"的新赛道在哪?

在整个人工智能体系中,AI框架被视为核心一般的存在。中国布局AI框架的企业虽然众多,但在性能和易用性等方面,似乎与GoogleMeta等国外巨头仍有差距。在大模型时代到来之际,国产AI框架又该如何构建自身优势,甚至实现"弯道超车"呢?

"TensorFlow201512月开源的,Pytorch20164月,比MindSpore早了大概4-5年的时间。作为后发框架,要想实现技术超越或者领先,核心就是找到AI技术变革的下一条新赛道,只有新赛道出现的时候才有弯道超车的机会。"丁诚向观察者网表示。

image.png

"在下一个时代,新赛道是什么呢?"

丁诚提到了"AI For Science"(科学智能)。他表示,下一个可能发现的技术变化点是科学智能,传统的科学智能、科学计算在每一个科学问题中,可能都孕育着一个基本的数学方程。

举例来说,在流体力学计算中会消耗大量的算力,这个过程其实数学原理很简单,就是一个纳维-斯托克斯方程的求解。在传统过程中,如果用CPU单卡进行计算,可能需要几十年、上百年都算不完,而用AI的方式就有可能10倍或者100倍地加速纳维-斯托克斯的求解。

"所以在MindSpore发布的2.0版本中,提出了科学计算融合架构,目的就是想在这个赛道中能获得更多技术领先的机会,打造自己的原生生态。"丁诚向观察者网透露,MindSpore会首先在大模型和AI For Science两个新赛道里构建自己的原生生态。

根据Omdia发布的报告,"AI for Science"借助人工智能的巨大技术优势,可将数学计算和科学模型的方法结合,高效处理海量数据,使传统的科研过程变得自动化、规模化、并行化和平台化,从而解决原来传统科学研究范式无法解决的问题,帮助科学家突破科研瓶颈。

Omdia分析师认为,"AI for Science"在气候和环境科学(天气预测等),生物制药和生命科学(新药研发、蛋白质结构预测等),流体力学(汽车或飞机的气动设计等),电磁学(电磁仿真等)等应用领域可能会首先取得突破。

在这份报告中,大多数开发者反馈,TensorFlow "AI for Science"支持比较好,而昇思 MindSpore"AI for Science"的支持能力超过PyTorch,并有赶超TensorFlow的趋势。

image.png

"对于PytorchTensorFlow领先的生态怎么办?我们会做两件事情。"

丁诚透露,首先,框架的生态锚点会从API走向模型,MindSpore开源社区将承载更多业界高质量算法模型,把这些模型打造成一个算法套件,帮助传统赛道的AI用户能快速得到行业场景应用。第二件事情,MindSpore在保持自己自主创新的一套原生API基础之下,兼容业界现有像Pytorch这样的API的生态。对传统用户来讲,如果想重新学习MindSpore,学习成本将会很低,通过这样的方式,把传统的生态逐渐吸引到MindSpore生态圈里。

构建生态仍是重中之重

PC和移动互联时代,软硬件生态是产业链企业无法忽视的关键词,Windows+IntelAndroid+ARM构建的生态壁垒,直到现在还是"制胜法宝"。在人工智能时代,AI框架的生态构建同样是重中之重,因为这将直接影响框架的能力、功能、以及产业化应用等。

最近几年,国内的AI框架生态建设已经为产业发展带来了切实好处。例如,多家科研院所和高校基于MindSpore推出紫东.太初、鹏程.神农、武汉.LuoJia等大模型,PaddlePaddle联合鹏城实验室发布了鹏城-百度·文心等大模型,两大开源框架平台也汇聚了大量开发者。

但这仍然不够。中国信通院报告指出,AI框架进入主流视野仅五六年时间,从技术演进,到开源生态、市场格局,再到应用赋能、推广辐射,AI 框架的整体生态还远未成熟。软硬件协同、开源打造、开发者推广、关键领域赋能等方面,将为生态成熟升级提供重要助力。

image.png

为了共建人工智能框架生态,在人工智能框架生态峰会2023上,18AI头部企业、高校、科研机构、开源社区等共同发布首个AI框架生态倡议,倡议通过政产学研用的共同努力,支撑中国人工智能框架生态走向新高度,推进中国人工智能产业新发展。

同时在峰会上,昇思社区理事会宣布成立,首批成员单位包括AI芯片企业、AI应用企业、高校与学术机构共计18家单位,目标是面向产业、商业、生态等各方向吸纳对社区有贡献、有潜力的企业,通过理事会加强核心伙伴粘性,助力伙伴商业生态成功。

上海人工智能研究院、上海市闵行区政府、临港集团、昇思开源社区还联合启动了上海昇思AI框架&大模型创新中心,支持全国范围的AI技术企业、高校与科研院所孵化大模型、科学智能技术研究,打造一系列富有竞争力的"AI+行业"的示范性应用场景,推动产业集聚。

从当下的发展趋势来看,大模型已经成为AI产业界的共识。在ChatGPT引爆新一轮浪潮后,未来一段时间内大模型很可能将保持高速发展,谁进展得更快、谁就更有优势。而这种竞速并不只是单纯地拼人才、拼资源,更大程度上还是拼基础设施和生态。

AI框架始终被视为AI的根技术,是模型的"土壤"。如何让这个"土壤"更肥沃?开源、开放、共建就成为关键。

中国信通院报告指出,开源本质上是一种人才、智慧的聚合,能够助推AI框架快速升级。茁壮的开源生态对于AI框架的发展至关重要。开发者通过在开源社区进行代码开源、项目托管、协作分享、沟通交流等一系列活动,实现与开源AI框架的紧密互动。

这或许也是为什么要召开人工智能框架生态峰会2023的原因,核心目的就是为了吸引、呼吁更多人,一同共建中国AI框架生态。而在新一轮技术周期的影响和带动下,国产AI框架会如何发展,能否实现对TensorFlowPyTorch"弯道超车",也十分引人关注。

2023-06-27

分享到: