依图造芯,“求索”算法即芯片
算法即芯片的时代来了。
在今天的年度发布会上,拥有世界级算法优势的依图科技重磅推出云端AI芯片——求索(questcore™)!为AI芯片开辟了一条新道路。
选择在擅长的领域继续发挥优势。“求索”是依图推出的第一款云端深度学习推理定制化 SoC芯片,为计算机视觉领域分析任务打造 ,针对视觉领域的不同运算进行加速,适用于人脸识别、车辆检测等多个应用场景。
加入“造芯”阵营后,依图科技瞄准其擅长的计算机视觉领域,再度打出重拳,这一拳打破了算法公司与芯片硬件公司的“次元壁”。
“求索”已来:云端AI芯片市场再添新玩家
在发布会现场,依图联合创始人兼CEO 朱珑谈到了AI芯片为何难做,用了三个“没有”作为排比句:
没有典型场景应用就没有意义;没有超越NVIDIA的芯片就没有意义;没有世界级的算法就没有意义。如果一款AI芯片没有定制方向、没有超过业内最大咖的玩家、没有顶级算法作为支撑,那么这款芯片就不能称为是成功的,这也是依图所面临的挑战。
依图科技的确拥有世界级的算法优势,但它并非芯片创业公司,在投入大、门槛高的芯片行业,一开始就选择了高端玩家颇多的领域进军 ——自研云端 AI SoC,颇有要挑硬骨头下手的意思。
先来看下规格:
类型:系统级芯片(SoC);架构:ARM+ManyCore™;制程:16nm工作记忆内存:LPDDR4X;解码:64路全高清实时。发布会现场,依图科技首席创意官吕昊为大家进行了芯片演示——他手持一台体积与15 英寸苹果 MacBook Pro笔记本相当的依图原子服务器,成功带动200路摄像头同时完成实时智能视频分析任务。
刚开始大屏幕只显示了服务器处理的27个摄像头画面——一个NVIDIA P4显卡大概只能处理27个摄像头。紧接着,大屏幕画面突然显示了原子服务器同时带动200个摄像头的画面:
一场直观的新品考验。
依图原子服务器基于questcore™ 打造,一台服务器提供的算力与 8 张英伟达P4卡服务器相当,而体积仅为后者的一半,功耗不到20%。 在进行视频解析时,1台依图原子服务器(搭载4核 questcore™芯片,除此之外无需其他配置),与8卡英伟达T4服务器(含双核英特尔 x86 CPU)对比,单路视频解析功耗仅为后者的 20%,与8卡英伟达P4 服务器(同样含双核英特尔 x86 CPU)相比,功耗约为后者的10%。
questcore™可独立运行,自研架构,实现高性价比
这款芯片作为服务器芯片可以独立运行,不依赖 Intel x86 CPU,并且采用依图自研的ManyCore™架构,具有灵活可拓展的特质,适配各类深度学习算法。
从这些特性来看,这款云端芯片更看重“实用”二字——如何满足更多的需求、如何将本有的算法优势在芯片上发挥更大的作用、如何适应现有的生态。
简单来讲,它致力于解决一个实在的问题——如何实现高性价比 。
“利用算法优势”成为全场发布会的一大关键词。依图认为,好的算法才能更高效地利用芯片架构,才能指导芯片架构设计,把算力更高效地转化为智能。这款芯片基于领域专用架构(Domain Specific Architecture,DSA)理念,专为计算机视觉应用而生。
questcore™是款“自立自强”的芯片:它作为服务器芯片可以独立运行,不依赖 Intel x86 CPU 。这也是依图芯片与NVIDIA GPU、Google TPU和其他AI芯片公司研发的AI加速器产品一个很大的不同。
另外,这款芯片采用依图自研的ManyCore™架构,据介绍,同等功耗下,这款芯片能提供市面现有同类主流产品 2~5 倍的视觉分析性能。
如果一款芯片想要实用性强,就必须拥有强大的可拓展性,以便应用于更多的场景。ManyCore™架构能够适配各类深度学习算法,支持TensorFlow、PyTorch、Caffe等各类深度学习框架,便于无缝接入现有生态。在此架构下,questcore™构建的产品和解决方案可以兼顾云端和边缘计算的需求 。
据依图科技向新智元介绍,这款芯片能实现性能和功耗比呈量级提升的根本原因之一是:ManyCore™架构针对INT 8数据(8 位整数数据类型)进行加速。
事实上,对于云端 AI 推理或者说视觉推理计算而言,并不需要高精度的计算,低精度的INT8 数据类型已经足够满足需求。采用16nm制程也是考虑现在业界对视觉分析应用的需求。
在投入极高的芯片行业,如何实现高性价比是众多玩家要实际面对的终极问题,算力的提升正是为了解决AI场景中的经济学难题——用更少的成本解决更多的问题 。
投资AI 芯片初创团队ThinkForce,依图迈向算法芯片一体化
在发布会上,依图表示未来立足“算法+芯片+数据智能 ”的极智战略,深入行业,降低人工智能应用落地和推广成本,赋能行业。
据介绍,questcore™芯片的设计和研发正是依图算法团队和ThinkForce团队紧密合作的成果。
事实上,依图科技在AI芯片领域内早有布局。2017年底,依图正式对外宣布战略投资AI芯片初创团队ThinkForce。ThinkForce是中国少有的拥有芯片研发全链路能力的团队,核心成员来自 IBM、AMD、Intel、ZTE 等芯片业界龙头企业,全都拥有十年以上专业芯片研发设计经历,经手过40余款不同芯片的量产。
有了如此高配的芯片研究团队,打破算法与芯片的“次元壁”不再是难事,软硬件一体化的产品也因此诞生。
事实上,次元壁本就不应该存在。市场上并不存在单独能够使用的软件或硬件,整个行业、整个生态一定是紧密结合在一起的。
这款芯片将于与依图智能软件结合在一起,构成软硬件一体化的产品或解决方案对外销售,未来将应用于交通运输、公共安全、智慧医疗和智慧零售等行业。TO B服务崛起之下,软硬件一体化正成为一家AI企业的商业优势,可以为客户提供针对特定场景优化的性价比最高的解决方案。
AI芯片市场逐渐拥挤:“造芯”路上,定制化是未来方向
与依图科技相似的是,Google、微软、阿里等科技巨头也在自研芯片:同样也是通过利用自身特有优势,从而为客户提供更好的软硬件一体化解决方案。越来越多企业加入了轰轰烈烈的“造芯”大军。
AI芯片是个全新战场。
押宝AI芯片可以说是大势所趋,据研究报告显示,目前AI芯片行业生命周期正处于幼稚期,市场增长快,2022年将从2018年的42.7亿美元,成长至343亿美元。
与其他战场相比,这个新战场充满了不确定性,以及更多的机会——一个没有先例可循的智能时代。中国AI创企与世界科技巨头站在同一起跑线上 ,完全有可能成为新巨头,同时加速数据中心服务器芯片自主可控进程。
美国杜克大学电子计算机工程系教授陈怡然、美国纽约州立大学教授陈逸中曾在文章《中国AI芯片有可能弯道超车》提到:人工智能应用场景千变万化,其中应用的算法之间的差异更是巨大,可以预期未来各项应用将有不同的定制化芯片,出现人工智能芯片百家争鸣的盛况。AI芯片的另一大特点在于它所面对的是一个全新的、还未被大公司充分定义的新的业务场景。即使是NVIDIA,也只是在云计算这一领域有一定的垄断地位。
定制化芯片必然是未来方向。
世界级的创新需要世界级的命题,如今AI普及也成为世界级命题。依图联合创始人兼CEO 朱珑认为AI普及的关键是智能密度,而这里“智能密度”指单位面积硅芯片提供的算力转化的智能。
然而,在半导体的摩尔定律已经临近终结,智能密度继续翻倍不能再只寄希望于摩尔定律。虽然半导体的摩尔定律逼近终结,但算法性能却仍在万倍增长,过去 4 年依图的人脸识别算法精度提升了 10 万倍。
同时,通用芯片已无法解决所有需求,定制化芯片与依图questcore™一样,Google TPU也是一种DSA,针对深度神经网络(DNN)进行加速,Google TPU充分证明了DSA的优势。而对于DSA芯片而言,领域知识是最重要的,需要对机器视觉技术和行业有着深刻理解,这是需要人工智能公司在研发和商用落地中不断积累的。
了解自身优势、了解市场真正需求,提供定制化芯片成为了依图“高性价比”的解决方案,这也为那些想要加入芯片市场的玩家们提供了一个可高度参考的路线。
正如陈怡然教授和陈逸中教授所说的那样,一个成功的芯片项目所带来的不仅仅是销售芯片本身的利润 ,还有伴随芯片设计、制造以及销售整套流程中产生的支撑产业与生态系统,从而带动软硬件发展、行业标准制定、知识产权销售等产业发展。
算法即芯片,这条新路还会带给AI公司更多的可能性。
关于“算力”,看这一篇就够了
今天这篇文章,我们来聊聊算力。
这两年,算力可以说是ICT行业的一个热门概念。在新闻报道和大咖演讲中,总会出现它的身影。
那么,究竟到底什么是算力?算力包括哪些类别,分别有什么用途?目前,全球算力正处于怎样的发展状态?
接下来,小枣君就给大家详细科普一下。
█ 什么是算力
算力的字面意思,大家都懂,就是计算能力(Computing Power) 。
更具体来说,算力是通过对信息数据进行处理,实现目标结果输出的计算能力。
我们人类,其实就具备这样的能力。在我们的生命过程中,每时每刻都在进行着计算。我们的大脑,就是一个强大的算力引擎。
大部分时间里,我们会通过口算、心算进行无工具计算。但是,这样的算力有点低。所以,在遇到复杂情况时,我们会利用算力工具进行深度计算。
远古时期,我们的原始工具是草绳、石头。后来,随着文明的进步,我们有了算筹(一种用于计算的小棍子)、算盘等更为实用的算力工具,算力水平不断提升。
到了20世纪40年代,我们迎来了算力革命。
1946年2月,世界上第一台数字式电子计算机ENIAC诞生,标志着人类算力正式进入了数字电子时代。
ENIAC,1946年
再后来,随着半导体技术的出现和发展,我们又进入了芯片时代。芯片成为了算力的主要载体。
世界上第一个集成电路(芯片),1958年
时间继续推移。
到了20世纪70-80年代,芯片技术在摩尔定律的支配下,已经取得了长足进步。芯片的性能不断提升,体积不断减小。终于,计算机实现了小型化,PC(个人电脑)诞生了。
世界上第一台PC(IBM5150),1981年
PC的诞生,意义极为深远。它标志着IT算力不再仅为少数大型企业服务(大型机),而是昂首走向了普通家庭和中小企业。它成功打开了全民信息时代的大门,推动了整个社会的信息化普及。
在PC的帮助下,人们充分感受到IT算力带来的生活品质改善,以及生产效率提升。PC的出现,也为后来互联网的蓬勃发展奠定了基础。
进入21世纪后,算力再次迎来了巨变。
这次巨变的标志,是云计算技术 的出现。
云计算,Cloud Computing
在云计算之前,人类苦于单点式计算 (一台大型机或一台PC,独立完成全部的计算任务 )的算力不足,已经尝试过网格计算 (把一个巨大的计算任务,分解为很多的小型计算任务,交给不同的计算机完成)等分布式计算 架构。
云计算,是分布式计算的新尝试。它的本质,是将大量的零散算力资源进行打包、汇聚,实现更高可靠性、更高性能、更低成本的算力。
具体来说,在云计算中,中央处理器(CPU)、内存、硬盘、显卡(GPU)等计算资源被集合起来,通过软件的方式,组成一个虚拟的可无限扩展的“算力资源池” 。
用户如果有算力需求,“算力资源池”就会动态地进行算力资源的分配,用户按需付费。
相比于用户自购设备、自建机房、自己运维,云计算有明显的性价比优势。
云计算数据中心
算力云化之后,数据中心成为了算力的主要载体。人类的算力规模,开始新的飞跃。
█ 算力的分类
云计算和数据中心之所以会出现,是因为信息化和数字化的不断深入,引发了整个社会强烈的算力需求。
这些需求,既有来自消费领域的(移动互联网、追剧、网购、打车、O2O等),也有来自行业领域的(工业制造、交通物流、金融证券、教育医疗等),还有来自城市治理领域的(智慧城市、一证通、城市大脑等)。
不同的算力应用和需求,有着不同的算法。不同的算法,对算力的特性也有不同要求。
通常,我们将算力分为两大类,分别是通用算力 和专用算力 。
大家应该都听说过,负责输出算力的芯片,就有分为通用芯片和专用芯片。
像x86这样的CPU处理器芯片,就是通用芯片。它们能完成的算力任务是多样化的,灵活的,但是功耗更高。
而专用芯片,主要是指FPGA 和ASIC 。
FPGA,是可编程集成电路。它可以通过硬件编程来改变内部芯片的逻辑结构,但软件是深度定制的,执行专门任务。
ASIC,是专用集成电路。顾名思义,它是为专业用途而定制的芯片,其绝大部分软件算法都固化于硅片。
ASIC能完成特定的运算功能,作用比较单一,不过能耗很低。FPGA,介于通用芯片和ASIC之间。
我们以比特币挖矿为例。
以前,人们都是用PC(x86通用芯片)挖矿,后来越挖难度越大,算力不够。于是,开始使用显卡(GPU)去挖矿。再后来,显卡的能耗太高,挖出来的币值还抵不上电费,就开始采用FPGA和ASIC集群阵列挖矿。
在数据中心里,也对算力任务进行了对应划分,分为基础通用计算 ,以及HPC高性能计算 (High-performance computing)。
HPC计算,又继续细分为三类:
科学计算类:物理化学、气象环保、生命科学、石油勘探、天文探测等。
工程计算类:计算机辅助工程、计算机辅助制造、电子设计自动化、电磁仿真等。
智能计算类:即人工智能(AI,Artificial Intelligence)计算,包括:机器学习、深度学习、数据分析等。
科学计算和工程计算大家应该都听说过,这些专业科研领域的数据产生量很大,对算力的要求极高。
以油气勘探为例。油气勘探,简单来说,就是给地表做CT。一个项目下来,原始数据往往超过100TB,甚至可能超过1个PB。如此巨大的数据量,需要海量的算力进行支撑。
智能计算 这个,我们需要重点说一下。
AI人工智能是目前全社会重点关注的发展方向。不管是哪个领域,都在研究人工智能的应用和落地。
人工智能的三大核心要素,就是算力、算法和数据。
大家都知道,AI人工智能是一个算力大户,特别“吃”算力。在人工智能计算中,涉及较多的矩阵或向量的乘法和加法,专用性较高,所以不适合利用CPU进行计算。
在现实应用中,人们主要用GPU和前面说的专用芯片进行计算。尤其是GPU,是目前AI算力的主力。
GPU虽然是图形处理器,但它的GPU核(逻辑运算单元)数量远超CPU, 适合把同样的指令流并行发送到众核上,采用不同的输入数据执行,从而完成图形处理或大数据处理中的海量简单操作。
因此,GPU更合适处理计算密集型、高度并行化的计算任务(例如AI计算)。
这几年,因为人工智能计算的需求旺盛,国家还专门建设了很多智算中心 ,也就是专门进行智能计算的数据中心。
成都智算中心(图片来自网络)
除了智算中心之外,现在还有很多超算中心 。超算中心里面,放的都是“天河一号”这样的超级计算机,专门承担各种大规模科学计算和工程计算任务。
(图片来自网络)
我们平时看到的数据中心,基本上都属于云计算数据中心 。
任务比较杂,基础通用计算和高性能计算都有,也有大量的异构计算(同时使用不同类型指令集的计算方式)。因为高性能计算的需求越来越多,所以专用计算芯片的比例正在逐步增加。
前几年逐渐开始流行起来的TPU、NPU和DPU等,其实都是专用芯片。
大家现在经常听说的“算力卸载” ,其实不是删除算力,而是把很多计算任务(例如虚拟化、数据转发、压缩存储、加密解密等),从CPU转移到NPU、DPU等芯片上,减轻CPU的算力负担。
近年来,除了基础通用算力、智能算力、超算算力之外,科学界还出现了前沿算力的概念,主要包括量子计算、光子计算等,值得关注。
█ 算力的衡量
算力既然是一个“能力”,当然就会有对它进行强弱衡量的指标和基准单位。大家比较熟悉的单位,应该是FLOPS、TFLOPS等。
其实,衡量算力大小的指标还有很多,例如MIPS、DMIPS、OPS等。
MFLOPS、GFLOPS、TFLOPS、PFLOPS等,都是FLOPS的不同量级。具体关系如下:
浮点数有FP16、FP32、FP64不同的规格
不同的算力载体之间,算力差异是非常巨大的。为了便于大家更好地理解这个差异,小枣君又做了一张算力对比表格:
前面我们提到了通用计算、智算和超算。从趋势上来看,智算和超算的算力增长速度远远超过了通用算力。
根据GIV的数据统计,到2030年,通用计算算力(FP32)将增长10倍,达到3.3 ZFLOPS。而AI智算算力(FP16),将增长500倍,达到105 ZFLOPS。
█ 算力的现状与未来
早在1961年,“人工智能之父”约翰·麦卡锡就提出Utility Computing(效用计算)的目标。他认为:“有一天,计算可能会被组织成一个公共事业,就像电话系统是一个公共事业一样”。
如今,他的设想已经成为现实。在数字浪潮下,算力已经成为像水、电一样的公共基础资源,而数据中心和通信网络,也变成了重要的公共基础设施。
这是IT行业和通信行业辛苦奋斗大半个世纪的成果。
对于整个人类社会来说,算力早已不是一个技术维度的概念。它已经上升到经济学和哲学维度,成为了数字经济时代的核心生产力,以及全社会数智化转型的基石 。
我们每个人的生活,还有工厂企业的运转,政府部门的运作,都离不开算力。在国家安全、国防建设、基础学科研究等关键领域,我们也需要海量的算力。
算力决定了数字经济发展速度,以及社会智能发展高度。
根据IDC、浪潮信息、清华大学全球产业研究院联合发布的数据显示,计算力指数平均每提高1点,数字经济和GDP将分别增长3.5‰和1.8‰。
全球各国的算力规模与经济发展水平,已经呈现出显著的正相关关系。一个国家的算力规模越大,经济发展水平就越高。
世界各国算力和GDP排名 (来源:迟九虹,华为算力时代峰会演讲)
在算力领域,国家之间的竞争博弈日益激烈。
2020年,我国算力总规模达到135 EFLOPS,同比增长55%,超过全球增速约16个百分点。目前,我们的绝对算力,排名世界第二。
但是,从人均角度来看,我们并不占优势,仅处于中等算力国家水平。
世界各国人均算力对比 (来源:唐雄燕,华为算力时代峰会演讲)
尤其是在芯片等算力核心技术上,我们与发达国家还有很大的差距。很多掐脖子技术未能解决,严重影响了我们的算力安全,进而影响了国家安全。
所以,脚下的路还有很长,我们还需要继续努力。
最近,对手又打起了光刻机的主意(图片来自网络)
未来社会,信息化、数字化和智能化将会进一步加快。万物智联时代的到来,大量智能物联网终端的引入,AI智能场景的落地,将产生难以想象的海量数据。
这些数据,将进一步刺激对算力的需求。
根据罗兰贝格的预测,从2018年到2030年,自动驾驶对算力的需求将增加390倍,智慧工厂需求将增长110倍,主要国家人均算力需求将从今天的不足500 GFLOPS,增加20倍,变成2035年的10000 GFLOPS。
根据浪潮人工智能研究院的预测,到2025年,全球算力规模将达6.8 ZFLOPS,与2020年相比提升30倍。
新一轮的算力革命,正在加速启动。
█ 结语
算力是如此重要的资源,但事实上,我们对算力的利用仍然存在很多问题。
比如算力利用率问题,以及算力分布均衡性问题。根据IDC的数据显示,企业分散的小算力利用率,目前仅为10%-15%,存在很大的浪费。
摩尔定律从2015年开始放缓,单位能耗下的算力增速已经逐渐被数据量增速拉开差距。我们在不断挖掘芯片算力潜力的同时,必须考虑算力的资源调度问题。
那么,我们该如何对算力进行调度呢?现有的通信网络技术,能够满足算力的调度需求吗?
敬请期待下集:到底什么是“算力网络”?
—— 全文完 ——
参考文献:
1、《中国算力发展指数白皮书》,信通院;
2、《算力网络技术白皮书》,中国移动;
3、《算力网络(CAN、CFN、CPN)、东数西算是怎么回事》,QianLing,知乎;
4、《中国联通算力网络白皮书》,中国联通;
5、《算力网络发展介绍与展望》,曹畅;
6、《什么是算力网络》,吴卓然;
7、《关于“算力网络”底层技术的思考》,鄢贵海;
8、《AI算力需求快增长,平台化基础设施成焦点》,广发证券,刘雪峰、李傲远、吴祖鹏。
相关问答
芯片上的算法指的是什么?
芯片上的算法指的是在集成电路芯片(IC芯片)中实现的计算或数据处理算法。这些算法通常通过硬件电路的设计和电子元件的布局来实现,以实现特定的功能或任务。...
在深度学习方兴未艾的今天,芯片与算法之间是一种什么关系?如何促进深度学习的发展?
感谢邀请!说实话这个话题难,但就我个人的理解来看,芯片和算法的关系就好比赛车和车手之间的关系,你学习中遇到的难题就好比一条全新的赛道,好的塞车能给你更...
人工智能依靠算法还是芯片?
人类发展至人工智能时代核心是算法!以及一些语言程序代码,而芯片只是人工智能时代的工艺产品而已,人工智能时代的机器人的深度学习及聪明程度取决于人工智能的...
什么是芯片基带算法,哪家强,算法好是不是手机信号就好?
基带就是手机的主芯片,一般集成AP处理器,射频和GPS/WIFI/BT等有另外外围芯片,基带/处理器里边除了运行手机系统,还需要提供手机信号处理,主要是通信协议和算...
2022算法工程师怎么样?
2022算法工程师前景非常好的。虽然今年的就业形势总体一般,但算法工程师仍旧是是一个相对高端也是较为紧缺的职位。从产业互联网发展的大背景来看,算法工程师...
有哪些好方法学习芯片的无线通信算法?
集中国内软件设计工程专家组建团队。拿出毛主席集中力量干大事,拿出两弹一星精神。不要做买办。不要作汉奸。汉奸已经充斥我们各行各业。农业,金融,科技,自力...
amd芯片支持ai算法么?
是的,AMD芯片支持算法。AMD推出了一系列支持AI计算的处理器,如Ryzen和EPYC系列。这些芯片具有高性能的多核架构和先进的指令集,能够处理复杂的AI任务。此外,...
手机摄像头像素和什么有关?
手机像素的高低和摄像头是有关系的,包括系统算法也有关联,摄像头是手机自带的,是无法更换摄像头的,只能更换像素高的手机提高照相效果。手机摄像头的像素和...
真正突破光刻机封锁的技术诞生了!可编程光量子计算芯片是什...
可编程光量子计算芯片是什么?光盘打印刻录机突破讨论回答(9)光刻机高端产品...研发出可编程运行图论问题量子算法的光量子芯片。该芯片有以下几个特点:一...
当前人工智能专业学生应该选择什么方向比较好?AI芯片或是CV/NLP/ML等AI算法?
谢谢邀请!ML一般指可以从经验中学习的系统DL是可以从大型数据集的经验中学习的系统ANN一般是帮助计算机学习的人类神经网络模型NLP是语言处理系统ASR是使...