美国农夫导航
2024-09-07 09:42 点击次数：165
涌现（Emergence），是生成式AI波澜的一个要津局势：当模子畛域扩大至临界点，AI会展现出东谈主类一般的灵巧，能意会、学习以至创造。 「涌现」也发生在现实宇宙——硅基时髦一触即发，AI领域的创业者、创造者，正在用他们的灵巧与头脑白丝 porn，点亮兑现AGI的漫漫征程。 在新旧坐褥力瓜代之际，《智能涌现》推出新栏目「涌现36东谈主」，我们将通过与业界要津东谈主物的对话，记载这一阶段的新想考。
作家丨邱晓芬
裁剪丨苏建勋
一场超算比赛的好坏进度，简略不亚于一场F1赛车比赛。
通盘的戎行，要经过三轮搏杀，从好意思国搏杀到欧洲、再到亚洲。来自全球顶尖学校的学生戎行，各自带着他们起先进的算力前去赛场。
当每一个戎行被分配五谈诓骗题时，他们要调教好劳动器里面的七八个裸金属硬疙瘩，让它计较卓越东谈主脑所能文书的复杂题目。
手脚清华大学计较机系的素质，翟季冬在昔日屡次指导学生参与，还也曾拿过十几次冠军。不外他发现，超算比赛简直等同于一次先进GPU的集体展示——简直通盘戎行，清一色标配英伟达的机器。
情况能否有一些改变？
这个问题一直萦绕在翟季冬心头，这亦然「清程极智」降生的原因之—，想要让国产的算力也能缓缓站到台前。有所不同的是，不与昔日大多数国产芯片创业者一般，他并不遐想从重财富的硬件标的切入算力赛谈。
在昔日，中国的芯片创业基本结伴在wifi芯片、MCU等更普适的领域，尝试从下到上解围。直到2020年前后，跟着国际博弈趋势加重，国内才渐渐掀翻了以GPU为代表的AI芯片创业飞扬，成功切入半导体、AI的要隘。
但这个赛谈昔日简直是充满笨重，顶着压力前进。国产AI芯片的敌手只须一个，牌桌对面是简直把持着全球半导体行业通盘上风资源的英伟达。
从另一个角度看，这恰是中国AI芯片的契机。
仅仅，新的变化是，经过几年的千里淀，寰球缓缓正视蓝本的弘愿，新的反想出现。一些现实摆在目下：尽管中国大部分AI芯片喊出了“对标英伟达”的标语，但被大模子厂商履行使用时，软硬件的短板不免表现。
“想用三四年卓越英伟达，是一个不可能的任务，中国的芯片厂商只在硬件层硬拼英伟达的交接是不是行得通？”在先进制程过期，积贫积弱的情况下，尝试从软件层面切入翻新，是周转国产芯片“蚂蚁雄师”的关键一环。
而这恰是翟季冬和「清程极智」团队想作念的事情。
显明，在昔日，软件简直是AI芯良晌常被漠视的法子。淌若以英伟达为参考，可以发现，英伟达并非一家简单的硬件公司，相背，他们反而更本旨以软件公司自夸——英伟达崇拜软件的东谈主员，简直是硬件团队的数倍。
而在软件上握续下功夫，也让英伟达在昔日获益匪浅。一个故兴趣的局势是，当东谈主工智能的发展迅猛，从2013年的卷积结构，迭代到如今的Transformer，芯片的飞扬跌宕滚动，但英伟达的硬件长久不约而同”。翟季冬暗示，这恰是由于英伟达的计较芯片表层有天果真软件手脚撑握。
翟季冬向《智能涌现》先容，目前，「清程极智」的团队推出了「清程Pro」、「清程Pro Max」的软件平台，从软件的方式切入，优化国产算力，让国产算力也能有不输英伟达产物的后果。
比如，经过实测，「清程Pro」与某国产芯片趋奉后，将芯片推理的迷糊量进步了 1.7 倍，远超于英伟达同类产物；「清程Pro Max」则从芯片之间的一语气脱手，能够在两三台劳动器互连的情况下，把大模子推理迷糊量提魁岸约五六倍。
据翟季冬先容，在某国产卡四卡平台上，清程极智的推理系统FastDecode 对某 130B 大模子可达到比较于 vLLM 多达 7 倍的生成迷糊量。
“软件可以帮你作念好多事情，一定进度上可以弥补硬件自己的弱势”，目前，「清程极智」照旧与不少国产芯片厂商、国产大模子厂商达成了深度趋奉。
在此前，翟季冬的团队还也曾研发出能够在超等计较机上考试百万亿参数模子的「八卦炉」系统。令东谈主难以置信的是，这台有足球场大小的超算系统，背后的芯片通盘都是国产芯片。
翟季冬先容，在超算上考据过的「八卦炉」系统是清程极智的中枢期间之一，提供针对芯片体系架构的算子编译优化，以及面向超大畛域集群的并行计较科罚有谋划，包括收集通讯优化，全色网容错系统，负载平衡等，畴昔将支握更多的国产算力，进行高达十万卡的超大畛域考试。
翟季冬判断，畴昔中国的AI芯片行业，在考试侧简略只须少数几家能够胜出，但中国在端侧诓骗的设想力会忘形国更强，推理芯片必将百花皆放，来岁下半年简略会有更多新公司的涌现。
而在这种趋势下，散播的中国AI芯片市集，给软件翻新的涌现，提供了一块湿润的泥土。
以下《智能涌现》与翟季冬的沟通实录（略经摘编）
用软件周转”国产算力
智能涌现：您之前的履历怎么？为什么是采选和算力优化谋划的领域进行创业？
翟季冬：我在清华的时候白丝 porn，2014年就驱动带着本科生去插足全球超算比赛，每年是有三场比赛，好意思国一场，欧洲一场，亚洲一场。我们会带一个小畛域集群，包括几台劳动器，每台劳动器有多个加快卡。
主理方会提供五谈傍边诓骗顺次，每个戎行在各自佩戴的集群上优化诓骗顺次，最终看哪个戎行合座性能最高。有点像F1赛车，我们既要带可以的硬件，同期也要把这些顺次在机器上的性能弘扬到极致。
我们整个在国际超算比赛中拿到十几次冠军，但是我们之前用的都是英伟达最佳的GPU去参赛，比如H100、A100。
我们团队在智能算力优化标的蕴蓄了好多年，此次想要通过产学研的机制去更好地鼓励这个标的，同期也助力国产芯片的发展。
智能涌现：你们最近对接了不少国产芯片，目前这些产物用起来的体验怎么？
翟季冬：国产芯片目前的算力性能固然比较英伟达还存在一定差距，但是合座性能还可以。国产芯片目前主要的问题是软件生态。国内目前作念AI芯片会有十几家，但是我们发现依然有许多用户对国产芯片的收受进度不高。
比如寰球要作念好多一些酷炫的AI诓骗，表层模子在程序的开源版块上有所改变，这时在国产芯片上运行就可能碰到一些问题，而使用英伟达的芯片碰到的问题就少得多。
我们想考的问题是，怎么能把国产算力市集周转，让表层的大模子诓骗感受不到国产芯片在使用历程中一些不顺畅的场所，或者说尽可能赢得和英伟达相同的使用体验。
其真实十年前，寰球也以为，相干于熟习的CPU体系，英伟达的 GPU不好用。英伟达亦然履历了好多年才构建出熟习的软件生态的，国产AI芯片公司都是2016年之后树立，有的是2020年傍边，淌若说想用三年的时分逾越英伟达，这是一个比较大的挑战。
我们也在想，中国芯片淌若皆备复刻英伟达的门道，是一个最简单可行的想路，但是这条想路是不是最佳？可能还需要进一步想考。
我认为，国产芯片淌若能把软件作念好，硬件也能弘扬到极致。
智能涌现：你们目前的交易模式是什么？
翟季冬：我们的中枢期间结伴在智能算力系统软件。从交易模式来说，我们会将这一系列的软件与算力结合起来，使算力变得更好用，以不同方式成功寄托给终局用户。
我们本年上半年的规划是，和底层芯片厂商细巧趋奉，同期在表层匡助大模子厂商无感移动模子到国产芯片上。有几家著名国产大模子公司都是清华计较机系孵化的，我们跟这些机构有好多深度的趋奉。
智能涌现：你们怎么用软件的方式，去科罚国产芯片硬件层面不好用的问题？
翟季冬：我们也曾在某国产芯片上加上我们的软件，变成软硬一体化科罚有谋划「清程Pro」，把大模子推理迷糊提高了1.7倍。其后我们在此基础上作念了一些硬件改造，变成了「清程Pro Max」上，可以把迷糊提魁岸约五六倍。
软件可以帮你作念好多事情，一定进度上可以弥补硬件自己的弱势。
智能涌现：优化是一锤子买卖吗？怎么进步算力优化的着力？
翟季冬：从我们系统软件的遐想角度看，给任何一种芯片作念的优化，再用到其它芯片架构上是不需要通盘重新兑现的。因为我们的软件在遐想上有无数是共性的，我们在最底层的编译器，会有一层接济中间暗示，会跟多样芯片架构去对皆，这样不同厂商可以买不同的AI加快芯片，用我们的一套软件，也能支握多种芯片。换句话说，表层模子一直在迭代，而清程的期间才调可以握续高效地支握新兴模子的底层算子优化，畴昔跟各芯片厂商和模子厂商会是握续趋奉的情状，不会仅仅一锤子买卖。
智能涌现：我们的期间壁垒是什么？
翟季冬：第一个是AI编译器，它的中枢作用是把表层模子算子高效地改革成底层AI芯片可以引申的代码，把底层不同AI芯片的计较才调开释出来。我们清华大学计较机系高性能所的实验室在这块有颠倒好的期间蕴蓄。
第二个是并行系统。刻下的计较系统是一个高度并发的系统，不论是大模子考试、微调或推理，都需要把模子映射到多块AI芯片、以及AI芯片里面的多个功能单元。
模子怎么拆分，通讯怎么高效完成，这些都是并行系统需要去商量的事情。我们在大畛域并行系统方面，作念过好多关联的职责。
中国芯片创业，需要新翻新想路
智能涌现：但是行业里面，是不是还莫得这种围绕翻新方式的反想？
翟季冬：不成说皆备莫得反想，但还需要有更多想考，核肉痛点在哪？原创力在哪？
我认为目前中国芯片所濒临的核肉痛点，是怎么要让这些芯片变得更好用，真确把底层的算力给弘扬出来。
智能涌现：你以为怎么看中国芯片公司昔日几年的交接？
翟季冬：英伟达花了20年，把硬件、软件蕴蓄起来，照旧有好多翻新内化在产物中。国产芯片不是通过学习它的公开这些材料简单的效法就能逾越他。
淌若中国公司想要在考试侧卓越英伟达，除非你有实质的翻新，中国发展其实不要简单的copy，效法东谈主家永远只然而跟在东谈主家背面，我以为中枢的要有我方的科技翻新。
一个更有价值的想考是：中国的芯片公司在国际供应链上明确受限这种情况下，我们怎么能通过软件和硬件协同翻新来残害重围？
这是中国芯片一个更好的出息。我们其实可以通过软件的方法，有用地把这些芯片给整合起来。
像英伟达这样多年，它的架构自己没变。从2013年的卷积，到目前的Transformer，英伟达的底层架构不变，它通过软件来想观点帮用户去适配，我以为这等于软件的意旨，因为软件相对比较天真。
智能涌现：为什么是采选在中国，作念这种算力软件优化标的的创业？
翟季冬：在海外，作念算力关联的软件只须把英伟达、 AMD两家劳动好，基本上也就科罚问题了。好意思国目前英伟达是一家独大，去整合其他芯片的意旨有限，但是在中国，这反而有契机。
淌若英伟达通盘的算力对中国都绽开，那么中国芯片成长的契机也会少好多。
关于国产芯片来说，英伟达的缺陷才是他们的契机点，淌若你盯着他的坚韧去作念的话，很难卓越他。中国的芯片市集越散播，端侧芯片的场景越散播，反而越能给软件创业带来更多契机。
智能涌现：有莫得嗅觉目前国内的芯片厂商比较道不相谋，短少协力？
翟季冬：英伟达是一家很有贪心的公司。他们作念了一系列GPU加快卡，然后又收购了收集芯片公司迈络想、又作念了我方的 ARM CPU，他想作念一体机，以至想收购 ARM。但是国内的大部分芯片厂商其实都莫得贪心和才调去整合，大部分国产厂商都很散播，有的更偏向于推理，有的更偏向于考试，是以我嗅觉目前国产的算力很难变成协力。
但是从另一个角度来看，这反而对算力软件的创业有契机，我认为这个近况，在畴昔5-10年如故会存在。
哥要色好意思国考试更强，中国端侧设想力更丰富
智能涌现：国内坚握作念万卡考试的芯片公司，是因为buy in了scaling law？您怎么看，它会握续吗？
翟季冬：所谓的大模子可以意会为将海量的数据压缩起来，放到一个千亿或者万亿的数据库里，是一个数据压缩的历程。
淌若编码和压缩算法更高效，那可能蓝本用万亿参数才能压缩，目前用5000亿的模子就可以完成压缩了。
淌若能够在单元的参数目内集成更多的常识，那就不需要一味的追求这个大参数目。大模子参数变大，我认为是无奈之举，畴昔在算法层面细则如故需要去不休翻新。
智能涌现：硅谷有好多新架构的芯片出现，您以为中国畴昔也会出现这种局势吗？
翟季冬：与好意思国比较，中国的诓骗场景更多，端侧怎么把性能、本钱、功耗能作念到极致，瑕瑜常要津的。
在畴昔，端侧比较劳动器侧会更百花皆放，是以端侧软件在这里面起的作用也会更大。
智能涌现：不外国产芯片有的从考试作念起，有的从推理切入，其实从交易的角度来看，从考试如故推理哪一侧作念起更好？
翟季冬：从中国发展角度来说，我认为考试和推理都很关键，淌若连算力集群都要靠非常门道获取，从国度和产业发展的角度都是不可握续的。万卡国产考试平台的条件很高，可能只须几家企业临了能胜出。
关于一些公司来说，可能短期内在考试侧卷不外某些公司，或者市集上有一些公司可以买到可用的芯片，那他的计谋可能就会往端侧偏移。
本年是大模子诓骗的元年，目前还在探索诓骗的阶段，淌若诓骗近两年爆发的话，端侧推理的需求也会随之爆发。端侧对本钱更敏锐，场景也会更多。
好意思国大模子考试固然要比中国作念的更好少许，但是中国端侧诓骗的设想力如故要忘形国更强一些，端侧其实也在多样尝试探索，有可能来岁或者本年下半年，可能迟缓的就会有一些局势级诓骗冒出来。
智能涌现：但是你们不作念硬件，后续怎么去很好弘扬软件的才调？
翟季冬：固然我们目前不作念芯片，但是我们照旧跟芯片厂商有好多深度趋奉。芯片厂商给我们绽开了底层的接口，我们能够从颠倒靠近芯片的层面去进行软件拓荒。
end
end
上一篇：没有了