易读小说网
《年近三十,科技立业》

第57章 孙博的能力

《年近三十,科技立业》小说免费阅读 ydxs8.com

大规模购入显卡这件事儿,微软和OpenAI丝毫没有对外保密,甚至搞的格外高调。这边刚一做完决定,立即就搞得满世界都尽人皆知了。

“这……”纪弘看到相关消息,简直有些哭笑不得:预测模型这么准的吗?

想想很离谱,但仔细一分析,确实也在情理之中——因为微软压根儿就没有第二条路可以走。

耳语系统虽然没有表现出超强的攻击力,卷耳智能科技甚至都没有为它开过一个发布会,有点儿并不重视的样子,但它的战斗力就在那,任谁都没法忽视。

哪怕根本就没有正式在美欧地区销售,就已经开始慢慢的侵袭微软的Windows市占率了。

如果下一个版本还不能扭转过局势来,那劣势瞬间就会转化为败势!

生态是护城河不假,但被护城河淹死在城内的可是有先例——当年诺基亚塞班系统市占率高吧?现在再看看,哪里还能看到它的影子!

护城河是对同级产品而言的,过于落后,掉到河里的只会是自己。

纪弘也是想到了这儿,随后又看了看那个预测类AI模型:如果变量过多,时间很长,对它来说确实难度很大。

但如果变量很少,就像这次,预测GPU行业,单单就这一个行业,预测某些公司的短期动向,看起来还是很靠谱的。

“这东西包装一下也是一个非常强大的产品!”纪弘这么想着:“先拿去给陈继业做企业分析试试。”

“微软这边……”决心下的那么大,所有人都看出微软要做什么了,纪弘当然也不例外,这个时候,他在思考这样一个问题:

“现在他们的大模型,Transformer这类的,靠无限制的堆积算力,就能无限的提高模型能力吗?”

纪弘对此还真没有研究——先前在创界,主要利用别家平台进行接口对接开发,后来自己创业,上来就是类思考模型,对T模型属于降维打击,并不存在这样的问题。

他对此没有什么研究,但有一个人一直在关注着这方面——这个人就是孙博。

“靠无限制的堆积算力获得高性能大模型,短期内是可行的。”

孙博也是看到了微软的行动,在CSDNBlog跟一群人正在探讨相关的话题:

“长期的话,倒不是有上限,真要有魄力不计成本无限制的去堆积算力,理论上是真的能够获得无限制的性能提升的。

“但也仅仅只是理论上,这里边有一个巨大的问题,根据我的研究,它的增长不是线性的。

“我大约计算过,实际的增长曲线就不说了,很复杂,但大约可以简化为这个函数:y=c·log(e)·(X+1)。

“这里边y指的是性能,X你们就姑且理解为算力堆积的基本单位,大约趋势如下图。”

就算是对数学再不懂的人,看到这个公式也该看出来了,因为这个函数的曲线到最后,几乎就是一条平平的横线。

也就是说,当显卡堆积达到一定规模之后,就算再堆积硬件,性能虽然也会增加,但增加的也会十分有限,到最后甚至肉眼都不可见了。

这么说着,孙博还举例道:“以现在的GPT4为例,如果想要一个2倍GPT4参数的大模型,对算力的需求大约会是多少呢?

“我计算过,大约需要十几倍。而且公式计算的只是理论效果,而更大规模的集群,片间互联的损失肯定也会更大,实际效果只会更差。”

孙博很是热情,只要不涉及他自己工作的机密和核心,只要他在的时候,那几乎是有问必答的。

纪弘也正好翻看到这儿,他没有过多的惊讶,片间互联损失这一块儿本身就不好解决,要不然超大规模智算中心也不至于这么稀有了——河州大学搞的那个还是纯国产第一例。

“按你这么说,微软这孤注一掷的效果,不一定会好啊!”有人这么回了一句。

“效果不好是一定的,花费两倍的价格,可能能得到1.5倍的性能,最多也就如此了,想要赶上耳语的能力,我觉得不大行。

“其实OpenAI自己肯定也清楚,GPT4乃至后续没有发布的4.5版本,之所以没这么堆规模,就是在卡能效比的两个节点。

“再堆规模下去,性价比会越来越低不高。但现在不是被耳语逼的没办法了吗?”

孙博本就是研究前沿理论的,现有模型的理论上限他清楚的很,哪个算力节点卡一下性价比最高他大约也都清楚。

到了一定程度,盲目的加规模肯定得不偿失

【当前章节不完整……】

【阅读完整章节请前往……】

【ydxs8.com】

上一章 目录 停更举报 下一章
小说推荐: 半生不熟 小领主 还爱他! 反派不想从良 非职业NPC[无限] 病美人和杀猪刀 灵卡学院 迷津蝴蝶 大宋市井人家 少女的野犬 和嫡姐换亲以后 在O与A中反复横跳 开局为神子献上名为“爱”的诅咒 从鱼 吃瓜吃到自己死讯 还有这种好事儿?[快穿] 跟全网黑亲弟在综艺摆烂爆红 年代文炮灰的海外亲戚回来了 拆迁村暴富日常[九零] 风月无情道 强者是怎样炼成的 六零之走失的妹妹回来了 被皇帝偷看心声日志后 姐姐好凶[七零] 肉骨樊笼 动物世界四处流传我的传说[快穿] 草原牧医[六零] 龙凤猪旅行团 生活玩家,但战力爆表 大瑛弟国
返回顶部