第266章 寻找合作伙伴4（2 / 2）
ds-ll67b的模型权重文件、源代码、各类工具链、说明文档，整个加起来足足有272个gb。
林远看着那个可怕的模型权重文件，那可是要加载进入gpu的。结果这玩意儿的大小竟然达到了268gb。即便可以通过降低精度来降低模型权重文件的大小，可是这东西最小也要126gb。“得嘞！ai真特么烧钱。”
即便ds-ll号称已经比openai的chat-gpt4模型权重文件小得多，毕竟后者的同类文件大小是用tb作为计算单位的，可仍旧达到了百gb级别。
模型权重文件，这是ai模型最重要的东西。
砸钱买一堆的gpu，再烧掉大把的电费，最后训练出的就是这么个玩意儿。
ai模型对语言的理解和答复的所有奥秘，都在模型权重文件中了。
但你以为有了文件你就能理解ai的推理过程了休想。
以chat-gpt4来说，其参数规模已经达到了万亿级别，林远眼前的ds-ll也已经有670亿的参数。
你想搞清楚某个参数在ai模型推理过程中的具体作用那还是省省吧，那是完全不可能的。
把ai模型的推理过程逆向过来，只会看到一条条向量。人类只能理解其中很小部分的关联过程，对于ai大部分的推理过程，人脑如今已经跟不上了。
ai已经成了事实上的，按照人类的部署在干活。人类提供思路，ai完成工作。至于其中的具体过程，黑盒，完全就是不可见的黑盒。
林远被ai大模型的参数规模给惊到了。
他忽然意识到，这特么难道不应该是顺理成章的嘛，老子为什么要惊讶
他突然就想到：为什么自己要惊讶呢。
最先进的ai大模型的参数早就已经到了万亿级别，自己难道不该对模型权重文件的大小有所心理准备嘛。
‘所以，老子为什么要打算用一台笔记本来跑这种大语言模型’
林远自己被自己蠢哭了。
细思一番之后，他终于想到了原因。这是因为他在算力系统勾勒的模型强度面前已经习惯了。
林远习惯了系统产出的模型的精简，习惯性地忽略地球人类眼下粗狂的ai模型方法。
按照眼下的堆算力的粗放路线，模型权重文件可不就得这么大么。
林远简单算了下，ds-ll67b的满血版需要268gb的显存，那特么3块h100都不够哇。每块h100的显存是80gb，那至少要准备4块。
他可不打算去买，这年头还是直接租用云算力更加方便。
“小张，”林远大声把张言喊了过来，“我买云算力需要走审批手续不。”
由于林远现在身份敏感，还被安保小组看护着，因而各种举动都要提前报备。
“什么，是云算力。”
“就跟买云服务器差不多。”
“奥，那肯定是要报备的。”
于是林远很无奈的开始了填申请表。
“特么我买云算力和我人身安全有什么关系唠。难道人家还能顺着网线来打我”
“别闹，规定就是规定。你嫌麻烦的话我来填，你告诉我用途就成。”
“用途最终目的是拿来做空对岸科技公司的股票。”
“额，，，”张言显然不能这么写，“我就给你写，，，为了从事科学研究，争取为国为民再创佳绩。”
“小爷只想做空对岸的科技股狠狠出口恶气。当然，，，顺带搞点钱。”
“你闭嘴，别闹了。”
↑返回顶部↑