6k元体验大模型核心技术

AI 4周前 admin
13 0 0

大模型是数据,算力和算法三大核心技术的结晶,这篇文章主要谈谈算力这块。算力听起来似乎离我们普通人很遥远,A100一卡难求,4090也可以炒货,不过单卡的算力提升虽然重要,但是大模型成功的关键却在于大规模训练必须的nvlink技术上,名词解释就不说了自行gpt去吧。那么我们普通人怎么以合理的价格来体验这项技术,并且能发挥一些实际的作用,就是这篇文章的核心内容。

如果你

  1. 家里只打算放一台PC而非机架式服务器,并且对噪声容忍度比较低

  2. 希望通过本地模型而非API方式来做一些应用的POC,或者处理一些敏感数据,即大模型使用场景主要是推理,或者有一些很少的ft需求

  3. 预算比较有限(6-7k甚至更低)的话

  4. 除了搞一些大模型之外也有普通的需求,比如打游戏之类的

  5. 比较爱折腾


都可以看看这个方案,如果这些约束对你来讲都不重要,那么可能这个方案不适合你。

经过一些调研后方案思路从支持nvlink的显卡入手,除了专业显卡之外,消费级显卡里面最低支持nvlink的就是RTX 2080ti,尤其该款显卡具有22G显存魔改版本,单卡就可以覆盖7B,13B,20B三档的量化后的常见开源模型,不过对更大尺寸的模型,尤其是有巨大提升的moe模型,例如mixtral 7Bx8都是无法靠单卡载入的(消费级显卡4090ti也只有24G显存),只能通过推理引擎把部分层加载到系统内存来运行,整个过程非常痛苦,简直是浪费生命。这个时候通过nvlink可以把全部的层加载到显存中,分别占用18+16G显存,完美,推理速度也有10倍以上的提升。当然3090,4090都是很好的选择,但是明显预算超标了,如果预算支持也是推荐上更新的显卡,不光算力有提升,架构上也支持一些推理的新技术。是否选择300A,我个人觉得意义不大,因为你的散热会成为瓶颈的,然后记得买两块一样品牌一样规格的,涡轮相对便宜一些,风扇改不改具体看你散热系统了。就算不跑大模型,nvlink之后玩游戏也相当给力。选完了大头显卡,剩下关键的就是主板,一定要支持SLI技术的,目前我看到的主要是消费级的主板和一些准系统服务器主板,价格很有吸引力的寨板(X99)基本没有支持SLI的,二手的话记得尽可能买大牌,尽量买ATX规格以上的板子,两块显卡很占地方。CPU和内存丰俭由人,建议选新一些,支持更大内存的。电源务必选1200w以上,这两块显卡加一起500w,如果是矿龙的话,记得选改过风扇的。机箱这些尽量买大的。硬盘这些买m2吧,建议1t以上,用wsl2尽量把模型都放到linux的分区上,加载速度可以极大的节省你的生命。

具体方案如下

显卡:两块MSI RTX 2080ti 22G 涡轮版300核心,有一块改了万图师的风扇,一共5000

nvlink桥:七彩虹igame hi3 nvlink 4slot 200,这个根据你的显卡规格和主板的空间买

主板:MSI X99 SLI Plus

CPU:Intel i7-5930K 和主板,水冷一起680

内存:8x8G DDR4 600

电源:长城巨龙1250W 改风扇 换易损件 加显卡线 250

硬盘:旧主机硬盘

机箱:大水牛 拯救者 加三个风扇 120

一共6000出头,如果你自己旧主机的主板和cpu能用的话还能省下一笔哦。所有配件来自于pdd和咸鱼,自己多淘淘说不定有惊喜。

不足之处

  1. 散热真的是个大问题,目前是开着机箱的……可能后续还要投资

  2. 二手件质保听天由命了,可能出问题的时候所谓的店保,商家都不存在了……

  3. 如果你对价格有执念的话,寨板x99大内存+单显卡也不是不能用


后记

前前后后也折腾了快半个月,包括调研和蹲价格,北京最近的物流时效也因为众所周知的原因比较差一些,距离上一次亲手装机已经过去了15-6年了,相当enjoy这个过程:)

后续应该还会写一些大模型应用开发的文章

想想还真是奇妙,从sli到nvlink,nvidia从3d游戏需求起家,慢慢拓展到了数据中心,占据了AI的C位,万亿市值。

省的有人来杠,nvlink有多个规格,消费级的是最低的(但是也够用),万卡互联啥的不用想了,你永远不要低估黄(仁勋)师傅的刀法……

留一张成品纪念照

6k元体验大模型核心技术

原文始发于微信公众号(黄师傅的赛博dojo):6k元体验大模型核心技术

版权声明:admin 发表于 2024年3月16日 下午11:12。
转载请注明:6k元体验大模型核心技术 | CTF导航

相关文章