尽管春节假期已然过半,然则“来自东方的奥秘力量的 DeepSeek”仍在导致全世界热榜,各路业内人士亦仍在从区别方向分析 DeepSeek 的模型和技术文案。
北京时间1月31日,英伟达宣布DeepSeek-R1模型登陆NVIDIANIM。同一时段内,亚马逊和微软亦接入DeepSeek-R1模型。英伟达叫作,DeepSeek-R1是最先进的大语言模型。
韩国 Mirae Asset Securities Research 的一名分析师在 X 撰写长文分析叫作:“这一突破是经过实施海量细粒度优化和运用英伟达的汇编式 PTX 编程,而非经过英伟达 CUDA 中的某些功能来实现的。”
(源自:X)
亦便是说 DeepSeek 在开发大模型时绕过了 CUDA。CUDA(Compute Unified Device Architecture,统一计算架构),是由于英伟达研发的一种通用编程框架,它准许研发者利用英伟达的图形处理器(GPU,Graphics Processing Unit)进行通用计算。
倘若 DeepSeek 真的绕过了 CUDA,那样这能说明什么?
在 DeepSeek-V3 的技术博文中,DeepSeek 暗示其运用了英伟达的 PTX(Parallel Thread Execution)语言。
假如 DeepSeek 的研发者能够很好地运用 PTX(Parallel Thread Execution)语言,那样相比运用 CUDA 供给的编程接口,肯定能够更精细地掌控 GPU 之间传输数据、权重和梯度等。然则,运用 PTX 写出来的代码非常繁杂,且很难守护,因此呢需要专业度较高的研发者。
(源自:DeepSeek)
亦便是说,绕过 CUDA 的做法拥有必定的技术难度,这需要研发者既要懂 AI 模型的算法,又要懂计算机系统架构来有效分配硬件资源。倘若无同期把握这两方面技能的研发者,那就要分别招聘懂这些技能的研发者,即需要协调好区别人员。
从 DeepSeek 的技术报告来看,其主体实现还是基于 CUDA 的关联接口,其描述中亦阐述绕开了 CUDA 来写通信,那就寓意着它招聘了把握区别技能的人才,并能将这些人才很好地串了起来。
这亦说明 DeepSeek 持有有些善于写 PTX 语言的内部研发者。那样,假如它之后运用国产 GPU,其在硬件适配方面将会更得心应手,其只要认识这些硬件驱动供给的有些基本函数接口,就能够仿照英伟达 GPU 硬件的编程接口去写关联的代码,从而让自家大模型更加容易适配国产硬件。
与此同期,从 DeepSeek 的技术报告来看,其技术从学术科研方向并无胜出一筹,然则在工程上面的确非常有技巧。思虑到 AMD 已然宣布集成DeepSeek-V3到 MI300X GPU,因此呢将来不排除会有更加多 GPU 厂商牵手 DeepSeek。
同期,亦正如以上韩国分析师在同一篇 X 文案中所说的:“这凸显了DeepSeek非凡的工程水平,并显示美国对华制裁加剧的“GPU 短缺危险“激发了她们紧迫感和创造力。“
▌源自:大象资讯、深科技
▌编辑:赵珊珊 校对:汤琪返回外链论坛: http://www.fok120.com,查看更加多