5月前后，DeepSeek的動(dòng)作倒是頻繁，卻都不是大家期待的R2。不過(guò)，一系列前菜已經(jīng)給R2做足了鋪墊。
5月14日，一篇DeepSeek V3論文，揭示了梁文峰是如何做到“極致降本”的。這篇論文也讓業(yè)界得以一窺這家以技術(shù)立身的公司，其“內(nèi)功”究竟修煉到了何種火候。
與此前發(fā)布的V3技術(shù)報(bào)告不同，這篇論文詳細(xì)闡述了DeepSeek如何做到在硬件資源的的“緊箍咒”下，通過(guò)精妙的“軟硬一體”協(xié)同設(shè)計(jì)，將成本效益這筆賬算到極致。（虎嗅注：DeepSeek-V3僅使用了2048塊英偉達(dá)H800 GPU）
在AI大模型這條燒錢的賽道上，算力即權(quán)力，但也可能是壓垮駱駝的最后一根稻草。DeepSeek V3論文的核心，恰恰點(diǎn)出了一個(gè)行業(yè)痛點(diǎn)：如何讓大模型不再是少數(shù)巨頭的專屬游戲？
論文中，DeepSeek毫不吝嗇地分享了其“降本增效”的幾大秘籍，這些技術(shù)細(xì)節(jié)，字里行間都透露出對(duì)現(xiàn)有硬件潛能的極致壓榨，也預(yù)示著未來(lái)DeepSeek系列模型在性能與效率上的野心：
其一，是給模型的“記憶系統(tǒng)”瘦身。AI處理長(zhǎng)文本、多輪對(duì)話時(shí)，需要記住海量的上下文信息，這部分“記憶”（即KV Cache）對(duì)顯存的消耗極為驚人。DeepSeek V3祭出了“多頭隱注意力機(jī)制”（MLA），好比給模型的記憶裝上了一個(gè)高效壓縮軟件，能將冗長(zhǎng)的信息濃縮成精華，大幅降低顯存占用。這意味著，即便是處理越來(lái)越長(zhǎng)的上下文，模型也能更加從容不迫，這對(duì)于解鎖更多復(fù)雜應(yīng)用場(chǎng)景至關(guān)重要。
其二，是打造“專家各司其職”的團(tuán)隊(duì)。面對(duì)大模型天文數(shù)字般的參數(shù)量，傳統(tǒng)的“一人生萬(wàn)物”模式難免力不從心。DeepSeek V3沿用并優(yōu)化了“混合專家模型”（MoE）架構(gòu)。想象一下，一個(gè)龐大的項(xiàng)目被分解給一群各有所長(zhǎng)的專家，遇到具體問(wèn)題時(shí)，系統(tǒng)會(huì)自動(dòng)“搖人”，只激活最相關(guān)的幾位專家協(xié)同作戰(zhàn)。這樣一來(lái)，不僅運(yùn)算效率提升，模型的“有效規(guī)模”也能在控制之下，避免了不必要的資源浪費(fèi)。DeepSeek的優(yōu)化，讓這些“專家”間的溝通更順暢，協(xié)作成本更低。
其三，是大膽擁抱“差不多就行”的數(shù)字精度。在AI訓(xùn)練中，數(shù)字的精確度并非越高越好。FP8，一種低精度數(shù)字格式，就像我們?nèi)粘Ｉ钪兴阗~，有時(shí)精確到“角”甚至“元”就已足夠，不必非要到“分”。DeepSeek V3在訓(xùn)練中引入FP8混合精度，在對(duì)精度不那么敏感的環(huán)節(jié)“粗略”計(jì)算，直接效果就是計(jì)算量和內(nèi)存占用大幅下降，訓(xùn)練速度更快、更省電。關(guān)鍵在于，論文證明了這種“偷懶”并不會(huì)明顯犧牲模型的最終性能。
其四，是鋪設(shè)更暢通的“信息高速公路”。大規(guī)模訓(xùn)練離不開GPU集群的協(xié)同作戰(zhàn)，GPU之間的數(shù)據(jù)交換效率，直接決定了訓(xùn)練的整體速度。DeepSeek V3采用了“多平面網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)”，優(yōu)化了集群內(nèi)部的數(shù)據(jù)傳輸路徑，減少了擁堵和瓶頸，確保信息流轉(zhuǎn)如絲般順滑。
可以說(shuō)，DeepSeek V3的最新論文，更像是一次技術(shù)自信的展示。它傳遞出一個(gè)清晰的信號(hào)：即便沒(méi)有最頂級(jí)的硬件配置，通過(guò)極致的工程優(yōu)化和算法創(chuàng)新，依然可以打造出具備行業(yè)領(lǐng)先潛力的大模型。這無(wú)疑為那些在算力焦慮中掙扎的追趕者們，提供了一條更具可行性的攀登路徑。
實(shí)際上，4月30日，DeepSeek還上了另一道“前菜”。
當(dāng)時(shí)，DeepSeek Prover V2以671B的參數(shù)重磅亮相，要知道，DeepSeek上一次發(fā)布V2模型的時(shí)候僅有7B。對(duì)于DeepSeek Prover V2，行業(yè)觀察者們普遍認(rèn)為，這是AI在輔助科學(xué)發(fā)現(xiàn)，特別是挑戰(zhàn)人類智力極限的數(shù)學(xué)領(lǐng)域邁出的重要一步。
而DeepSeek近期的系列動(dòng)作，放置于當(dāng)前AI大模型產(chǎn)業(yè)的宏觀背景下，更耐人尋味。
一方面，我們看到的是頭部廠商在模型參數(shù)、多模態(tài)能力、應(yīng)用生態(tài)上的全方位“內(nèi)卷”，技術(shù)迭代的速度令人目不暇接，資本的熱情也持續(xù)高漲。但另一方面，算力成本的持續(xù)攀升、商業(yè)化路徑的尚不清晰、以及“智能涌現(xiàn)”之后如何實(shí)現(xiàn)真正的價(jià)值創(chuàng)造，這些都是懸在所有從業(yè)者頭頂?shù)倪_(dá)摩克利斯之劍。
在這樣的背景下，DeepSeek V3論文所強(qiáng)調(diào)的“成本效益”和“軟硬件協(xié)同”，以及Prover V2所代表的在特定高壁壘領(lǐng)域的深耕，似乎在傳遞一種不同的信號(hào)：在追求更大、更強(qiáng)的同時(shí)，對(duì)效率的極致追求和對(duì)特定價(jià)值場(chǎng)景的深度挖掘，可能成為AI下半場(chǎng)競(jìng)爭(zhēng)的關(guān)鍵變量。
當(dāng)“大力出奇跡”的邊際效應(yīng)開始遞減，當(dāng)市場(chǎng)開始從對(duì)技術(shù)本身的狂熱轉(zhuǎn)向?qū)?shí)際應(yīng)用價(jià)值的考量，那些能夠更聰明地利用現(xiàn)有資源、更精準(zhǔn)地切入真實(shí)需求、更深入地理解并解決復(fù)雜問(wèn)題的玩家，或許才能在喧囂過(guò)后，笑到最后。
DeepSeek的這些“前菜”，無(wú)疑吊足了市場(chǎng)的胃口。人們期待的，不僅僅是一個(gè)性能更強(qiáng)的R2模型，更是一個(gè)能夠?yàn)樾袠I(yè)帶來(lái)新思路、新變量的DeepSeek。在AI的牌桌上，這家以技術(shù)為底色的公司，顯然還想打出更多意想不到的牌。
鄭重聲明：本文版權(quán)歸原作者所有，轉(zhuǎn)載文章僅為傳播更多信息之目的，如作者信息標(biāo)記有誤，請(qǐng)第一時(shí)間聯(lián)系我們修改或刪除，多謝。
