以O(shè)penAI ChatGPT為代表的通用人工智能的快速發(fā)展，預(yù)示著全球新一輪科技革命和產(chǎn)業(yè)變革已經(jīng)到來(lái)。ChatGPT除了有上萬(wàn)塊GPGPU（通用圖形處理器）提供強(qiáng)大算力，還有大模型算法、大數(shù)據(jù)的支撐。

作為數(shù)字經(jīng)濟(jì)時(shí)代的全新生產(chǎn)力，數(shù)據(jù)、算力和算法成為新時(shí)代的關(guān)鍵資源。大模型的開(kāi)發(fā)、訓(xùn)練、微調(diào)及推理各個(gè)環(huán)節(jié)均離不開(kāi)算力，且算力成本占據(jù)整體開(kāi)銷的大頭。可以說(shuō)，算力成為支撐大模型發(fā)展的關(guān)鍵因素，也是科技競(jìng)爭(zhēng)的戰(zhàn)略高地。

在大規(guī)模的前端產(chǎn)品落地后，算力建設(shè)能否及時(shí)跟上，成為AI大模型向各領(lǐng)域進(jìn)一步滲透的關(guān)鍵因素。為此，本刊專訪了長(zhǎng)期從事超級(jí)計(jì)算和算力經(jīng)濟(jì)研究的十四屆全國(guó)政協(xié)委員、中國(guó)科學(xué)院計(jì)算技術(shù)研究所研究員張?jiān)迫接慉I大模型發(fā)展如何打破算力瓶頸。

暴露核心問(wèn)題

《瞭望東方周刊》：在大模型發(fā)展熱潮下，哪些問(wèn)題成為制約國(guó)產(chǎn)大模型發(fā)展的重要因素？

張?jiān)迫撼杀靖甙骸⒐?yīng)不穩(wěn)，需求激增，這三點(diǎn)勾勒出了中國(guó)AI算力面臨的整體挑戰(zhàn)。

首先，大模型訓(xùn)練用國(guó)產(chǎn)高端AI芯片供應(yīng)不足，國(guó)產(chǎn)AI芯片公司尚未形成合力。目前，國(guó)內(nèi)雖然已形成了以華為、寒武紀(jì)等為代表的優(yōu)秀AI芯片廠商方陣，但由于缺乏算力芯片的國(guó)家或行業(yè)標(biāo)準(zhǔn)，各廠家形成了自己的生態(tài)體系且互不兼容，造成用戶學(xué)習(xí)和運(yùn)營(yíng)成本上升。目前，國(guó)內(nèi)尚未有一家AI芯片公司的產(chǎn)品能夠支持萬(wàn)卡并行大模型訓(xùn)練，更不用說(shuō)未來(lái)的十萬(wàn)卡、百萬(wàn)卡甚至千萬(wàn)卡并行的挑戰(zhàn)。

其次，大模型落地所需要的配套軟件、服務(wù)生態(tài)及市場(chǎng)缺乏投資、引導(dǎo)與建設(shè)，所需要的低功耗芯片和算子庫(kù)的開(kāi)發(fā)與應(yīng)用、配套技術(shù)等不足。大模型產(chǎn)品形式單一，運(yùn)營(yíng)成本高，提高了傳統(tǒng)企業(yè)應(yīng)用大模型的門檻、增加了研發(fā)費(fèi)用和成本。

第三，目前，很多高校由于資源限制和師資力量不足，缺乏足夠的實(shí)驗(yàn)設(shè)備和實(shí)踐機(jī)會(huì)，導(dǎo)致具有科技創(chuàng)新能力又能熟練應(yīng)用AI新技術(shù)的人才十分緊缺。

6月22日，觀眾在天津2024世界智能產(chǎn)業(yè)博覽會(huì)上的天士力展臺(tái)了解數(shù)智本草大模型（李然/攝）

把握時(shí)間窗口

《瞭望東方周刊》：針對(duì)當(dāng)前問(wèn)題，國(guó)產(chǎn)大模型發(fā)展如何打破算力瓶頸？

張?jiān)迫哼^(guò)去的15年，我國(guó)超算的研制水平已經(jīng)達(dá)到世界領(lǐng)先水平，形成了神威、天河和曙光三大世界級(jí)超算研制團(tuán)隊(duì)，奪得了11次世界冠軍和兩次超算應(yīng)用最高獎(jiǎng)戈登貝爾獎(jiǎng)，神威新一代超算證明可以支撐萬(wàn)億規(guī)模參數(shù)的大模型訓(xùn)練過(guò)程。

因此，可以考慮設(shè)立能夠支持萬(wàn)億級(jí)參數(shù)多模態(tài)大模型訓(xùn)練的專用超算攻關(guān)專項(xiàng)，盡快緩解國(guó)產(chǎn)主權(quán)基礎(chǔ)大模型訓(xùn)練的算力瓶頸。

國(guó)內(nèi)一些企業(yè)往往傾向于使用國(guó)外的開(kāi)源大模型，容易出現(xiàn)低水平重復(fù)與內(nèi)卷，導(dǎo)致算力資源分散。時(shí)間窗口有限，我們不能錯(cuò)失良機(jī)。

通過(guò)專用超算攻關(guān)專項(xiàng)計(jì)劃的支持，可充分利用超算領(lǐng)域多年積累的人才和技術(shù)優(yōu)勢(shì)，快速形成突破，為研制更先進(jìn)適用的大模型專用訓(xùn)練芯片和系統(tǒng)贏得時(shí)間。可以考慮集中全國(guó)AI芯片研制力量，組建由業(yè)內(nèi)權(quán)威專家和各主要AI芯片廠家參加的智能算力發(fā)展專項(xiàng)組，通過(guò)多輪競(jìng)爭(zhēng)，確定訓(xùn)練芯片研發(fā)技術(shù)路線和國(guó)家標(biāo)準(zhǔn)，集中投入，整合芯片產(chǎn)能，盡快研制出能夠滿足十萬(wàn)卡、百萬(wàn)卡甚至千萬(wàn)卡并行算力需求的AI芯片和系統(tǒng)。

同時(shí)，要大力發(fā)展經(jīng)濟(jì)實(shí)用大模型推理產(chǎn)業(yè)鏈。通過(guò)投資引導(dǎo)低功耗推理芯片和算子庫(kù)技術(shù)攻關(guān)，鼓勵(lì)大模型壓縮、適配和性能調(diào)優(yōu)等技術(shù)研發(fā)，通過(guò)規(guī)模效應(yīng)實(shí)現(xiàn)成本共擔(dān)，降低模型推理算力成本，形成經(jīng)濟(jì)適用國(guó)產(chǎn)大模型推理產(chǎn)業(yè)鏈。此外，可為大模型企業(yè)和愿意通過(guò)大模型手段智能化轉(zhuǎn)型的傳統(tǒng)企業(yè)提供必要支持和配套服務(wù)，快速形成新質(zhì)智能生產(chǎn)力，助力國(guó)產(chǎn)大模型平臺(tái)企業(yè)生態(tài)建設(shè)和占領(lǐng)市場(chǎng)。

《瞭望東方周刊》：針對(duì)人工智能人才培養(yǎng)的問(wèn)題，您有哪些建議？

張?jiān)迫横槍?duì)教育資源分配不均，可以通過(guò)探索設(shè)立“生成式人工智能教學(xué)資源共享平臺(tái)”，以鼓勵(lì)學(xué)校間共享教學(xué)內(nèi)容資源和教學(xué)計(jì)算資源。

課程內(nèi)容更新方面，建議設(shè)立“生成式人工智能國(guó)際協(xié)同創(chuàng)新計(jì)劃”，以鼓勵(lì)國(guó)內(nèi)外學(xué)校（或企業(yè)）合作創(chuàng)新課程內(nèi)容和教學(xué)方法。

產(chǎn)教融合方面，學(xué)校和產(chǎn)業(yè)界應(yīng)加強(qiáng)合作，可設(shè)立“生成式人工智能創(chuàng)新實(shí)踐基地”，以鼓勵(lì)有智能化需求的行業(yè)企業(yè)提供實(shí)習(xí)機(jī)會(huì)和人工智能應(yīng)用場(chǎng)景。

師資力量方面，可加快推進(jìn)在生成式人工智能領(lǐng)域企業(yè)導(dǎo)師的引進(jìn)速度，通過(guò)企業(yè)導(dǎo)師幫助校內(nèi)教師提升在生成式人工智能領(lǐng)域的知識(shí)和教學(xué)能力。

2023年5月23日，工作人員在貴州大學(xué)省部共建公共大數(shù)據(jù)國(guó)家重點(diǎn)實(shí)驗(yàn)室的智能就業(yè)服務(wù)平臺(tái)上工作。該實(shí)驗(yàn)室建成了一流科研平臺(tái)與超算中心，人工智能算力達(dá)120petaflops（劉續(xù)/攝）

“主權(quán)級(jí)”大模型

《瞭望東方周刊》：目前，國(guó)內(nèi)企業(yè)之間山頭林立，從智能應(yīng)用、開(kāi)發(fā)框架、系統(tǒng)軟件、智能芯片，每層都有相關(guān)產(chǎn)品，但各層之間沒(méi)有深度適配，無(wú)法形成一個(gè)有競(jìng)爭(zhēng)力的技術(shù)體系。這一問(wèn)題應(yīng)如何解決？

張?jiān)迫篈I大模型已成為各國(guó)科技競(jìng)爭(zhēng)的戰(zhàn)略高地。要正面解決AI和算力領(lǐng)域發(fā)展面臨的各項(xiàng)困難和挑戰(zhàn)，找到一條發(fā)展主權(quán)級(jí)大模型的道路，非常重要。

從國(guó)際情況來(lái)看，2023年，英國(guó)創(chuàng)立“基礎(chǔ)模型工作組”，希望能擁有自己國(guó)家的“主權(quán)”人工智能技術(shù)，其公共服務(wù)也能夠從這種人工智能的轉(zhuǎn)型影響中受益。英偉達(dá)直接提出“主權(quán)AI”的概念，并將其定義為“一個(gè)國(guó)家利用自己的基礎(chǔ)設(shè)施、數(shù)據(jù)、勞動(dòng)力和商業(yè)網(wǎng)絡(luò)生產(chǎn)AI的能力”。

“主權(quán)AI ”涵蓋物理和數(shù)據(jù)基礎(chǔ)設(shè)施，后者就包括“主權(quán)級(jí)基礎(chǔ)大模型”——由當(dāng)?shù)貓F(tuán)隊(duì)開(kāi)發(fā)，并在當(dāng)?shù)財(cái)?shù)據(jù)集上進(jìn)行訓(xùn)練，以促進(jìn)對(duì)特定語(yǔ)言、文化和習(xí)俗的包容性。

“主權(quán)級(jí)基礎(chǔ)大模型”其實(shí)是一個(gè)動(dòng)態(tài)概念，指的是某一時(shí)期內(nèi)最高水平的大模型。這一大模型算力要求最高、智能水平最高，是一個(gè)國(guó)家AI水平的最高點(diǎn)、基礎(chǔ)大模型的基礎(chǔ)，也可以被稱為“根模型”。

對(duì)中國(guó)來(lái)說(shuō)，要立足國(guó)產(chǎn)算力平臺(tái)和智能芯片，推動(dòng)實(shí)現(xiàn)利用自己的基礎(chǔ)設(shè)施、數(shù)據(jù)、勞動(dòng)力和商業(yè)網(wǎng)絡(luò)發(fā)展AI的能力；要將發(fā)展“主權(quán)級(jí)大模型”和算力實(shí)體產(chǎn)業(yè)培育發(fā)展新質(zhì)生產(chǎn)力相結(jié)合，正面解決中國(guó)AI和算力領(lǐng)域發(fā)展面臨的關(guān)鍵問(wèn)題。