邊緣計(jì)算的AI算力一般用于AI推理場(chǎng)景

高性能計(jì)算一般指以科學(xué)計(jì)算和仿真設(shè)計(jì)為主要場(chǎng)景的集群；智算通常指以人工智能為主要應(yīng)用場(chǎng)景的集群，同時(shí)也可能會(huì)包含高性能計(jì)算

大規(guī)模GPU在單機(jī)內(nèi)部多卡之間目前使用NVlink互聯(lián)，多個(gè)節(jié)點(diǎn)間目前使用8張400Gb IB卡互聯(lián)，GPU卡和IB卡配比為1:1。調(diào)度現(xiàn)在主要使用HPC的調(diào)度器，以slurm為主。

生物芯片目前可能更多還是在實(shí)驗(yàn)室階段，未來(lái)值得持續(xù)關(guān)注和期待。

云計(jì)算與大模型兩種應(yīng)用對(duì)資源需求是相反的，云計(jì)算是將1張GPU卡共享給很多人用，大模型是用很多張卡整合起來(lái)來(lái)計(jì)算一個(gè)任務(wù)。大模型對(duì)性能和穩(wěn)定性要求極高，比如要求400Gb的IB互聯(lián)，而云計(jì)算一般會(huì)選用通用產(chǎn)品。一般情況下，云計(jì)算很難達(dá)到大模型的性能要求。

GPU集群管理有一些免費(fèi)的工具如Slurm，K8S, 我們可以提供商業(yè)軟件的解決方案，需要額外的軟件付費(fèi)

提升算力效率可以優(yōu)化的地方是比較多的，比如提高GPU服務(wù)器內(nèi)部的散熱，使GPU可以工作在最佳狀態(tài)；提高GPU內(nèi)部與外部通信性能；提升AI數(shù)據(jù)存儲(chǔ)的I/O性能，以避免GPU集群出現(xiàn)存儲(chǔ)瓶頸。

我們認(rèn)為這兩種方式未來(lái)是會(huì)并行的，主要取決于企業(yè)對(duì)于數(shù)據(jù)與業(yè)務(wù)安全管理的規(guī)定，以及業(yè)務(wù)對(duì)于吞吐和延遲的要求 等。

我們目前可以提供針對(duì)CPU與GPU算力的統(tǒng)一管理與資源調(diào)度。

集群調(diào)優(yōu)首先要保證CPU、GPU、內(nèi)存、網(wǎng)絡(luò)和存儲(chǔ)的性能指標(biāo)是合理的、正常的范圍，如果判斷是性能異常，可以從BIOS、固件、拓?fù)涞确矫婵紤]去調(diào)整。比如舉內(nèi)存帶寬的例子，intel的6400系列處理器是有6條內(nèi)存通道，因此我們單機(jī)雙路服務(wù)器，一定要把12條內(nèi)存通道占滿，才能保障內(nèi)存帶寬，所以12條16GB內(nèi)存與6條32GB的內(nèi)存性能是不一樣的。運(yùn)行一段時(shí)間后的調(diào)優(yōu)一個(gè)是保障硬件各個(gè)部件本身性能正常，另外要關(guān)注散熱問(wèn)題，比如停機(jī)后第一次測(cè)試性能正常，但是多測(cè)幾次可能就性能下降了

AI大模型目前比較集中的落地方向包括：AI圖像生成、基于AI大模型的知識(shí)管理與知識(shí)查詢、AI代碼生成、智能客服等。這些領(lǐng)域開(kāi)源框架與提供商業(yè)服務(wù)的AI公司相對(duì)比較多。

Dell目前主要關(guān)注在面向AI的基礎(chǔ)架構(gòu)平臺(tái)解決方案，特別是針對(duì)AI生命周期的數(shù)據(jù)管理，針對(duì)數(shù)據(jù)加載、治理、訓(xùn)練、推理不同階段提供多協(xié)議支持、性能與容量擴(kuò)展性支持、應(yīng)用透明的分層存儲(chǔ)方案與數(shù)據(jù)保護(hù)方案。

如何區(qū)分是硬件性能還是模型效率的問(wèn)題？首先是要確保硬件本身性能正常之后，再去調(diào)試模型。當(dāng)然也有可能是硬件和模型交替調(diào)試，比如最開(kāi)始的硬件架構(gòu)設(shè)計(jì)與應(yīng)用場(chǎng)景不匹配，雖然保障了硬件性能，但是運(yùn)行模型的時(shí)候，有很大瓶頸，這時(shí)候可能也要調(diào)整硬件的架構(gòu)

建議自建HPC系統(tǒng)在集群軟件的選擇上，選擇可以對(duì)接多個(gè)超算云的集群軟件，以本地的資源使用為主，資源不夠用時(shí)調(diào)度到超算云平臺(tái)上。

對(duì)于AI數(shù)據(jù)中心端的GPU分布式訓(xùn)練，我們會(huì)建議：1）采用共享集中式存儲(chǔ)訓(xùn)練數(shù)據(jù)、過(guò)程數(shù)據(jù)與結(jié)果文件，以提供更好的存儲(chǔ)可用性；2）對(duì)于共享存儲(chǔ)進(jìn)行更完善的自身可靠性機(jī)制，以及專業(yè)數(shù)據(jù)備份保護(hù)解決方案。對(duì)于分布在邊緣節(jié)點(diǎn)的數(shù)據(jù)，Dell今年推出了Dell NativeEdge平臺(tái)，采用零信任安全機(jī)制，保障企業(yè)用戶邊緣部署、應(yīng)用和數(shù)據(jù)處于安全保障當(dāng)中。

選用什么樣的架構(gòu)，要根據(jù)應(yīng)用的特征才分析和選型，一切以應(yīng)用為核心。應(yīng)用的特征主要有CPU計(jì)算型，GPU計(jì)算型，大IO類型，網(wǎng)絡(luò)密集型，大內(nèi)存類型等，不同的應(yīng)用特征決定了不同的選型和架構(gòu)。常見(jiàn)的服務(wù)器選型有：2路的CPU服務(wù)器，4路或者8路的大內(nèi)存的胖節(jié)點(diǎn)，單卡、4卡、8卡等各種配置的GPU服務(wù)器；網(wǎng)絡(luò)選型有IB、萬(wàn)兆網(wǎng)、100Gb以太等。

集群要長(zhǎng)期維持高性能運(yùn)轉(zhuǎn)，部署和運(yùn)維是非常需要經(jīng)驗(yàn)的，我們也會(huì)有一些成熟的方案，但要想保障每一套集群的性能最優(yōu)，一定會(huì)根據(jù)每套集群的硬件、系統(tǒng)和應(yīng)用再進(jìn)行優(yōu)化。

我們現(xiàn)在有冷板式和浸沒(méi)式液冷兩種液冷的實(shí)現(xiàn)方式。

需要看具體的應(yīng)用。

我們目前在國(guó)內(nèi)有行業(yè)合作伙伴可以提供一些具體AI大模型場(chǎng)景的模型精調(diào)和部署服務(wù)。