影響AI應(yīng)用效果的核心技術(shù)包括：AI模型的選型及調(diào)優(yōu)；高質(zhì)量的數(shù)據(jù)采集及數(shù)據(jù)治理；高效能的、支持AI工程化部署和擴(kuò)容的AI基礎(chǔ)設(shè)施平臺(tái)；行業(yè)領(lǐng)域知識(shí)積淀等。

Dell AI-First戰(zhàn)略目標(biāo)是幫助企業(yè)用戶通過(guò)預(yù)驗(yàn)證的AI解決方案體系，更快速、更高效地實(shí)現(xiàn)AI應(yīng)用的工程化落地，從而借助AI技術(shù)幫助企業(yè)用戶加速數(shù)字化轉(zhuǎn)型進(jìn)程。

過(guò)往我們已經(jīng)看到很多企業(yè)用戶借助AI技術(shù)和Dell AI解決方案，實(shí)現(xiàn)AI應(yīng)用的場(chǎng)景化落地，幫助企業(yè)用戶實(shí)現(xiàn)降本增效，比如制造行業(yè)用戶通過(guò)AI技術(shù)實(shí)現(xiàn)工業(yè)產(chǎn)品質(zhì)檢、行業(yè)知識(shí)庫(kù)搭建、工藝參數(shù)優(yōu)化、預(yù)測(cè)性維護(hù)等；零售行業(yè)用戶通過(guò)AI技術(shù)實(shí)現(xiàn)精準(zhǔn)營(yíng)銷、商品智能識(shí)別分類與貨損防護(hù)；金融行業(yè)用戶將AI技術(shù)應(yīng)用于保險(xiǎn)理賠、風(fēng)控、算法交易等領(lǐng)域。

Dell AI-First技術(shù)戰(zhàn)略包含基礎(chǔ)設(shè)施、數(shù)據(jù)、開放生態(tài)、服務(wù)、應(yīng)用場(chǎng)景用例等多個(gè)維度，在AI基礎(chǔ)設(shè)施涉及的領(lǐng)域包含AI異構(gòu)計(jì)算、非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)、網(wǎng)絡(luò)、數(shù)據(jù)保護(hù)、數(shù)據(jù)中心基礎(chǔ)設(shè)施，以及前端AI PC、AI工作站等。全棧式AI解決方案，涉及到IT基礎(chǔ)設(shè)施領(lǐng)域的很多組件，只有經(jīng)過(guò)有效的整合、適配和預(yù)驗(yàn)證工作，才能幫助企業(yè)在構(gòu)建AI平臺(tái)的進(jìn)程中減少工程化的困難和挑戰(zhàn)。

AI時(shí)代，特別是針對(duì)LLM的預(yù)訓(xùn)練/微調(diào)和推理部署，在IT系統(tǒng)層面，需要應(yīng)對(duì)的挑戰(zhàn)和改變包括但不限于：1）AI應(yīng)用所消耗的計(jì)算力呈現(xiàn)指數(shù)級(jí)增長(zhǎng)，更大規(guī)模的AI異構(gòu)計(jì)算平臺(tái)的部署與運(yùn)維；2）AI計(jì)算從單機(jī)計(jì)算向大規(guī)模分布式訓(xùn)練的轉(zhuǎn)化；3）AI訓(xùn)練及推理過(guò)程中海量非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)與數(shù)據(jù)保護(hù)；4）AI分布式訓(xùn)練過(guò)程中對(duì)多機(jī)通信的帶寬壓力；5）高功耗的GPU加速服務(wù)器需要進(jìn)行數(shù)據(jù)中心基礎(chǔ)設(shè)施的供電、散熱及承重的重新設(shè)計(jì)。

支撐AI應(yīng)用開發(fā)與模型訓(xùn)練的數(shù)據(jù)準(zhǔn)備；AI平臺(tái)的快速搭建、快速投產(chǎn)。

AI在不同行業(yè)的應(yīng)用場(chǎng)景是比較多元的，有一些通用的場(chǎng)景如人臉識(shí)別、智能視頻分析、智能客服、對(duì)話式機(jī)器人、行業(yè)知識(shí)庫(kù)等，更多的是與行業(yè)領(lǐng)域結(jié)合的行業(yè)應(yīng)用場(chǎng)景，比如金融行業(yè)的算法交易、智能風(fēng)控、智能閃賠；制造行業(yè)的產(chǎn)品質(zhì)檢、工藝參數(shù)優(yōu)化、自動(dòng)化排產(chǎn)；零售行業(yè)的無(wú)人貨架、智能稱重、商品識(shí)別、精準(zhǔn)營(yíng)銷等；醫(yī)療/法律領(lǐng)域的專業(yè)知識(shí)問(wèn)答機(jī)器人、專業(yè)文案生成等。

我們寄希望通過(guò)全棧式的AI平臺(tái)解決方案，幫助企業(yè)用戶縮短AI應(yīng)用的開發(fā)周期，更快投產(chǎn)，更快實(shí)現(xiàn)業(yè)務(wù)成效。

我們認(rèn)為可以從幾個(gè)不同的維度來(lái)進(jìn)行成熟度評(píng)估：人員，包括掌握AI技術(shù)的人力儲(chǔ)備及技術(shù)經(jīng)驗(yàn)；數(shù)據(jù)，用于支撐AI應(yīng)用開發(fā)和模型迭代的數(shù)據(jù)量及數(shù)據(jù)質(zhì)量；用例，AI應(yīng)用場(chǎng)景的選型、技術(shù)實(shí)現(xiàn)的難度、AI應(yīng)用效果的預(yù)期等。

現(xiàn)代化的AI數(shù)據(jù)中心的硬件組件，包括AI異構(gòu)計(jì)算平臺(tái)、AI數(shù)據(jù)存儲(chǔ)平臺(tái)、網(wǎng)絡(luò)通信平臺(tái)、集群管理與資源調(diào)度軟件平臺(tái)、AI數(shù)據(jù)中心基礎(chǔ)設(shè)施等。

HPC在AI數(shù)據(jù)中心的應(yīng)用場(chǎng)景，主要在AI模型預(yù)訓(xùn)練和大規(guī)模微調(diào)場(chǎng)景，通過(guò)多機(jī)并行實(shí)現(xiàn)AI GPU分布式訓(xùn)練，硬件層面需要高效能的網(wǎng)絡(luò)和I/O存儲(chǔ)設(shè)備支持，軟件層面需要在框架軟件或者加速庫(kù)軟件針對(duì)AI模型機(jī)制進(jìn)行集群邏輯拓?fù)浜屯ㄐ艡C(jī)制的優(yōu)化，如當(dāng)前廣泛使用的NVIDIA NCCL、DeepSpeed正在做的工作，以提升GPU分布式訓(xùn)練過(guò)程中的實(shí)際并行加速效率。

目前在AI計(jì)算中，GPU是使用最為廣泛的加速技術(shù)，而GPU屬于高功耗的部件，配套GPU服務(wù)器以及數(shù)據(jù)中心冷卻系統(tǒng)，包括智能風(fēng)冷，以及液冷技術(shù)（冷板式/浸沒(méi)式），針對(duì)不同功耗、不同密度的GPU計(jì)算硬件，設(shè)計(jì)針對(duì)性的冷卻解決方案。

Dell在過(guò)去4代PowerEdge服務(wù)器平臺(tái)上，都有專門針對(duì)GPU設(shè)計(jì)的服務(wù)器機(jī)型。在這些機(jī)型上，針對(duì)服務(wù)器的供電、散熱設(shè)計(jì)，以及GPU之間的通信機(jī)制，iDRAC帶外管理面向GPU的實(shí)時(shí)監(jiān)控，都與通用的x86服務(wù)器有所不同。Dell目前可以支持NVIDIA、AMD、Intel等廠商的AI加速技術(shù)。

算力層面，通過(guò)橫向擴(kuò)展的GPU計(jì)算集群，多機(jī)GPU分布式訓(xùn)練，提供更高的計(jì)算性能，目前在大規(guī)模AI模型訓(xùn)練中都在采用這樣的架構(gòu)技術(shù)。存儲(chǔ)層面，需要采用橫向擴(kuò)展的并行或者分布式存儲(chǔ)架構(gòu)，以實(shí)現(xiàn)更高的存儲(chǔ)帶寬和容量擴(kuò)展，同時(shí)在存儲(chǔ)協(xié)議支持、多租戶支持、動(dòng)態(tài)數(shù)據(jù)存儲(chǔ)訪問(wèn)特性上，需要做更全面的技術(shù)支持。

我們會(huì)把AI數(shù)據(jù)中心的關(guān)鍵組件，以四個(gè)漢字概括：算、網(wǎng)、存、管。

提升單端口的通道帶寬；提高單臺(tái)AI計(jì)算服務(wù)器網(wǎng)口與AI加速卡的配比；通過(guò)GPU Direct RDMA技術(shù)降低通信延遲；軟件和模型層面優(yōu)化數(shù)據(jù)并行與模型并行的通信機(jī)制。提升單端口的通道帶寬；提高單臺(tái)AI計(jì)算服務(wù)器網(wǎng)口與AI加速卡的配比；通過(guò)GPU Direct RDMA技術(shù)降低通信延遲；軟件和模型層面優(yōu)化數(shù)據(jù)并行與模型并行的通信機(jī)制。通過(guò)對(duì)無(wú)損網(wǎng)絡(luò)的支持，解決基于流的擁塞控制和流量均衡。提升單端口的通道帶寬；提高單臺(tái)AI計(jì)算服務(wù)器網(wǎng)口與AI加速卡的配比；通過(guò)GPU Direct RDMA技術(shù)降低通信延遲；軟件和模型層面優(yōu)化數(shù)據(jù)并行與模型并行的通信機(jī)制。提升單端口的通道帶寬；提高單臺(tái)AI計(jì)算服務(wù)器網(wǎng)口與AI加速卡的配比；通過(guò)GPU Direct RDMA技術(shù)降低通信延遲；軟件和模型層面優(yōu)化數(shù)據(jù)并行與模型并行的通信機(jī)制。通過(guò)對(duì)無(wú)損網(wǎng)絡(luò)的支持，解決基于流的擁塞控制和流量均衡。

存儲(chǔ)系統(tǒng)層面，需要更好的支持多租戶的實(shí)現(xiàn)機(jī)制；同時(shí)，在系統(tǒng)管理平臺(tái)軟件層面，需要對(duì)用戶角色、資源訪問(wèn)權(quán)限、數(shù)據(jù)訪問(wèn)權(quán)限，做更精細(xì)化地設(shè)置與管理。

AI與邊緣計(jì)算的結(jié)合，是目前AI技術(shù)應(yīng)用的一個(gè)熱點(diǎn)和趨勢(shì)，讓AI技術(shù)更快速響應(yīng)業(yè)務(wù)，降低網(wǎng)絡(luò)通信壓力。在邊緣場(chǎng)景實(shí)現(xiàn)AI技術(shù)，可能需要比數(shù)據(jù)中心場(chǎng)景，需要做更多的AI模型輕量化工作（如模型量化、壓縮、剪枝等），配套AI模型應(yīng)用的硬件平臺(tái)可能也需要對(duì)部署環(huán)境有更強(qiáng)的適應(yīng)能力（如機(jī)箱尺寸、溫度濕度等環(huán)境適應(yīng)能力）。

需要要求AI數(shù)據(jù)中心的各個(gè)組件，包括網(wǎng)絡(luò)架構(gòu)、存儲(chǔ)架構(gòu)、機(jī)房設(shè)施硬件架構(gòu)等，在設(shè)計(jì)之出就要有充分的可擴(kuò)展性，這也是Dell AI-First技術(shù)藍(lán)圖和參考架構(gòu)的價(jià)值所在。

Dell和NVIDIA是全球戰(zhàn)略合作伙伴，在Dell AI-First技術(shù)戰(zhàn)略藍(lán)圖中，與NVIDIA的技術(shù)合作是非常重要的環(huán)節(jié)。包括NVIDIA AI軟件套件包NVIDIA AI Enterprise，是Dell AI解決方案重要的軟件組件部分。Dell PowerScale數(shù)據(jù)存儲(chǔ)系統(tǒng)，今年年初通過(guò)了NVIDIA SuperPOD的官方存儲(chǔ)認(rèn)證，是業(yè)界首款基于以太網(wǎng)的SuperPOD存儲(chǔ)認(rèn)證系統(tǒng)。Dell計(jì)算平臺(tái)，提供對(duì)NVIDIA全系列數(shù)據(jù)中心GPU的選型支持。

AI factory和多租戶的AI數(shù)據(jù)中心主要是場(chǎng)景不同，AI factory主要專注于基座大模型的預(yù)訓(xùn)練和定制化大模型的微調(diào)，而多租戶的AI數(shù)據(jù)中心面向需求更廣泛些。美國(guó)的主要基座大模型startup基本都是租用云服務(wù)商的基礎(chǔ)設(shè)施，AI factory在物理隔離上要簡(jiǎn)單些。

首先，Dell AI Factory是一套預(yù)驗(yàn)證的解決方案架構(gòu)，各個(gè)軟件組件是經(jīng)過(guò)預(yù)先測(cè)試和驗(yàn)證的，以保證版本之間的軟件兼容性；另外，Dell也可以提供如PowerAnsible 實(shí)現(xiàn)快速部署和自動(dòng)化運(yùn)維的軟件工具包。

通過(guò)rail或spine+leaf的網(wǎng)絡(luò)架構(gòu)，采用高密度400G.或800G交換機(jī)，400G到GPU server的連接，來(lái)增加帶寬實(shí)現(xiàn)高速互聯(lián)

通過(guò)RoCE V2，cut through switching，dynamic routing，基于流的擁塞控制和流量均衡來(lái)降低延遲和提高網(wǎng)絡(luò)帶寬效能

在AI fabric 的scalability方面，通過(guò)Rail或spine+leaf的兩層甚至三層架構(gòu)，來(lái)支持大規(guī)模GPU cluster

AI工廠不是指專注某些特殊應(yīng)用，很多客戶由于各種原因無(wú)法使用GPU多租戶的方式，選擇自建AI工廠

Dell的Broadcom Tomahawak4或5的400G，800G交換機(jī)加上SONiC 的OS對(duì)AI的支持，可以實(shí)現(xiàn)8000GPU以內(nèi)的fabric需求