2024 年，企業(yè)在AI層面開始將重點從試驗轉(zhuǎn)向全面部署。這一轉(zhuǎn)變涉及將 AI 模型融入現(xiàn)有的企業(yè)基礎(chǔ)架構(gòu)，并在此過程中優(yōu)化系統(tǒng)的響應(yīng)速度、處理能力，同時加強(qiáng)日志管理、監(jiān)控和安全措施。這對于企業(yè)在開發(fā)人員專業(yè)技能、平臺和流程等層面提出了極大挑戰(zhàn)，特別是在擴(kuò)大規(guī)模尤為突出。
值此關(guān)鍵轉(zhuǎn)折點，NVIDIA NIM 和 NVIDIA AI Enterprise 應(yīng)時而生，為企業(yè)構(gòu)建 AI 支持的應(yīng)用程序并在生產(chǎn)環(huán)境中部署 AI 模型提供了一條更為簡潔的路徑。
傳統(tǒng)上，大型 AI 模型的部署需要數(shù)周時間，這對于希望快速迭代和實現(xiàn) AI 解決方案的企業(yè)來說是一個巨大的障礙。NIM 將部署時間從數(shù)周縮短到數(shù)分鐘，極大地提高了部署效率，使企業(yè)能夠迅速響應(yīng)市場變化和業(yè)務(wù)需求。
大規(guī)模的 AI 生產(chǎn)部署涉及復(fù)雜的系統(tǒng)配置和高級技能需求，這對許多企業(yè)來說是一大挑戰(zhàn)。NIM 通過提供預(yù)配置的微服務(wù)和抽象化的開發(fā)流程，簡化了技術(shù)復(fù)雜性，減少了對專業(yè)知識的依賴，使更多開發(fā)人員能夠參與 AI 項目。
將 AI 模型與現(xiàn)有企業(yè)基礎(chǔ)設(shè)施集成往往涉及復(fù)雜的系統(tǒng)調(diào)整和資源優(yōu)化問題。NIM 的設(shè)計考慮到了企業(yè)現(xiàn)有的技術(shù)棧，支持無縫集成，同時優(yōu)化性能指標(biāo)如系統(tǒng)延遲和吞吐量，確保 AI 部署的高效與兼容性。
AI 系統(tǒng)的運(yùn)行需要持續(xù)的監(jiān)控、維護(hù)和安全保障。NIM 作為 Nvidia AI Enterprise 的一部分，提供了強(qiáng)大的運(yùn)維工具和功能，簡化了這些任務(wù)的管理，降低了維護(hù)成本和復(fù)雜性。
在競爭激烈的市場中，快速推出新產(chǎn)品和服務(wù)是企業(yè)成功的關(guān)鍵。NIM 通過加速 AI 模型的部署和迭代，幫助企業(yè)縮短產(chǎn)品的研發(fā)周期和上市時間，提高市場競爭力。
NIM 專為可移植性和控制而設(shè)計,可實現(xiàn)從本地工作站到云到本地數(shù)據(jù)中心的各種基礎(chǔ)架構(gòu)的模型部署。這包括 NVIDIA DGX、NVIDIA DGX Cloud、NVIDIA 認(rèn)證系統(tǒng)、NVIDIA RTX 工作站和 PC。
包裝有優(yōu)化模型的預(yù)制容器和頭盔圖在不同的NVIDIA 硬件平臺,云服務(wù)提供商和 Kubernetes 發(fā)行版中進(jìn)行了嚴(yán)格驗證和基準(zhǔn)測試。這樣可以在所有 NVIDIA 支持的環(huán)境中提供支持,并確保組織可以在任何地方部署其生成的 AI 應(yīng)用程序,從而完全控制其應(yīng)用程序和所處理的數(shù)據(jù)。
開發(fā)人員可以通過符合每個領(lǐng)域的行業(yè)標(biāo)準(zhǔn)的API訪問AI模型,從而簡化了AI應(yīng)用程序的開發(fā)。這些API與生態(tài)系統(tǒng)內(nèi)的標(biāo)準(zhǔn)部署過程兼容,使開發(fā)人員可以快速更新其AI應(yīng)用程序—,而無需使用三行代碼。這種無縫集成和易用性有助于在企業(yè)環(huán)境中快速部署和擴(kuò)展AI解決方案。
NIM還通過關(guān)鍵功能解決了對特定領(lǐng)域解決方案和優(yōu)化性能的需求。它打包了特定于域的NVIDIA CUDA庫和針對各種域（例如語言,語音,視頻處理,醫(yī)療保健等）量身定制的專用代碼。這種方法可確保應(yīng)用程序準(zhǔn)確且與其特定用例相關(guān)。
NIM為每個模型和硬件設(shè)置利用優(yōu)化的推理引擎,為加速基礎(chǔ)架構(gòu)提供最佳的延遲和吞吐量。這樣可以減少推理工作量擴(kuò)展時的運(yùn)行成本,并改善最終用戶的體驗。除了支持優(yōu)化的社區(qū)模型外,開發(fā)人員還可以通過將模型與專有數(shù)據(jù)源對齊和微調(diào)來達(dá)到更高的準(zhǔn)確性和性能,這些專有數(shù)據(jù)源永遠(yuǎn)不會離開數(shù)據(jù)中心的邊界。
NIM是NVIDIA AI Enterprise的一部分,采用企業(yè)級基礎(chǔ)容器構(gòu)建,通過功能分支,嚴(yán)格的驗證,具有服務(wù)級別協(xié)議的企業(yè)支持以及CVE的定期安全更新,為企業(yè)AI軟件奠定了堅實的基礎(chǔ)。全面的支持結(jié)構(gòu)和優(yōu)化功能強(qiáng)調(diào)了NIM作為在生產(chǎn)中部署高效,可擴(kuò)展和定制的AI應(yīng)用程序的關(guān)鍵工具的作用。
NIM 微服務(wù)通過使用 NVIDIA 推理軟件支持的預(yù)構(gòu)建容器，如 Triton 推斷服務(wù)器(TM) 和 TensorRT(TM)-LLM，可將部署時間從原來的幾周縮短到幾分鐘。
在 NVIDIA API 目錄, 訪問可用于構(gòu)建和部署自己的 AI 應(yīng)用程序的各種 AI 模型。
使用圖形用戶界面直接在目錄中開始原型制作，或免費(fèi)與 API 直接交互。要在基礎(chǔ)架構(gòu)上部署微服務(wù),只需注冊即可 NVIDIA AI Enterprise 90 天評估許可證 并遵循一下四個步驟。
從 NVIDIA NGC 下載要部署的模型。
將下載的工件解壓縮到模型存儲庫中
使用所需的型號啟動NIM容器
部署 NIM 后,可以使用標(biāo)準(zhǔn) REST API 開始發(fā)出請求
此示例為單個A100 GPU構(gòu)建的Llama-2 7B模型的版本。
ngc registry model download-version "ohlfw0olaadg/ea-participants/llama-2-7b:LLAMA-2-7B-4K-FP16-1-A100.24.01"
如果有不同的GPU,則可以使用ngc注冊表模型列表列出該模型的可用版本：
ohlfw0olaadg/ea-participants/llama-2-7b:*
tar -xzf llama-2-7b_vLLAMA-2-7B-4K-FP16-1-A100.24.01/LLAMA-2-7B-4K-FP16-1-A100.24.01.tar.gz
docker run --gpus all --shm-size 1G -v $(pwd)/model-store:/model-store --net=host nvcr.io/ohlfw0olaadg/ea-participants/nemollm-inference-ms:24.01 nemollm_inference_ms --model llama-2-7b --num_gpus=1
import requests
endpoint = 'http://localhost:9999/v1/completions'
headers = {
'accept': 'application/json',
'Content-Type': 'application/json'
}
data = {
'model': 'llama-2-7b',
'prompt': "The capital of France is called",
'max_tokens': 100,
'temperature': 0.7,
'n': 1,
'stream': False,
'stop': 'string',
'frequency_penalty': 0.0
}
response = requests.post(endpoint, headers=headers, json=data)
print(response.json())
不久前的 GTC 上，NVIDIA 在 NIM 里選擇提供了二十幾個經(jīng)過其為其 GPU和推理優(yōu)化的大模型。包括 Nvidia 自己的、其他公司商用的和開放、開源的，文本的、語音的、圖像的和多模態(tài)的，通用的和一些垂直領(lǐng)域的模型.
NIM Containers在Amazon Sagemaker，Microsoft Azure和Google Kubernates Engine等主流云服務(wù)里。
NIM與Deepset.ai的Haystack，Langchain和LlamaIndex集成。通過這些框架，可實現(xiàn)易于使用、自定義、擴(kuò)展、優(yōu)化、評估并最終部署到生產(chǎn)中的可組合人工智能系統(tǒng)。
NIM中提供的模型，分別來自于Nvidia、A121、Adept、Cohere、Getty Images、Shutterstock、Google、Hugging Face、Meta、Microsoft、Mistral AI和Stability AI等公司。
Box、Cloudera、Cohesity、Datastax、Dropbox、NetApp和Snowflake等與NVIDIA微服務(wù)合作，幫助客戶優(yōu)化其RAG管道，并將其專有數(shù)據(jù)集成到生成的AI應(yīng)用程序中。
Nvidia AI企業(yè)微服務(wù)正在進(jìn)入基礎(chǔ)設(shè)施軟件平臺，包括VMware Private AI Foundation，紅帽O(jiān)penShift，Canonical，幫助企業(yè)更輕松地將生成性人工智能功能集成到應(yīng)用程序中，并優(yōu)化安全性、合規(guī)性和控制功能。
Nvidia由數(shù)百個AI和MLOps合作伙伴組成的生態(tài)系統(tǒng)，包括Abridge、Anyscale、Dataiku、DataRobot、Glean、H2O.ai、Securiti AI、Scale AI、OctoAI和Weights & Biases，通過NVIDIA AI Enterprise增加對NVIDIA微服務(wù)的支持。
Apache Lucene、Datastax、Faiss、Kinetica、Milvus、Redis和Weaviate是與Nvidia NeMo Retriever微服務(wù)合作的向量搜索提供商，為企業(yè)提供響應(yīng)式RAG功能。
超過400個Nvidia認(rèn)證系統(tǒng)也支持NVIDIA微服務(wù)，包括來自思科、戴爾技術(shù)、惠普企業(yè)（HPE）、惠普、聯(lián)想和Supermicro的服務(wù)器和工作站，和用于生成AI的企業(yè)計算解決方案中。
京公網(wǎng)安備 11010802021500號