
NVIDIA於GTC 2024推出數十種企業級生成式AI人工智慧微服務,企業可以使用這些服務在自己的平台上建立及部署客製化的應用程式,同時又保留完全持有和控制自有智慧財產權的權利。建立在NVIDIA CUDA平台上的雲端原生微服務目錄,其中包括NVIDIA NIMTM微服務,用於對NVIDIA及其合作夥伴生態系統中的二十多種熱門AI模型提供最佳的推論結果。NVIDIA的加速軟體開發套件、函式庫及工具現在還能作為NVIDIA CUDA-X微服務開放使用,用於檢索增強生成(RAG)、Guardrails、資料處理、高效能運算(HPC)等作業。開發人員可以在ai.nvidia.com網站免費試用NVIDIA微服務。
經過精心挑選的微服務又為NVIDIA全端運算平台加入了一個新的層面。這一層以標準化的路徑連接了由模型開發人員、平台提供商和企業組成的AI生態系統,以運行針對在雲端、資料中心、工作站和PC中安裝的上億個NVIDIA CUDA GPU進行最佳化調整的客製化AI模型。Adobe、Cadence、CrowdStrike、Getty Images、SAP、ServiceNow和Shutterstock是首批使用NVIDIA AI Enterprise 5.0中提供之全新NVIDIA生成式AI微服務的主要應用程式、資料和網路安全平台提供商。
NVIDIA創辦人暨執行長黃仁勳表示:「成熟的企業平台坐擁資料金礦,這些資料可以變成生成式人工智慧的輔助夥伴(Copilot)。這些與我們的合作夥伴生態系統共同打造的容器化人工智慧微服務,是各行各業的企業成為人工智慧公司的基石。」
NIM推論微服務將部署時間從數週縮短至只要數分鐘即可完成
NIM微服務提供由NVIDIA推論軟體(包括Triton Inference ServerTM和TensorRTTM-LLM)驅動的預先建置容器,使得開發人員能夠將部署時間從原本的數週縮短到幾分鐘。這些微服務為語言、語音和藥物發現等領域提供了符合產業標準的應用程式介面(API),讓開發人員能夠使用安全託管在自己基礎設施中的專有資料快速開發人工智慧應用程式。這些應用程式可以依使用需求調整規模,為在NVIDIA加速運算平台上運行生成式人工智慧提供了絕佳的靈活性和效能。
NIM微服務為部署NVIDIA、A121、Adept、Cohere、Getty Images和Shutterstock的模型,以及Google、Hugging Face、Meta、Mistral AI和Stability AI的開放模型,提供了速度最快、執行效能最高的生產型AI容器,不久還將支援微軟的模型。ServiceNow宣布該公司正在使用NIM,以更快的速度與更高的成本效益開發和部署全新特定領域的AI輔助夥伴,還有其他生成式AI應用程式。客戶將能夠從Amazon SageMaker、Google Kubernetes Engine與Microsoft Azure AI使用NIM微服務,並且與Deepset、LangChain和LlamaIndex等熱門的AI框架進行整合。
用於RAG、資料處理、Guardrails、高效能運算的CUDA-X微服務
CUDA-X微服務為資料準備、客製化和訓練提供端到端的建構模組,以加快各行各業開發生產型人工智慧的速度。企業可以使用多項CUDA-X微服務,包括用於可自訂語音和翻譯AI的NVIDIA Riva、用於設定最佳路徑的NVIDIA cuOpt,以及用於高解析度氣候和天氣模擬的NVIDIA Earth-2,以加快採用AI的腳步。
開發人員可以透過NeMo Retriever微服務,串連AI應用程式與文字、圖片,以及長條圖、折線圖和圓餅圖等視覺化資料等業務資料,以產生出高度準確又與語境脈絡相關的回應。有了這些RAG功能,企業就能為AI輔助夥伴、聊天機器人和生成式人工智慧生產力工具提供更多資料,以提高準確性和獲得更寶貴的見解。
NVIDIA不久後將推出用於開發客製化模型的其他NVIDIA NeMo微服務。這些服務包括針對建立用於訓練和檢索之簡潔資料集的NVIDIA NeMo Curator、用於利用特定領域資料微調LLM大型語言模型的NVIDIA NeMo Customizer、用於分析人工智慧模型效能的NVIDIA NeMo Evaluator,以及用於LLM的NVIDIA NeMo Guardrails。
生態系統利用生成式人工智慧微服務增強企業平台
除了主要的應用程式提供商,整個NVIDIA生態系統中的資料、基礎架構和運算平台提供商同樣與NVIDIA微服務合作,將生成式AI帶給企業使用。包括Box、Cloudera、Cohesity、Datastax、Dropbox、NetApp及Snowflake在內的領先資料平台提供商正在與NVIDIA微服務合作,協助客戶將其RAG管道調整最佳狀態,並將其專有資料與生成式人工智慧應用程式進行整合。Snowflake透過NeMo Retriever來利用企業數據構建AI應用。
企業可以在自己選擇的基礎架構上部署NVIDIA AI Enterprise 5.0所包含的NVIDIA微服務,例如Amazon Web Services(AWS)、Google Cloud、Azure和Oracle Cloud Infrastructure等主要雲端運算平台。NVIDIA微服務還支援400多個400 NVIDIA認證系統,包括思科、戴爾科技集團、慧與科技、惠普、聯想及美超微等公司所推出的伺服器和工作站。慧與科技今天另宣布推出用於生成式人工智慧的企業運算解決方案,並且將把NIM和NVIDIA AI Foundation模型納入慧與科技的人工智慧軟體。
NVIDIA AI Enterprise微服務即將加入基礎架構軟體平台,包括與NVIDIA合作的VMware Private AI Foundation。Red Hat OpenShift支援NVIDIA NIM微服務,協助企業更輕鬆地將生成式人工智慧功能與應用程式進行整合,並且獲得最高的安全性、合規性和控制功能。Canonical正透過NVIDIA AI Enterprise為NVIDIA微服務加入支援Charmed Kubernetes的能力。
NVIDIA生態系統由數百家人工智慧和MLOps合作夥伴組成,其中包括Abridge、Anyscale、Dataiku、DataRobot、Glean、H2O.ai、Securiti AI、Scale.ai、OctoAI及Weights & Biases,它們將透過NVIDIA AI Enterprise來加入支援NVIDIA微服務。Apache Lucene、Datastax、Faiss、Kinetica、Milvus、Redis和Weaviate等向量搜尋提供商與NVIDIA NeMo Retriever微服務合作,為企業提供反應靈敏的RAG功能。
延伸閱讀:
皮衣哥兆男黃仁勳領軍的NVIDIA推出Blackwell平台迎接AI運算新時代
[USB-C宇宙] iPhone 15 Pro × SanDisk Extreme Portable SSD行動固態硬碟開箱動手玩
vivo X100 Pro超強蔡司長焦微距攝影手機開箱動手玩
Dyson推出創新洗地科技WashG1雙驅四刷無線洗地機