NVIDIA的RTX AI平台包含了各種工具和軟體開發套件，可協助Windows開發者打造尖端的生成式AI人工智慧功能，在AI PC和工作站上締造最佳效能。NVIDIA年度技術大會GTC匯集業界頂尖人才，傑出的專家、開發者和研究者齊聚一堂、彼此學習，將AI和加速運算推向新時代。《解碼AI》推出GTC特別報導，聚焦於目前市場上最優秀的AI工具，展望1億名RTX PC和工作站使用者與開發者的未來發展。

有了Chat with RTX，這一技術展示暨開發者參照專案，使用者可輕鬆快速地將強大的LLM大型語言模型與自己的數據資料建立連結。本次GTC展場已有展示其最新功能和新模型。RTX PC生成式AI競賽的優勝者名單已於3/18揭曉。生成式AI演講廳其中一場「解碼AI 」講座重點介紹了OutlookLLM、Rocket League BotChat和CLARA，三者均採用NVIDIA TensorRT-LLM加速技術。另外兩場「解碼AI 」講座的主題，則包含在內容創作中使用生成式AI，並且深入探討Chat with RTX。

隨著Jan.ai、Langchain、LlamaIndex和Oobabooga即將開始採用加速技術，採用TensorRT-LLM整合的開發者框架和介面也不斷成長，進而讓目前超過500個應用於RTX PC和工作站的AI應用程式持續壯大。NVIDIA NIM微服務即將支援RTX PC和工作站，可提供預先建構的容器和符合業界標準的API，讓開發者能加速處理RTX PC和工作站上的部署作業。NVIDIA AI Workbench是簡單易上手的開發者工具套件，可管理AI模型的客製化和最佳化工作流程，現已公開發行供RTX開發者使用。這些生態系的整合功能和各種工具的應用，會加快全新Windows應用程式和功能的開發速度。在本次競賽的獲勝作品提供了這些內容未來樣貌的一瞥，令人鼓舞。

多聽、多看、多聊聊

Chat with RTX，簡稱為ChatRTX，採用檢索增強生成技術、NVIDIA TensorRT-LLM軟體和NVIDIA RTX加速功能，可將本機生成式AI的各種功能賦予採用RTX的Windows系統。使用者能以資料集的形式，將本機檔案快速輕鬆地連結到開放式大型語言模型，如Mistral或Llama 2，快速獲得符合情境的查詢結果。

ChatRTX未來亦將不再侷限於文字，不久後即將支援語音、影像和新模型。使用者將能透過Whisper自動語音辨識系統與ChatRTX對話，Whisper會使用AI來處理口語內容。推出此功能後，ChatRTX將能「理解」口語内容並以文字反應。

將來也會透過更新，加入相片支援功能。待整合OpenAI的CLIP（對比語言影像預先訓練，Contrastive Language-Image Pre-training）後，便能讓使用者在私人媒體庫中依單字、詞語或片語搜尋相片。除了Google的Gemma外，接下來的更新中也將會支援ChatGLM。開發者可以先從GitHub上最新版本的開發者參照專案著手開始使用。

笑傲生成式AI競賽

NVIDIA RTX的NVIDIA生成式AI開發者競賽要求開發者製作Windows應用程式或外掛程式。參賽作品的三項評分標準包括：在社群媒體上發表的示範短片、專案的相對影響力和易用性，以及專案中NVIDIA技術堆疊的運用成效。三位獲獎者皆收到了GTC的通行證，包括NVIDIA深度學習機構的生成式AI和大型語言模型課程的名額；還獲得了一張GeForce RTX 4090顯示卡，作為未來開發工作的助力。

OutlookLLM為Outlook使用者提供了生成式AI功能，例如撰寫電子郵件。透過TensorRT-LLM提供的本機大型語言模型，使用者可在RTX PC和工作站上，安全隱密地在電子郵件用戶端中寫信。該服務使用透過TensorRT-LLM提供的本機大型語言模型。

「Rocket League BotChat」是熱門遊戲《火箭聯盟（Rocket League）》的外掛程式，可讓機器人根據遊戲的事件記錄檔，例如得分或救球等，傳送情境式的遊戲內聊天訊息。此外掛程式設計為僅限用於機器人當對手的離線遊戲，可透過設定選單以多種方式設定。

《火箭聯盟》BotChat開發者Brian Caffey表示：「由於機器人對手會以近乎即時的速度，透過遊戲內的訊息來回應遊戲事件，因此我發現這讓遊戲增加了全新境界的娛樂性。我很期待能在參加開發者競賽時，跟大家分享我是如何將AI融入遊戲之中。我的專案目標客群是以RTX硬體玩《火箭聯盟》的所有玩家。」

CLARA是「搭載RTX加速的命令列輔助功能（Command Line Assistant with RTX Acceleration）」的簡稱，可將簡單的英文指示轉換成可執行的命令，藉此強化PowerShell的命令列介面。此延伸模組可快速在本機執行，讓使用者可以持續處於在PowerShell環境中。啟用後，使用者只需輸入英文指示並按下tab按鈕，即可呼叫CLARA，其安裝方式非常簡單明瞭，可選擇使用指令碼形式或者手動設定。

加速生態系

Blackmagic Design和Topaz Labs等頂尖的創作應用程式開發商，已在各自的軟體中整合RTX AI加速功能。DaVinci Resolve和Topaz應用程式透過TensorRT，讓轉描、降噪、超解析度和影片穩定等AI效果的速度得以加倍運作。

Blackmagic Design軟體開發總監Rohit Gupt表示：「Blackmagic Design和NVIDIA持續合作，以求在RTX AI PC上執行AI模型以開創新一波的突破性功能，讓使用者有能力用更快的速度創作出魅力無窮、令人身臨其境的內容。」

TensorRT-LLM將與熱門的開發者框架和生態系整合，例如LangChain、LlamaIndex、Oobabooga和Jan.AI。開發者和愛好者可透過各種頂尖的大型語言模型框架，輕鬆獲得TensorRT-LLM帶來的效能優勢，打造生成式AI應用程式並部署到本機和雲端GPU。 愛好者也能透過Oobabooga和Jan.AI的聊天介面，利用RTX系統上的TensorRT-LLM加速技術，嘗試他們愛用的大型語言模型。

NIM技術帶來靈敏快速的AI

開發者和修補人員都能活用NIM微服務的力量。NIM微服務是預先建置的AI「容器」，採用業界標準API，可提供最佳化解決方案，有助於將部署時間從數週縮短至數分鐘。可搭配NVIDIA、Getty Images、Google、Meta、Microsoft、Shutterstock等超過20種熱門模型使用。 NVIDIA AI Workbench現已公開發行，可協助開發者在RTX GPU上快速建立、測試和客製化預先訓練的生成AI模型和大型語言模型，還能更順暢地存取Hugging Face、GitHub和NVIDIA NGC等熱門儲存庫，使用者介面也更為簡化，方便開發者輕鬆複製、協作和移轉專案。

無論是資料中心、公有雲還是NVIDIA DGX Cloud，只要專案需要更多效能，都可以輕鬆擴充專案規模，再將專案帶回PC或工作站上的本機RTX系統，處理推論和光線自訂工作。AI Workbench開放免費下載，也提供了範例專案協助開發者快速入門。所有這些工具，以及在GTC上發表和展示的其他工具，都能協助開發者推動AI解決方案的創新。從推出Blackwell平台，到建立地球氣候的數位孿生，都讓這場GTC令人難忘。對於RTX PC和工作站的使用者與開發者而言，這也是一窺生成式AI未來發展的大好機會。

延伸閱讀：
單眼相機掰！realme推出首款潛望長焦手機realme 12 Pro+
[USB-C宇宙] iPhone 15 Pro × SanDisk Extreme Portable SSD 行動固態硬碟 開箱動手玩
vivo X100 Pro超強蔡司長焦微距攝影手機開箱動手玩
羅技攜插畫家33打造「女子扮桌空間」！同步推Wave Keys鍵盤玫瑰粉色、LIFT滑鼠左手版