Red Hat (紅帽) 全面升級 Red Hat AI 平台
[香港] — 全球開源解決方案供應商 Red Hat 宣佈全面升級 Red Hat AI 產品組合，幫助企業解決 AI 停留在實驗階段、無法真正投入實際營運的難題。透過全新推出的 Red Hat AI 3.4 統一平台，技術全面打通從硬件設備到 AI 代理的所有層級，大大簡化了 AI 自動化工作流程的開發與部署。這讓企業不再只是小規模試用，而是能真正將 AI 擴展到整個公司的 IT 架構並大規模應用。藉由為研發人員與工作團隊提供統一且標準化的操作架構，Red Hat 為企業發展自主運行系統奠定了穩固基石。這不僅能幫助企業順利擴展 AI 規模，還能同時兼顧現代企業不可或缺的掌握度、安全防護力，以及硬體資源的運作效率。
Red Hat AI 3.4 全面解鎖企業級生成式 AI 潛能
Red Hat AI 3.4 是一個全方位的平台，為企業在混合雲環境中擴展 AI 模型與自動化工作流，提供了必不可少的架構基礎與營運工具。這次升級的精髓在於推出了「模型即服務（Model-as-a-Service, MaaS）」功能，它為研發人員提供了一個統一且受到規範的介面，方便他們直接調用精選的 AI 模型；同時，也讓管理團隊能輕鬆追蹤資源使用量，並落實企業的安全合規政策。此外，平台以 vLLM 和 llm-d 技術為核心，打造出高效能的分散式推理技術，確保 AI 模型在各種不同的 IT 環境中都能保持最頂級、最高效率的運作表現。
隨著 AI 代理的普及，企業對 AI 推理運算的需求正呈現爆發式增長。對此，Red Hat AI 提供了強大的管理能力，無論企業使用的是哪種 AI 代理開發框架，都能實現大規模的部署與管理。全新推出的 AgentOps 工具，更實現了從開發到正式上線（Production）的全生命週期管理，並內建了系統追蹤（Tracing）、可觀測性（Observability）、加密身分驗證（Cryptographic Identity）以及生命週期管理等核心功能，全方位保障 AI 代理的安全與穩定運行。
為了將企業數據與模型及 AI 代理完美整合，Red Hat AI 3.4 引入了提示詞管理（Prompt Management）功能，將提示詞視為最核心數據資產管理來處理，並增設「評估中心（Evaluation Hub）」，評估模型與 AI 代理的準確性、品質與安全性。這些強大功能由 MLflow 驅動，能為生成式 AI（Generative AI）和預測式 AI（Predictive AI）的應用場景，提供一體化的實驗追蹤及檔案管理（Artifact Management）。此外，平台讓用戶能夠透過自動化安全測試，以及針對模型與 AI 代理的紅隊演練（Red-teaming），來全面驗證系統的安全可靠性，同時更結合了來自 Chatterbox Labs 和 Garak 項目的尖端技術，為企業鋪平一條安全優先的演進路徑，助其順利將 AI 應用從實驗性的試點項目（Pilots），正式推動至生產級就緒的企業級平台。
Red Hat AI 3.4 爲何如此重要
企業要想從「實驗性的聊天機器人」成功轉型為「生產級的自主運行系統」，IT 團隊的協作模式必須迎來根本性的轉變。如今，許多企業已經意識到，不能再僅僅充當付費調用外部 API 的「詞元消費者」（Token Consumers），而是必須轉變為自主掌控資源的「詞元供應商」（Token Providers），這才能更有效地控管成本，並為具備數據主權的私有化 AI 應用提供強大動能。然而，「AI 開發團隊」與「基礎架構管理員」之間的溝通落差，仍然是阻礙企業引進 AI 的主要絆腳石。若無法透過統一的方法將這兩個角色緊密結合，基礎架構的管理權限將會拖慢創新步伐；相反地，研發人員為了貪圖方便而繞過監管的影子 AI（Shadow AI）行為，更會為企業帶來不可控的安全風險與無法預測的巨大成本。
Red Hat AI 3.4 正是解決上述團隊衝突的關鍵平台，它為企業提供了可擴展推理與自主代理部署穩定的基石，不僅能帶來高透明度的管理視野，更能提供滿足嚴格風險控管與合規審查所需的掌控力。
由於 AI 代理具備高度的獨立運作能力，若企業無法掌握其決策過程，將會帶來重大的網絡安全風險。對此，Red Hat AI 提供了強大的基礎架構，能完整追蹤 AI 代理的執行動作、推理步驟（Reasoning Steps）以及工具調用（Tool Call）的紀錄，讓企業可以輕鬆審計 AI 是如何推算出最終結果。此外，該平台更結合了加密身分管理技術，將 AI 代理的每一個行動與經過驗證的數位身分進行綁定，幫助企業精確追蹤到底是哪一個 AI 實體執行了該項任務。這些強大功能的結合，成功帶領企業超越單點式的實驗階段，將 AI 升格為可擴展、可預測，且最重要的是完全可查核的企業級核心基礎設施。
Red Hat 與合作夥伴的專業評價
Joe Fernandes，Red Hat 人工智能業務部副總裁兼總經理表示：「AI 代理時代的來臨，象徵著我們的平台迎來重大演進，從過往運行傳統應用程式，升級為驅動智慧化且自主運作的系統。我們正在為企業如何執行 AI 定義一套全新的開源標準。透過為 AI 推理、MaaS（模型即服務）與 AgentOps 提供一套從硬件到 AI 代理皆經過安全強化的技術底座，Red Hat 為企業提供了所需的營運根基，全力支持他們在維持嚴格掌控力的同時，實現大規模的創新。」
Urvashi Chowdhary，CoreWeave AI 服務產品管理副總裁表示：「CoreWeave 與 Red Hat 的合作，建立在雙方對開放性的共同承諾上，並致力於提供高效能的推理架構，全力支持企業擴展其最複雜的 AI 工作負載。透過雙方攜手，我們為 CoreWeave Kubernetes Service 上的 Red Hat AI Inference 打造了一套部署藍圖，讓企業不論是在地還是雲端，都能運行完全相同的推理技堆疊，並兼具 Kubernetes 原生掌控力與企業級的極致效能。這讓身處受管制行業的企業 AI 團隊能夠專注於真正核心的工作，無需在每轉換到一個新環境時，都被迫重新調整其底層的技術工具鏈。」
John Fanelli，NVIDIA 企業軟件副總裁表示：「企業在引進可自主且長期運行的 AI 代理時，需要更高水準的基礎架構掌控力與安全防護，才能確保大規模運作時的信賴度。而 Red Hat AI Factory with NVIDIA 便提供了一個統一且由開源驅動的技術底座，讓開發人員與維運人員具備必備的治理能力與信心，以迎接 AI 代理新時代的來臨。」
核心亮點
兼顧可擴展的高效能推理與合規的模型存取機制：高效率的模型推理依然是企業級 AI 的核心所在。透過將 vLLM 推理伺服器和 llm-d 分散式推理引擎與 MaaS（模型即服務）進行深度結合，Red Hat AI 3.4 為模型推理提供了一個可靠且高效能的技術底座，同時也為用戶和 AI 代理簡化了具備治理規範的模型存取流程。
簡化 AgentOps 流程，全面覆蓋自主系統生命週期：Red Hat AI 3.4 推出全面的 AgentOps 功能，幫助企業實現 AI 代理的大規模應用。這套功能整合了追蹤、可觀測性與評估機制，並同步納入 AI 代理的身份識別與生命週期管理，讓企業能夠順暢將 AI 代理從開發階段推向實際生產環境。
緊密連結企業數據、模型與 AI 代理：企業數據是驅動模型和 AI 代理的核心燃料，Red Hat AI 3.4 全新加入提示詞（Prompt）管理功能，將提示詞視為最核心的數據資產，同時建立評估中心，針對品質、準確度、安全與風險進行全方位評估管理。這些強大功能皆由 MLFlow 驅動，針對生成式 AI 以及預測型 AI/ML 的應用情境，MLFlow 也能提供整合式的實驗追蹤與生成物（Artifact）管理。
構築模型與 AI 代理的一體化安全防護網：為了保護整個 AI 技術架構，Red Hat AI 打造了分層防禦的安全機制，防護範圍從底層作業系統一路延伸至最上層的 AI 代理運作邏輯。藉由提供自動化安全測試與紅隊演練（Red-teaming），企業能以數據驅動的方式，精準篩選並配置最合適的模型與安全護欄（Guardrails），幫助系統更有效地抵禦不斷演變的潛在威脅。
深度技術細節
先進推論與模型最佳化：Red Hat AI Inference 在其分散式推理功能中全新加入了「請求優先級排序（Request Prioritization）」機制。這項技術讓互動式流量與背景流量能共享同一個端點，並在系統高負載時，優先處理對延遲高度敏感的請求。此外，Red Hat AI Inference 的支援範圍也從 Red Hat OpenShift 擴展至更多 Kubernetes 服務（包含 CoreWeave 與 Azure），為企業在不同環境間提供高度一致的推理技術架構。同時，正式登場的「推測性解碼（Speculative Decoding）」技術，能在幾乎不影響生成品質的前提下，將回應速度提升 2 至 3 倍，並顯著降低每次互動的運算成本。
合規管治的模型即服務 (MaaS)：這項功能讓平台工程師能夠透過使用兼容 OpenAI 的標準介面以及高安全性 API 端點，提供經審查和驗證的模型。這實現了企業內部模型與外部第三方 API 的統一治理，同時整合進企業現有的身份驗證系統（Identity Provider, IDP）。
整合式提示詞管理：此功能讓平台工程師能夠透過安全強化的 API 端點，並採用標準的 OpenAI 相容介面，為企業內部提供經由官方嚴格篩選與驗證的模型。這不僅實現了內部模型與外部 API 的統一治理，更與企業現有的身分驗證提供者（IDP）完成了無縫整合，確保每一次的模型存取都符合安全規範。
模型與 AI 代理的自動化評估：Red Hat AI 3.4 全新推出評估中心（Evaluation Hub），這是一個獨立於特定框架（Framework-agnostic）的統一 AI 評估控制台，專為評估大型語言模型（LLMs）、AI 應用程式及 AI 代理而設計。這項創新顛覆了過往零碎分散的測試方法，改以一體化的全面手段，為系統的品質、準確度與潛在風險建立基準測試。
多層次安全防護：自動化對抗性掃描（Adversarial Scanning）現已直接整合到開發生命週期中。Red Hat AI 平台運用來自 Chatterbox Labs 的頂尖技術，並結合開源弱點掃描工具 Garak，能深入檢測模型與 AI 代理系統，將越獄（Jailbreaks）、提示詞注入（Prompt Injections）及偏見（Bias）等潛在風險攔截在源頭；同時搭配 NVIDIA NeMo Guardrails 技術，為系統運行期間（Run-time）提供即時的動態安全防護。
生產就緒能力可觀測性：透過整合 MLflow，系統能為 AI 代理的執行過程提供極致的透明度。透過 OpenTelemetry 技術，營運團隊得以實現端到端的全鏈路追蹤，精準掌握大型語言模型（LLM）的每次調用、推理步驟、工具執行狀況、模型回應內容以及 Token 消耗量。這為提示詞（Prompts）、嵌入向量（Embeddings）及檢索增強生成（RAG）配置的完整生命週期，建立了一套公開透明的審計軌跡（Audit Trail），全力支持後續的故障排除與合規審計。此外，MLflow 亦針對生成式 AI 與預測型 AI 的應用情境，提供了整合式的實驗追蹤與生成物（Artifact）管理功能。
基於身份認證的治理：透過採用加密身份管理（SPIFFE/SPIRE）機制，Red Hat AI 讓企業能夠以具備時效性的短期詞元取代過時的靜態金鑰（Hardcoded Keys）。這為整個 AI 堆疊中自主運行的 AI 代理提供了「最低權限原則」的營運支援，並有助確認 AI 代理的操作與經核實的身份綁定。
自動化體驗：AutoRAG 和 AutoML 等工具將複雜的 AI 任務實現自動化，從為特定數據集選擇最有效的檢索策略，到構建和最佳化傳統的預測模型。
硬件靈活性與託管雲：Red Hat AI 3.4 為 NVIDIA Blackwell GPU 以及 AMD MI325X 架構提供即時（Day-zero）支援。透過將此統一的平台架構擴展至第三方託管雲上原生運行（包括透過全新在 IBM Cloud 上的 Red Hat AI Inference），紅帽在各大硬件與雲端供應商之間提供了高度的一致營運體驗。
( 內容由有關方面代表提供, 經編輯後刊登 )
