歡迎來到HH撲克 &德?lián)淙σ迅拿?HHpoker 您的約局神器!專注于線上德州競技,推薦加入排行(名)前十實(shí)力靠譜一線老牌聯(lián)盟俱樂部,德州牛仔、推推樂、Omaha奧馬哈、短牌應(yīng)有盡有!全天24小時HHpoker俱樂部客服聯(lián)系全方位對接。

1、運(yùn)行無憂：確保Agent運(yùn)行時在OpenShift與RHEL上都能高效工作，無論是在數(shù)據(jù)中心的 GPU，還是邊緣節(jié)點(diǎn)的CPU。

Stefanie Chiras提到印度、中國和東南亞正出現(xiàn)AI井噴，為此紅帽成立了面向亞太的共創(chuàng)團(tuán)隊(duì)，讓他們的工程師與紅帽專家并肩開發(fā)，再交由系統(tǒng)集成商交付給最終用戶。

德州官方版下載

據(jù)他分享，IDC等市研機(jī)構(gòu)預(yù)測，全球約35%的新增AI價值將來自亞太地區(qū)?？蛻暨x擇紅帽的原因很簡單：平臺自由——從小規(guī)模起步，快速擴(kuò)展，并且隨時在本地滿足需求。

Matt Hicks說，如今混合云不再是可選項(xiàng)，而是默認(rèn)架構(gòu)。在AI時代，一致性、安全、運(yùn)維管理這些老問題變得不可回避，誰能從核心到邊緣把算力和數(shù)據(jù)統(tǒng)籌起來，誰就能釋放巨大的價值。

隨著AI加速落地，Matt Hicks認(rèn)為混合云的格局已經(jīng)翻轉(zhuǎn)。五年前，主旋律還是“全部上公有云”；兩年前，大家開始承認(rèn)，很多工作負(fù)載會繼續(xù)留在本地，同時工廠、門店、車輛等邊緣場景迅速崛起。AI進(jìn)一步放大了這一趨勢：為了降低延遲、保證數(shù)據(jù)就地處理，推理往往必須貼近數(shù)據(jù)產(chǎn)生點(diǎn)執(zhí)行。

Chris Wright透露說，紅帽將通過兩條路徑原生支持AI Agent：

Stefanie Chiras具體分享了三大亮點(diǎn)：

結(jié)語：未來AI不應(yīng)受到基礎(chǔ)設(shè)施孤島的限制

智東西 作者 ZeR0 編輯 漠影

無論云廠商推出的是開放還是專有的AI工具，紅帽都會“就地對接”，確保工作負(fù)載在混合云之間可自由遷移。紅帽承諾將客戶的選擇權(quán)放在核心位置，并與每一家超大規(guī)模云廠商（hyperscalers）實(shí)現(xiàn)無縫集成。

llm-d采用原生Kubernetes架構(gòu)、基于vLLM的分布式推理和智能AI感知網(wǎng)絡(luò)路由，利用大規(guī)模生成式AI推理技術(shù)，能增強(qiáng)vLLM的能力，使得大語言模型（LLM）推理云能夠滿足苛刻的生產(chǎn)服務(wù)級目標(biāo)（SLO），為AI推理解鎖大規(guī)模生產(chǎn)。

llm-d項(xiàng)目提供了多項(xiàng)創(chuàng)新，包括：

在亞太地區(qū)，紅帽憑借Red Hat AI Inference Server拿下了不少“新Logo”。這套平臺“任何模型、任何連接器、任何云”都能跑，即便只有兩名工程師，也能在本地小型集群上迅速搭起生成式AI。

Andrew Brown認(rèn)為AI的普及速度堪比早期電子商務(wù)，橫跨所有行業(yè)，這是真正的勢能，而非炒作。在他看來，缺乏AI技能的新畢業(yè)生很快就會被邊緣化，而忽視生成式AI的企業(yè)則會損失數(shù)月的生產(chǎn)力。

早期開源曾被質(zhì)疑穩(wěn)健性與安全性，但透明度最終扭轉(zhuǎn)了局面，任何人都能審計代碼并修復(fù)漏洞，這也是為什么今天大多數(shù)加密標(biāo)準(zhǔn)都是開放的。

在他看來，當(dāng)模型層和芯片層都在同一個項(xiàng)目里投資源，開放標(biāo)準(zhǔn)就會扎根。

AWS的Distributor Seller of Record（DSOR）計劃支持分銷商把不同伙伴的產(chǎn)品打包上架。紅帽已在澳大利亞把紅帽解決方案與本地ISV的AI增值服務(wù)捆綁銷售，未來RHEL AI和OpenShift AI上市后也會復(fù)制這一做法。

紅帽認(rèn)識到，在快速發(fā)展的生成式AI推理領(lǐng)域，充滿活力且易于訪問的社區(qū)至關(guān)重要。該公司計劃積極推動llm-d社區(qū)的發(fā)展，為新成員營造一個包容的環(huán)境，并促進(jìn)其持續(xù)發(fā)展。

紅帽最近發(fā)布的OpenShift Virtualization、RHEL鏡像模式以及實(shí)時特性，讓部署更容易，即使身處遠(yuǎn)離大型科技中心的地區(qū)，也能獲得一致、安全、可靠的平臺體驗(yàn)。

全新開源項(xiàng)目llm-d旨在讓生產(chǎn)型生成式AI像Linux一樣無處不在，由紅帽與創(chuàng)始貢獻(xiàn)者CoreWeave、谷歌云、IBM Research、NVIDIA合作打造，聯(lián)手AMD、思科、Hugging Face、英特爾、Lambda和Mistral AI，并獲得了來自加州大學(xué)伯克利分校Sky Computing Lab（vLLM的發(fā)起者）和芝加哥大學(xué)LMCache Lab（LMCache的發(fā)起者）的支持。

3、AI推理：全新的Red Hat AI Inference Server（內(nèi)置 vLLM） 首發(fā)即支持谷歌云TPU，以及 Intel、AMD、Arm、Power、IBM Z的CPU/GPU。對硬件伙伴而言，只需針對一個推理引擎做優(yōu)化；對客戶而言，可在開放與專有模型之間自由組合。

一、紅帽推出llm-d社區(qū)，助力大規(guī)模分布式生成式AI推理

他談道，在AI領(lǐng)域，“開放”這一概念仍在成形。模型基于海量數(shù)據(jù)訓(xùn)練后，以工件（artifact）形式發(fā)布，常用OSI兼容許可證，允許用戶微調(diào)、修改權(quán)重并再次分發(fā)。

新推出的RHEL Partner Validation計劃，為伙伴打通了快速上市通道，同時也向客戶保證“它能在RHEL上運(yùn)行”，紅帽會全程背書。該計劃讓ISV可自行在RHEL上完成驗(yàn)證，承諾第三方支持，之后再決定是否申請完整認(rèn)證。

無論許可證開放還是專有，AI的核心安全議題都是一致的：防止輸出敏感或有害內(nèi)容、阻斷越獄（jailbreak）提示、抵御對抗樣本與數(shù)據(jù)投毒。

從IBM收購紅帽的第一天起，雙方就統(tǒng)一在三大支柱RHEL、OpenShift、Ansible之上。IBM Cloud Paks很快就成為在OpenShift上構(gòu)建和運(yùn)行軟件的參考架構(gòu)，這種一致性變得更為牢固。同樣的模式也延伸到虛擬化和AI。IBM的中間件與應(yīng)用底層統(tǒng)一采用紅帽平臺。紅帽“RHEL + OpenShift核心組合”如今已支撐越來越多的IBM產(chǎn)品，進(jìn)一步鞏固了整個產(chǎn)品線的整合。

Andrew Brown稱，紅帽支持任何云、任何連接器、任何模型，沒有鎖定，客戶因此能快速遷移并擴(kuò)展。這一切都建立在開源之上，進(jìn)一步加深了客戶的信任。

學(xué)術(shù)界和社區(qū)對這些問題的研究非常活躍，而開放能加速解決方案的演進(jìn)。紅帽團(tuán)隊(duì)相信開放將繼續(xù)帶來更快速、更優(yōu)質(zhì)的安全改進(jìn)。

同時，紅帽的老客戶也在借助Project AI把大語言模型以容器式工件封裝，在多云之間自由遷移。

Chris Wright補(bǔ)充分享說，谷歌云TPU、AWS Inferentia等云端芯片都直接往vLLM倉庫提PR，連主推Triton的NVIDIA也為vLLM做適配，因?yàn)榇蠖鄶?shù)新模型首先登陸vLLM。用戶只需pip install vllm、加載模型，就能直接獲得收益。

使用Kubernetes久經(jīng)考驗(yàn)的編排能力，llm-d將先進(jìn)的推理能力集成到現(xiàn)有企業(yè)IT基礎(chǔ)設(shè)施中。該統(tǒng)一平臺使IT團(tuán)隊(duì)能夠滿足關(guān)鍵業(yè)務(wù)工作負(fù)載的各種服務(wù)需求，同時部署創(chuàng)新技術(shù)以最大限度地提高效率，并顯著降低與高性能AI加速器相關(guān)的總擁有成本（TCO）。

三、vLLM已成開源推理標(biāo)準(zhǔn)，開放將帶來更優(yōu)質(zhì)的AI安全改進(jìn)

峰會期間，紅帽總裁兼首席執(zhí)行官M(fèi)att Hicks、紅帽高級副總裁兼首席營收官Andrew Brown、紅帽高級副總裁兼首席產(chǎn)品官Ashesh Badani、紅帽首席技術(shù)官兼全球工程高級副總裁Chris Wright、紅帽合作伙伴生態(tài)系統(tǒng)成功高級副總裁Stefanie Chiras等多位紅帽高管，與智東西等亞太區(qū)媒體進(jìn)行了深入交流。

Matt Hicks談道，紅帽的使命是為客戶提供真正的選擇和靈活性，無論是Linux、容器還是自動化，其交付的每一層都保持開放且值得信賴，讓用戶能放心運(yùn)行、調(diào)整并持續(xù)創(chuàng)新。這種開放性催生了vLLM、Kubernetes、OpenShift等項(xiàng)目中的大規(guī)模協(xié)作與共享標(biāo)準(zhǔn)生態(tài)。

vLLM已迅速成為開源領(lǐng)域的事實(shí)標(biāo)準(zhǔn)推理服務(wù)器，為新興的前沿模型提供Day 0模型支持，并支持各種加速器（現(xiàn)已包括谷歌云TPU）。預(yù)填充和解碼分離將AI的輸入上下文和token生成階段分離成離散操作，然后將它們分布到多個服務(wù)器上。鍵值緩存卸載，基于LMCache，將鍵值緩存的內(nèi)存負(fù)擔(dān)從GPU內(nèi)存轉(zhuǎn)移到更具成本效益且容量更大的標(biāo)準(zhǔn)存儲，如CPU內(nèi)存或網(wǎng)絡(luò)存儲。由Kubernetes驅(qū)動的集群和控制器可在工作負(fù)載需求波動時更高效地調(diào)度計算和存儲資源，同時確保性能和較低的延遲。AI感知網(wǎng)絡(luò)路由，用于將傳入請求調(diào)度到最有可能擁有過去推理計算熱緩存的服務(wù)器和加速器。高性能通信API可實(shí)現(xiàn)服務(wù)器之間更快、更高效的數(shù)據(jù)傳輸，支持NVIDIA推理傳輸庫（NIXL）。

2、能力內(nèi)嵌：把Agent能力融入自家產(chǎn)品組合，在Lightspeed旗艦下統(tǒng)一呈現(xiàn)。今天有Ansible Lightspeed，未來還會有面向RHEL與OpenShift的Lightspeed功能。這些服務(wù)會暴露API，供Agent調(diào)用，實(shí)現(xiàn)自動化和日常運(yùn)維優(yōu)化。

Stefanie Chiras談道，生態(tài)合作寫在紅帽的基因里。紅帽從上游社區(qū)做起，把成果延伸到ISV、系統(tǒng)集成商以及云服務(wù)商，現(xiàn)在RHEL與OpenShift已能在AWS、微軟Azure、谷歌云、IBM云直接訂購；Ansible Automation Platform則通過紅帽與IBM渠道銷售。AI時代讓這種合作更加緊密。

2、OpenShift Virtualization：已通過AWS、微軟Azure、谷歌云、IBM Cloud、Oracle Cloud Infrastructure認(rèn)證。正在評估本地虛擬化替代方案的客戶，可獲得一套隨工作負(fù)載遷移而跨云一致的現(xiàn)代平臺，并配備即插即用的存儲、備份/災(zāi)備、網(wǎng)絡(luò)與監(jiān)控集成。

隨著推理模型日益復(fù)雜和規(guī)模不斷擴(kuò)大，其對資源需求的持續(xù)攀升限制了集中式推理的可行性，并有可能因成本過高和延遲過長，而使AI創(chuàng)新陷入瓶頸。紅帽及其行業(yè)合作伙伴正通過llm-d應(yīng)對這一挑戰(zhàn)。

運(yùn)行VM（虛擬機(jī)）的同一套OpenShift平臺，也承載紅帽的AI堆棧?！敖裉彀裋M現(xiàn)代化，就是為明天的生成式AI打地基?！盇shesh Badani說。

1、RHEL：實(shí)時內(nèi)核與鏡像現(xiàn)已同步上架AWS、Azure、谷歌云和Oracle Cloud。同時推出的 RHEL Partner Validation計劃允許ISV自助完成兼容性測試并貼上“Validated on RHEL” 標(biāo)簽，上市周期大幅縮短。

復(fù)星汽車、阿聯(lián)酋航空等客戶反饋，遷移到運(yùn)行在AMD EPYC處理器上的OpenShift Virtualization后，TCO最高降低77%。

Ashesh Badani補(bǔ)充說，開源只是一個許可證，離不開背后社區(qū)的支持，新發(fā)布的llm-d正印證這一點(diǎn)。紅帽與谷歌云、AMD、NVIDIA等眾多伙伴共同宣布這一項(xiàng)目，只有在共同創(chuàng)建并持續(xù)維護(hù)的前提下，開放才真正有意義。

其打法很簡單：先幫客戶壓低AI成本，再提供一個高韌性、高安全的平臺來補(bǔ)強(qiáng)（而非替換）現(xiàn)有環(huán)境。這套理念在亞太地區(qū)非常受認(rèn)可，系統(tǒng)集成商和ISV已經(jīng)排隊(duì)啟動試點(diǎn)，有六七個概念驗(yàn)證（PoC）將在本季度落地。

在Ashesh Badani看來，AI可能是過去20年來最深刻的IT變革，甚至可能超過云計算，因?yàn)樗鼘θ粘９ぷ鞯挠绊懥⒏鸵娪啊Ｋ劦?，從?shí)時版RHEL到AI推理，紅帽公布的每一層都是聚合了生態(tài)合作伙伴之力，將社區(qū)創(chuàng)新轉(zhuǎn)化為企業(yè)級方案。

二、聚生態(tài)之力支撐企業(yè)級AI，兩條路原生支持AI Agent

智東西6月9日報道，全球領(lǐng)先的開源解決方案提供商紅帽公司于5月19日-22日在美國波士頓舉行紅帽全球峰會，宣布啟動全新開源項(xiàng)目llm-d，以滿足生成式AI大規(guī)模推理需求。

根據(jù)知名市場調(diào)研機(jī)構(gòu)Gartner的數(shù)據(jù)，到2028年，隨著市場的成熟，80%以上的數(shù)據(jù)中心工作負(fù)載加速器將專門部署用于推理，而不是訓(xùn)練用途。

AI的未來不應(yīng)受到基礎(chǔ)設(shè)施孤島的限制。紅帽團(tuán)隊(duì)認(rèn)為，未來企業(yè)可以在任意云環(huán)境中的任意加速器上部署任意模型，提供出色且更加一致的用戶體驗(yàn)，并且無需高昂的成本。為了釋放生成式AI投資的潛力，企業(yè)需要一個通用推理平臺——一個用以推動未來數(shù)年中，更加無縫、更高性能AI創(chuàng)新的標(biāo)準(zhǔn)。

從GitHub Star、下載量或貢獻(xiàn)者增速來看，vLLM已成事實(shí)上的開源推理標(biāo)準(zhǔn)。

正如紅帽通過將Linux轉(zhuǎn)變?yōu)楝F(xiàn)代IT的基石，開創(chuàng)了開源企業(yè)先河，如今紅帽正推動構(gòu)建AI推理。紅帽的愿景非常清晰：無論采用何種AI模型、底層加速器或部署環(huán)境，vLLM都能成為新型跨混合云環(huán)境推理的開放標(biāo)準(zhǔn)權(quán)威。

Matt Hicks認(rèn)為，現(xiàn)在有兩股動力把大家拉向vLLM：一是越來越多廠商把模型checkpoint預(yù)先調(diào)優(yōu)到vLLM，縮短上市時間，也把維護(hù)成本攤給社區(qū)；二是英特爾、AMD、NVIDIA以及各大云廠商的自研芯片團(tuán)隊(duì)，都在上游提交優(yōu)化補(bǔ)丁，讓自家硬件“開箱即用”。