歡迎來(lái)到WEPoker(微撲克)官網(wǎng),打造一個(gè)有趣的線上德?lián)淦脚_(tái),為玩家提供豐富的在線德州游戲和德?lián)溴\標(biāo)賽。俱樂(lè)部專注于為會(huì)員提供優(yōu)質(zhì)德?lián)潴w驗(yàn)和客服服務(wù)

3、AI推理：全新的Red Hat AI Inference Server（內(nèi)置 vLLM） 首發(fā)即支持谷歌云TPU，以及 Intel、AMD、Arm、Power、IBM Z的CPU/GPU。對(duì)硬件伙伴而言，只需針對(duì)一個(gè)推理引擎做優(yōu)化；對(duì)客戶而言，可在開(kāi)放與專有模型之間自由組合。

新推出的RHEL Partner Validation計(jì)劃，為伙伴打通了快速上市通道，同時(shí)也向客戶保證“它能在RHEL上運(yùn)行”，紅帽會(huì)全程背書。該計(jì)劃讓ISV可自行在RHEL上完成驗(yàn)證，承諾第三方支持，之后再?zèng)Q定是否申請(qǐng)完整認(rèn)證。

德?lián)淙PP官網(wǎng)

Matt Hicks認(rèn)為，現(xiàn)在有兩股動(dòng)力把大家拉向vLLM：一是越來(lái)越多廠商把模型checkpoint預(yù)先調(diào)優(yōu)到vLLM，縮短上市時(shí)間，也把維護(hù)成本攤給社區(qū)；二是英特爾、AMD、NVIDIA以及各大云廠商的自研芯片團(tuán)隊(duì)，都在上游提交優(yōu)化補(bǔ)丁，讓自家硬件“開(kāi)箱即用”。

AI的未來(lái)不應(yīng)受到基礎(chǔ)設(shè)施孤島的限制。紅帽團(tuán)隊(duì)認(rèn)為，未來(lái)企業(yè)可以在任意云環(huán)境中的任意加速器上部署任意模型，提供出色且更加一致的用戶體驗(yàn)，并且無(wú)需高昂的成本。為了釋放生成式AI投資的潛力，企業(yè)需要一個(gè)通用推理平臺(tái)——一個(gè)用以推動(dòng)未來(lái)數(shù)年中，更加無(wú)縫、更高性能AI創(chuàng)新的標(biāo)準(zhǔn)。

1、RHEL：實(shí)時(shí)內(nèi)核與鏡像現(xiàn)已同步上架AWS、Azure、谷歌云和Oracle Cloud。同時(shí)推出的 RHEL Partner Validation計(jì)劃允許ISV自助完成兼容性測(cè)試并貼上“Validated on RHEL” 標(biāo)簽，上市周期大幅縮短。

Chris Wright補(bǔ)充分享說(shuō)，谷歌云TPU、AWS Inferentia等云端芯片都直接往vLLM倉(cāng)庫(kù)提PR，連主推Triton的NVIDIA也為vLLM做適配，因?yàn)榇蠖鄶?shù)新模型首先登陸vLLM。用戶只需pip install vllm、加載模型，就能直接獲得收益。

Ashesh Badani補(bǔ)充說(shuō)，開(kāi)源只是一個(gè)許可證，離不開(kāi)背后社區(qū)的支持，新發(fā)布的llm-d正印證這一點(diǎn)。紅帽與谷歌云、AMD、NVIDIA等眾多伙伴共同宣布這一項(xiàng)目，只有在共同創(chuàng)建并持續(xù)維護(hù)的前提下，開(kāi)放才真正有意義。

隨著推理模型日益復(fù)雜和規(guī)模不斷擴(kuò)大，其對(duì)資源需求的持續(xù)攀升限制了集中式推理的可行性，并有可能因成本過(guò)高和延遲過(guò)長(zhǎng)，而使AI創(chuàng)新陷入瓶頸。紅帽及其行業(yè)合作伙伴正通過(guò)llm-d應(yīng)對(duì)這一挑戰(zhàn)。

Stefanie Chiras提到印度、中國(guó)和東南亞正出現(xiàn)AI井噴，為此紅帽成立了面向亞太的共創(chuàng)團(tuán)隊(duì)，讓他們的工程師與紅帽專家并肩開(kāi)發(fā)，再交由系統(tǒng)集成商交付給最終用戶。

Matt Hicks說(shuō)，如今混合云不再是可選項(xiàng)，而是默認(rèn)架構(gòu)。在AI時(shí)代，一致性、安全、運(yùn)維管理這些老問(wèn)題變得不可回避，誰(shuí)能從核心到邊緣把算力和數(shù)據(jù)統(tǒng)籌起來(lái)，誰(shuí)就能釋放巨大的價(jià)值。

全新開(kāi)源項(xiàng)目llm-d旨在讓生產(chǎn)型生成式AI像Linux一樣無(wú)處不在，由紅帽與創(chuàng)始貢獻(xiàn)者CoreWeave、谷歌云、IBM Research、NVIDIA合作打造，聯(lián)手AMD、思科、Hugging Face、英特爾、Lambda和Mistral AI，并獲得了來(lái)自加州大學(xué)伯克利分校Sky Computing Lab（vLLM的發(fā)起者）和芝加哥大學(xué)LMCache Lab（LMCache的發(fā)起者）的支持。

在亞太地區(qū)，紅帽憑借Red Hat AI Inference Server拿下了不少“新Logo”。這套平臺(tái)“任何模型、任何連接器、任何云”都能跑，即便只有兩名工程師，也能在本地小型集群上迅速搭起生成式AI。

Stefanie Chiras談道，生態(tài)合作寫在紅帽的基因里。紅帽從上游社區(qū)做起，把成果延伸到ISV、系統(tǒng)集成商以及云服務(wù)商，現(xiàn)在RHEL與OpenShift已能在AWS、微軟Azure、谷歌云、IBM云直接訂購(gòu)；Ansible Automation Platform則通過(guò)紅帽與IBM渠道銷售。AI時(shí)代讓這種合作更加緊密。

二、聚生態(tài)之力支撐企業(yè)級(jí)AI，兩條路原生支持AI Agent

無(wú)論許可證開(kāi)放還是專有，AI的核心安全議題都是一致的：防止輸出敏感或有害內(nèi)容、阻斷越獄（jailbreak）提示、抵御對(duì)抗樣本與數(shù)據(jù)投毒。

他談道，在AI領(lǐng)域，“開(kāi)放”這一概念仍在成形。模型基于海量數(shù)據(jù)訓(xùn)練后，以工件（artifact）形式發(fā)布，常用OSI兼容許可證，允許用戶微調(diào)、修改權(quán)重并再次分發(fā)。

復(fù)星汽車、阿聯(lián)酋航空等客戶反饋，遷移到運(yùn)行在AMD EPYC處理器上的OpenShift Virtualization后，TCO最高降低77%。

Chris Wright透露說(shuō)，紅帽將通過(guò)兩條路徑原生支持AI Agent：

2、OpenShift Virtualization：已通過(guò)AWS、微軟Azure、谷歌云、IBM Cloud、Oracle Cloud Infrastructure認(rèn)證。正在評(píng)估本地虛擬化替代方案的客戶，可獲得一套隨工作負(fù)載遷移而跨云一致的現(xiàn)代平臺(tái)，并配備即插即用的存儲(chǔ)、備份/災(zāi)備、網(wǎng)絡(luò)與監(jiān)控集成。

從GitHub Star、下載量或貢獻(xiàn)者增速來(lái)看，vLLM已成事實(shí)上的開(kāi)源推理標(biāo)準(zhǔn)。

vLLM已迅速成為開(kāi)源領(lǐng)域的事實(shí)標(biāo)準(zhǔn)推理服務(wù)器，為新興的前沿模型提供Day 0模型支持，并支持各種加速器（現(xiàn)已包括谷歌云TPU）。預(yù)填充和解碼分離將AI的輸入上下文和token生成階段分離成離散操作，然后將它們分布到多個(gè)服務(wù)器上。鍵值緩存卸載，基于LMCache，將鍵值緩存的內(nèi)存負(fù)擔(dān)從GPU內(nèi)存轉(zhuǎn)移到更具成本效益且容量更大的標(biāo)準(zhǔn)存儲(chǔ)，如CPU內(nèi)存或網(wǎng)絡(luò)存儲(chǔ)。由Kubernetes驅(qū)動(dòng)的集群和控制器可在工作負(fù)載需求波動(dòng)時(shí)更高效地調(diào)度計(jì)算和存儲(chǔ)資源，同時(shí)確保性能和較低的延遲。AI感知網(wǎng)絡(luò)路由，用于將傳入請(qǐng)求調(diào)度到最有可能擁有過(guò)去推理計(jì)算熱緩存的服務(wù)器和加速器。高性能通信API可實(shí)現(xiàn)服務(wù)器之間更快、更高效的數(shù)據(jù)傳輸，支持NVIDIA推理傳輸庫(kù)（NIXL）。

其打法很簡(jiǎn)單：先幫客戶壓低AI成本，再提供一個(gè)高韌性、高安全的平臺(tái)來(lái)補(bǔ)強(qiáng)（而非替換）現(xiàn)有環(huán)境。這套理念在亞太地區(qū)非常受認(rèn)可，系統(tǒng)集成商和ISV已經(jīng)排隊(duì)啟動(dòng)試點(diǎn)，有六七個(gè)概念驗(yàn)證（PoC）將在本季度落地。

同時(shí)，紅帽的老客戶也在借助Project AI把大語(yǔ)言模型以容器式工件封裝，在多云之間自由遷移。

在Ashesh Badani看來(lái)，AI可能是過(guò)去20年來(lái)最深刻的IT變革，甚至可能超過(guò)云計(jì)算，因?yàn)樗鼘?duì)日常工作的影響立竿見(jiàn)影。他談道，從實(shí)時(shí)版RHEL到AI推理，紅帽公布的每一層都是聚合了生態(tài)合作伙伴之力，將社區(qū)創(chuàng)新轉(zhuǎn)化為企業(yè)級(jí)方案。

紅帽最近發(fā)布的OpenShift Virtualization、RHEL鏡像模式以及實(shí)時(shí)特性，讓部署更容易，即使身處遠(yuǎn)離大型科技中心的地區(qū)，也能獲得一致、安全、可靠的平臺(tái)體驗(yàn)。

智東西6月9日?qǐng)?bào)道，全球領(lǐng)先的開(kāi)源解決方案提供商紅帽公司于5月19日-22日在美國(guó)波士頓舉行紅帽全球峰會(huì)，宣布啟動(dòng)全新開(kāi)源項(xiàng)目llm-d，以滿足生成式AI大規(guī)模推理需求。

使用Kubernetes久經(jīng)考驗(yàn)的編排能力，llm-d將先進(jìn)的推理能力集成到現(xiàn)有企業(yè)IT基礎(chǔ)設(shè)施中。該統(tǒng)一平臺(tái)使IT團(tuán)隊(duì)能夠滿足關(guān)鍵業(yè)務(wù)工作負(fù)載的各種服務(wù)需求，同時(shí)部署創(chuàng)新技術(shù)以最大限度地提高效率，并顯著降低與高性能AI加速器相關(guān)的總擁有成本（TCO）。

早期開(kāi)源曾被質(zhì)疑穩(wěn)健性與安全性，但透明度最終扭轉(zhuǎn)了局面，任何人都能審計(jì)代碼并修復(fù)漏洞，這也是為什么今天大多數(shù)加密標(biāo)準(zhǔn)都是開(kāi)放的。

運(yùn)行VM（虛擬機(jī)）的同一套OpenShift平臺(tái)，也承載紅帽的AI堆棧。“今天把VM現(xiàn)代化，就是為明天的生成式AI打地基?！盇shesh Badani說(shuō)。

根據(jù)知名市場(chǎng)調(diào)研機(jī)構(gòu)Gartner的數(shù)據(jù)，到2028年，隨著市場(chǎng)的成熟，80%以上的數(shù)據(jù)中心工作負(fù)載加速器將專門部署用于推理，而不是訓(xùn)練用途。

llm-d采用原生Kubernetes架構(gòu)、基于vLLM的分布式推理和智能AI感知網(wǎng)絡(luò)路由，利用大規(guī)模生成式AI推理技術(shù)，能增強(qiáng)vLLM的能力，使得大語(yǔ)言模型（LLM）推理云能夠滿足苛刻的生產(chǎn)服務(wù)級(jí)目標(biāo)（SLO），為AI推理解鎖大規(guī)模生產(chǎn)。

正如紅帽通過(guò)將Linux轉(zhuǎn)變?yōu)楝F(xiàn)代IT的基石，開(kāi)創(chuàng)了開(kāi)源企業(yè)先河，如今紅帽正推動(dòng)構(gòu)建AI推理。紅帽的愿景非常清晰：無(wú)論采用何種AI模型、底層加速器或部署環(huán)境，vLLM都能成為新型跨混合云環(huán)境推理的開(kāi)放標(biāo)準(zhǔn)權(quán)威。

無(wú)論云廠商推出的是開(kāi)放還是專有的AI工具，紅帽都會(huì)“就地對(duì)接”，確保工作負(fù)載在混合云之間可自由遷移。紅帽承諾將客戶的選擇權(quán)放在核心位置，并與每一家超大規(guī)模云廠商（hyperscalers）實(shí)現(xiàn)無(wú)縫集成。

從IBM收購(gòu)紅帽的第一天起，雙方就統(tǒng)一在三大支柱RHEL、OpenShift、Ansible之上。IBM Cloud Paks很快就成為在OpenShift上構(gòu)建和運(yùn)行軟件的參考架構(gòu)，這種一致性變得更為牢固。同樣的模式也延伸到虛擬化和AI。IBM的中間件與應(yīng)用底層統(tǒng)一采用紅帽平臺(tái)。紅帽“RHEL + OpenShift核心組合”如今已支撐越來(lái)越多的IBM產(chǎn)品，進(jìn)一步鞏固了整個(gè)產(chǎn)品線的整合。

Matt Hicks談道，紅帽的使命是為客戶提供真正的選擇和靈活性，無(wú)論是Linux、容器還是自動(dòng)化，其交付的每一層都保持開(kāi)放且值得信賴，讓用戶能放心運(yùn)行、調(diào)整并持續(xù)創(chuàng)新。這種開(kāi)放性催生了vLLM、Kubernetes、OpenShift等項(xiàng)目中的大規(guī)模協(xié)作與共享標(biāo)準(zhǔn)生態(tài)。

峰會(huì)期間，紅帽總裁兼首席執(zhí)行官M(fèi)att Hicks、紅帽高級(jí)副總裁兼首席營(yíng)收官Andrew Brown、紅帽高級(jí)副總裁兼首席產(chǎn)品官Ashesh Badani、紅帽首席技術(shù)官兼全球工程高級(jí)副總裁Chris Wright、紅帽合作伙伴生態(tài)系統(tǒng)成功高級(jí)副總裁Stefanie Chiras等多位紅帽高管，與智東西等亞太區(qū)媒體進(jìn)行了深入交流。

Andrew Brown稱，紅帽支持任何云、任何連接器、任何模型，沒(méi)有鎖定，客戶因此能快速遷移并擴(kuò)展。這一切都建立在開(kāi)源之上，進(jìn)一步加深了客戶的信任。

結(jié)語(yǔ)：未來(lái)AI不應(yīng)受到基礎(chǔ)設(shè)施孤島的限制

紅帽認(rèn)識(shí)到，在快速發(fā)展的生成式AI推理領(lǐng)域，充滿活力且易于訪問(wèn)的社區(qū)至關(guān)重要。該公司計(jì)劃積極推動(dòng)llm-d社區(qū)的發(fā)展，為新成員營(yíng)造一個(gè)包容的環(huán)境，并促進(jìn)其持續(xù)發(fā)展。

AWS的Distributor Seller of Record（DSOR）計(jì)劃支持分銷商把不同伙伴的產(chǎn)品打包上架。紅帽已在澳大利亞把紅帽解決方案與本地ISV的AI增值服務(wù)捆綁銷售，未來(lái)RHEL AI和OpenShift AI上市后也會(huì)復(fù)制這一做法。

學(xué)術(shù)界和社區(qū)對(duì)這些問(wèn)題的研究非?；钴S，而開(kāi)放能加速解決方案的演進(jìn)。紅帽團(tuán)隊(duì)相信開(kāi)放將繼續(xù)帶來(lái)更快速、更優(yōu)質(zhì)的安全改進(jìn)。

智東西 作者 ZeR0 編輯 漠影

Andrew Brown認(rèn)為AI的普及速度堪比早期電子商務(wù)，橫跨所有行業(yè)，這是真正的勢(shì)能，而非炒作。在他看來(lái)，缺乏AI技能的新畢業(yè)生很快就會(huì)被邊緣化，而忽視生成式AI的企業(yè)則會(huì)損失數(shù)月的生產(chǎn)力。

隨著AI加速落地，Matt Hicks認(rèn)為混合云的格局已經(jīng)翻轉(zhuǎn)。五年前，主旋律還是“全部上公有云”；兩年前，大家開(kāi)始承認(rèn)，很多工作負(fù)載會(huì)繼續(xù)留在本地，同時(shí)工廠、門店、車輛等邊緣場(chǎng)景迅速崛起。AI進(jìn)一步放大了這一趨勢(shì)：為了降低延遲、保證數(shù)據(jù)就地處理，推理往往必須貼近數(shù)據(jù)產(chǎn)生點(diǎn)執(zhí)行。

Stefanie Chiras具體分享了三大亮點(diǎn)：

1、運(yùn)行無(wú)憂：確保Agent運(yùn)行時(shí)在OpenShift與RHEL上都能高效工作，無(wú)論是在數(shù)據(jù)中心的 GPU，還是邊緣節(jié)點(diǎn)的CPU。

據(jù)他分享，IDC等市研機(jī)構(gòu)預(yù)測(cè)，全球約35%的新增AI價(jià)值將來(lái)自亞太地區(qū)?？蛻暨x擇紅帽的原因很簡(jiǎn)單：平臺(tái)自由——從小規(guī)模起步，快速擴(kuò)展，并且隨時(shí)在本地滿足需求。

2、能力內(nèi)嵌：把Agent能力融入自家產(chǎn)品組合，在Lightspeed旗艦下統(tǒng)一呈現(xiàn)。今天有Ansible Lightspeed，未來(lái)還會(huì)有面向RHEL與OpenShift的Lightspeed功能。這些服務(wù)會(huì)暴露API，供Agent調(diào)用，實(shí)現(xiàn)自動(dòng)化和日常運(yùn)維優(yōu)化。

三、vLLM已成開(kāi)源推理標(biāo)準(zhǔn)，開(kāi)放將帶來(lái)更優(yōu)質(zhì)的AI安全改進(jìn)

一、紅帽推出llm-d社區(qū)，助力大規(guī)模分布式生成式AI推理

在他看來(lái)，當(dāng)模型層和芯片層都在同一個(gè)項(xiàng)目里投資源，開(kāi)放標(biāo)準(zhǔn)就會(huì)扎根。

llm-d項(xiàng)目提供了多項(xiàng)創(chuàng)新，包括：