Red Hat, ledande leverantör av lösningar med öppen källkod, lanserar Red Hat AI 3, en ny generation av sin företags-AI-plattform. Genom att förena de senaste innovationerna i Red Hat AI Inference Server, Red Hat Enterprise Linux AI (RHEL AI) och Red Hat OpenShift AI, förenklar plattformen högpresterande AI-inferens i stor skala. Det gör det enklare för organisationer att ta steget från proof-of-concept till produktion och stärka samarbetet kring AI-drivna applikationer.
När företag går från AI-experiment till att skala upp användningen ställs de inför stora utmaningar som datasekretess, kostnadskontroll och modellhantering. Enligt rapporten ‘The GenAI Divide: State of AI in Business’ från MIT NANDA-projektet misslyckas hela 95 % av organisationerna att uppnå mätbara ekonomiska resultat, trots investeringar på omkring 40 miljarder dollar.
Red Hat AI 3 möter dessa utmaningar genom att ge CIO:er och IT-chefer en enhetlig plattform för att maximera sina investeringar i accelererande databehandlingsteknologier. Lösningen gör det möjligt att snabbt skala och distribuera AI-arbetsbelastningar i hybrida miljöer med flera leverantörer, samtidigt som den stärker samarbetet kring nästa generations AI-arbetsbelastningar som agenter. Byggd på öppna standarder stöder Red Hat AI 3 alla modeller på alla acceleratorer, från datacenter till publika moln, suverän AI och edge.
Från träning till verklig användning – skiftet till företags-AI-inferens
När AI går in i produktion skiftar fokus från modellträning till inferens, den praktiska fasen av företags-AI. Red Hat AI 3 möjliggör skalbar och kostnadseffektiv inferens genom att bygga vidare på framgångsrika community-projekt som vLLM och llm-d, kombinerat med egna modelloptimeringslösningar för produktionsklar drift av stora språkmodeller (LLMs).
För att hjälpa CIO:er att ut mesta möjliga av sin värdefulla hårdvaruacceleration lanserar Red Hat OpenShift AI 3.0 llm-d, som omdefinierar hur LLM:er körs nativt på Kubernetes. llm-d möjliggör intelligent distribuerad inferens genom att förena Kubernetes-orkestrering med vLLM-prestanda, i kombination med viktiga öppen källkodsteknologier som Kubernetes Gateway API Inference Extension, NVIDIA Dynamo-biblioteket för dataöverföring med låg latens (NIXL) och DeepEP Mixture of Experts (MoE) Communication Library, vilket gör det möjligt för organisationer att:
Minska kostnaderna och öka effektiviteten med modulär servering som ger högre prestanda per investerad krona.
Leverera enkel och tillförlitlig drift genom föreskrivande ”Well-lit Paths” som förenklar och optimerar driftsättningen av modeller i stor skala på Kubernetes.
Maximera flexibiliteten med plattformsoberoende stöd för att driftsätta LLM-inferens på olika hårdvaruacceleratorer, inklusive NVIDIA och AMD.
llm-d bygger vidare på vLLM och förvandlar det från en enskild högpresterande inferensmotor till ett distribuerat och skalbart system som ger förutsägbar prestanda, mätbar ROI och effektiv infrastrukturplanering. Alla förbättringar är direkt inriktade på att möta utmaningarna med att hantera kraftigt varierande LLM-arbetsbelastningar och att driftsätta mycket stora modeller, såsom Mixture-of-Experts (MoE)-modeller.
En gemensam plattform för AI-samarbete
Red Hat AI 3 erbjuder en flexibel, enhetlig plattform anpassad för att bygga produktionsklara generativa AI-lösningar. Genom att förena arbetsflöden och främja samarbete ger den både plattforms- och AI-ingenjörer verktygen att förverkliga sin AI-strategi och skala från proof-of-concept till produktion. Nya funktioner fokuserar på att ge den produktivitet och effektivitet som krävs för att skala från proof-of-concept till produktion, och inkluderar bland annat:
Model as a Service (MaaS) – bygger på distribuerad inferens och gör det möjligt för IT-team att fungera som egna MaaS-leverantörer. Gemensamma modeller kan tillhandahållas centralt och göras tillgängliga för AI-utvecklare och applikationer vid behov. Detta ger bättre kostnadskontroll och stödjer användningsfall som inte kan köras i publika AI-tjänster av integritets- eller dataskäl.
AI Hub – låter plattformsingenjörer utforska, driftsätta och hantera grundläggande AI-resurser. Den fungerar som ett centralt nav med en kuraterad modellkatalog, validerade och optimerade generativa AI-modeller, ett livscykelregister samt en miljö för konfiguration och övervakning av alla AI-resurser i OpenShift AI.
Gen AI Studio – erbjuder en praktisk miljö där AI-ingenjörer kan arbeta direkt med modeller och snabbt skapa prototyper av generativa AI-applikationer. Med AI Assets Endpoint kan tillgängliga modeller och MCP-servrar enkelt upptäckas och användas, medan den inbyggda Playground-miljön möjliggör experiment med modeller, test av promptar och justering av parametrar för exempelvis chatt och Retrieval-Augmented Generation (RAG).
Validerade och optimerade modeller – Red Hat tillhandahåller nya validerade och optimerade modeller för enklare utveckling. Det kuraterade urvalet omfattar populära open source-modeller som OpenAI:s gpt-oss, DeepSeek-R1, samt specialiserade modeller som Whisper för tal-till-text och Voxtral Mini för röststyrda agenter.
– När företag skalar AI från experiment till produktion möter de nya utmaningar kring komplexitet, kostnader och kontroll. Med Red Hat AI 3 erbjuder vi en företagsklassad, öppen källkodsplattform som minimerar dessa hinder. Genom nya funktioner som distribuerad inferens med llm-d och en grund för agentisk AI gör vi det möjligt för IT-team att tryggt operationalisera nästa generations AI – på sina egna villkor och i valfri infrastruktur, säger Joe Fernandes, vice president och general manager, AI Business Unit, Red Hat.
Ytterligare information
Lär dig mer om Red Hat AI 3
Titta på webbinariet om nyheter och framtidsplaner för Red Hat AI
Lär dig mer om hur Red Hats ekosystempartners driver AI-innovation
