In het kader van VMware Explore 2024 hebben Broadcom en NVIDIA een reeks nieuwe mogelijkheden voor hun gezamenlijke platform onthuld, VMware Private AI Foundation met NVIDIA, die officieel in mei 2024 gelanceerd zal worden. Deze generatieve kunstmatige intelligentie-oplossing is ontworpen om een privé en veilig infrastructuur te bieden aan bedrijven, met een focus op privacy, flexibiliteit, prestaties en beveiliging.
Nieuwe Functionaliteiten met VMware Cloud Foundation 5.2.1
De lancering van VMware Cloud Foundation (VCF) 5.2.1, gepland voor later dit jaar, zal verschillende nieuwe mogelijkheden bevatten die de ervaring van de gebruikers van VMware Private AI Foundation met NVIDIA zullen verbeteren:
- Model Store: Deze functionaliteit zal MLOps-teams en datawetenschappers in staat stellen om op een veilige manier grote taalmodellen (LLMs) te cureren en te verstrekken, met ingebouwde toegangscontrole. De Model Store zal de governance en beveiliging van de omgeving verbeteren en de privacy van bedrijfsgegevens en IP waarborgen.
- Guided Deployment: Om het implementatieproces van Gen AI te vereenvoudigen, zal deze nieuwe capaciteit de creatie van werklast domeinen en de implementatie van extra componenten optimaliseren, waardoor de implementatietijd versnelt wordt en de administratieve inspanning vermindert.
Mogelijkheden van NVIDIA AI Enterprise
- NVIDIA NIM Agent Blueprints: Deze referentiewerkstromen stellen bedrijven in staat hun eigen generatieve AI-oplossingen te bouwen. Ze omvatten de nodige tools voor het ontwikkelen van gepersonaliseerde toepassingen, zoals werkstromen voor klantenservice, medicijnontdekking en gegevensextractie uit PDF’s.
- NVIDIA NIM: Een set van microservices ontworpen voor de veilige en betrouwbare implementatie van high-performance AI-modellen. De NIM-microservices ondersteunen een breed scala aan AI-modellen en integreren gemakkelijk in bedrijfsapplicaties met eenvoudige commando’s.
- NVIDIA NIM Operator: Vergemakkelijkt de implementatie en het beheer van generatieve AI-pipelines door middel van automatisering van de uitrol, schaling en beheer van inferenties, waardoor de latentie vermindert en de autoscaling prestaties verbeteren.
Toekomstige Mogelijkheden
Broadcom heeft ook aanvullende mogelijkheden aangekondigd voor toekomstige versies van VMware Private AI Foundation met NVIDIA:
- zichtbaarheid van vGPU-profielen: Hiermee kunnen beheerders alle gecreëerde vGPUs zien via een interface in vCenter, waardoor de noodzaak voor handmatige tracking vervalt en de operationele efficiëntie verbetert.
- GPU-reserveringen: Deze nieuwe functie zal beheerders in staat stellen om middelen voor vGPUs van tevoren te reserveren, waardoor de capaciteitsplanning en prestaties verbeteren.
- Service voor Indexering en Ophalen van Gegevens: Dit vergemakkelijkt de voorbereiding van privégegevens voor generatieve AI, door indexering en vectorisatie van private gegevensbronnen mogelijk te maken, wat de kwaliteit van de Gen AI-resultaten verbetert.
- AI Agent Builder Service: Dit zal ontwikkelaars en datawetenschappers ondersteunen bij het bouwen en implementeren van maatwerk AI-agenten met LLMs en gegevens van de indexering- en ophaalservice.
Uitbreiding van het Ecosysteem
Broadcom breidt ook het ecosysteem van VMware Private AI Foundation met NVIDIA uit door het toevoegen van nieuwe leveranciers en partners, inclusief:
- Codeium: Biedt ondersteuning bij het genereren en debuggen van code met behulp van AI, waardoor de ontwikkelingsefficiëntie verbetert.
- HCLTech: Levert op maat gemaakte Gen AI-oplossingen om de adoptie van Gen AI te versnellen met een competitief prijsmodel.
- Tabnine: AI-gereedschappen op maat voor softwareontwikkeling, met behoud van privacy en controle.
- WWT: Een leverancier van technologische oplossingen die bedrijven ondersteunt bij de implementatie en het beheer van AI-applicaties.
De samenwerking tussen Broadcom en NVIDIA op het VMware Private AI Foundation platform vertegenwoordigt een significante vooruitgang in de infrastructuur van generatieve AI voor bedrijven, met het aanbieden van nieuwe tools en mogelijkheden om de efficiëntie en beveiliging in het beheer van gegevens en AI-applicaties te verbeteren.