Red Hat, wereldleider in open-source oplossingen, heeft de overname aangekondigd van Neural Magic, een baanbrekend bedrijf in software en algoritmes ontworpen om generatieve AI-modellen (GenAI) te optimaliseren in inference-omgevingen. Neural Magic’s expertise in inference-prestatie-engineering en hun toewijding aan open source sluiten aan bij de visie van Red Hat om hoogwaardige AI-oplossingen te bieden die zijn aangepast aan de specifieke behoeften van hun klanten, in elke hybride cloudomgeving.
Generatieve AI blijft een van de meest veelbelovende technologieën, hoewel deze een robuuste en hoogwaardige infrastructuur vereist voor het beheren van de grote taalmodellen (LLMs) die de basis vormen. Deze modellen eisen veel rekenkracht en energiebronnen, wat vaak hun toegankelijkheid voor veel organisaties beperkt. Met deze overname wil Red Hat de toegang tot generatieve AI vergemakkelijken door middel van open en innovatieve platformen, door de technologie van Neural Magic te integreren met hun eigen portfolio van hybride cloud AI-oplossingen.
Democratisering van AI door middel van vLLM-technologie en open source
Red Hat en Neural Magic zullen het vLLM-project stimuleren, een open-source initiatief ontwikkeld aan de University of California, Berkeley, dat de optimalisatie van generatieve modellen op een breed scala aan hardware mogelijk maakt, van AMD en NVIDIA GPU’s tot x86 CPU’s. De samenwerking met vLLM zal Red Hat in staat stellen om bedrijven een open weg te bieden om AI-strategieën te ontwikkelen die kunnen worden ingezet in hun eigen datacenters, in de cloud of aan de rand van het netwerk.
Neural Magic, opgericht in 2018 als een spin-off van het MIT, is gespecialiseerd in inference software die de prestaties van diepe leermethoden verbetert. Door zich aan te sluiten bij Red Hat, zal het bedrijf helpen de capaciteiten van Red Hat AI uit te breiden, waardoor bedrijven taalmodellen efficiënter en met meer controle kunnen inzetten en het gebruik van AI in bedrijfsomgevingen met hoge beveiligingsnormen wordt vergemakkelijkt.
Red Hat AI en Neural Magic: een compleet platform voor AI in de hybride cloud
De integratie van Neural Magic’s technologie zal het aanbod van Red Hat AI versterken, een platform dat modellen bevat met een open-source licentie van tot 405.000 miljard parameters, aanpasbaar aan elke hybride cloudomgeving. Dit platform maakt het mogelijk om generatieve modellen aan te passen, hun werking te optimaliseren en operationele kosten te verlagen.
Onder de belangrijkste technologieën die zullen profiteren van deze integratie zijn:
- Red Hat Enterprise Linux AI (RHEL AI): een platform voor de ontwikkeling en implementatie van AI-modellen op Linux-servers.
- Red Hat OpenShift AI: een KubernetesKubernetes (vaak afgekort als “K8sâ€) … omgeving voor de ontwikkeling, training en monitoring van AI-modellen in gedistribueerde omgevingen.
- InstructLab: een open-source project in samenwerking met IBM dat gebruikers in staat stelt deel te nemen aan de verfijning van Granite LLM-modellen.
Een toekomst van veilige, flexibele en schaalbare AI
Met deze overname versterkt Red Hat zijn inzet voor open, veilige en toegankelijke generatieve AI, ondersteund door een gemeenschap van contribuanten. De technologie van Neural Magic zal niet alleen de efficiëntie en prestaties van generatieve modellen verbeteren, maar zal het bedrijven ook mogelijk maken AI aan te passen aan hun behoeften, terwijl ze controle houden over hun data en veiligheidsbeleid.
Deze transactie, die onderhevig is aan regelgevende goedkeuring, markeert een beslissende stap in de strategie van Red Hat om zich als leider te vestigen in open-source AI-oplossingen in de hybride cloud.