Fastly revolutioneert generatieve AI met zijn AI-accelerator: antwoorden 9 keer sneller.

Het wereldwijde cloudplatformbedrijf Fastly heeft de lancering van zijn nieuwe AI-versneller aangekondigd, een semantische cachingoplossing ontworpen om de prestaties te optimaliseren en kosten te verminderen voor generatieve AI-applicaties gebaseerd op grootschalige taalmodellen (GPT).

Verbeterde prestaties en efficiëntie

De AI-versneller van Fastly belooft responstijden tot 9 keer sneller dan traditionele methoden, waarmee een significante vooruitgang wordt gemarkeerd in het oplossen van de knelpunten die generatieve AI-applicaties beïnvloeden. Het hulpmiddel, dat aanvankelijk ondersteuning bood voor OpenAI’s ChatGPT, is nu ook geïntegreerd met Microsoft Azure AI Foundry, waardoor het bereik wordt uitgebreid.

De implementatie is opmerkelijk eenvoudig voor ontwikkelaars. Volgens Fastly is het voldoende om het toegangspunt van de API van de applicatie bij te werken, wat in veel gevallen slechts een verandering van één regel code vereist. Deze aanpak vereenvoudigt de integratie enorm voor degenen die al werken met generatieve AI-applicaties.

Vermindering van API-oproepen en kosten

Een van de belangrijkste kenmerken van de AI-versneller is het vermogen om de afhankelijkheid van herhaalde oproepen naar de API’s van AI-aanbieders te verminderen, waardoor zowel de prestaties als de gebruikerservaring wordt verbeterd. Deze functionaliteit vermindert niet alleen de operationele kosten, maar ontsluit ook het ware potentieel van applicaties op basis van taalmodellen.

Meningen van deskundigen

Dave McCarthy, vicepresident van onderzoek naar Cloud en Edge Services bij IDC, benadrukte het belang van deze innovatie:

«De AI-versneller van Fastly vormt een significante stap voorwaarts in het oplossen van de prestatieproblemen die gepaard gaan met de opkomst van generatieve AI. Het unieke benadering van semantische caching vermindert niet alleen kosten, maar maximaliseert ook de prestaties zonder snelheid of efficiëntie in te boeten. Dit versterkt Fastly’s positie als een belangrijke speler in het dynamische landschap van cloud aan de rand.»

Toegang voor huidige klanten

Huidige klanten van Fastly kunnen direct toegang krijgen tot de AI-versneller via hun accounts, waardoor zij onmiddellijk kunnen profiteren van dit nieuwe hulpmiddel ontworpen om de prestaties van generatieve AI-applicaties te revolutioneren.

Met deze oplossing versterkt Fastly zijn rol in de markt voor edge-technologieën, en biedt ontwikkelaars en bedrijven een krachtig hulpmiddel om voorop te blijven lopen in een snel veranderende AI-omgeving.

via: edgeir.com

Scroll naar boven