De Vooruitgang van China in Kunstmatige Intelligentie: DeepSeek AI Lanceert het Fire-Flyer File System (3FS)
De vooruitgang van China in de sector van kunstmatige intelligentie (AI) blijft onverminderd doorgaan, ondanks de beperkingen die de Verenigde Staten hebben opgelegd aan de toegang tot geavanceerde chips en fabricagetechnologie. DeepSeek AI, een van de meest innovatieve bedrijven in de sector, heeft een belangrijke stap voorwaarts gezet met de lancering van het Fire-Flyer File System (3FS), een gedistribueerd bestandssysteem dat is ontworpen om werklasten voor training en inferentie in kunstmatige intelligentie te optimaliseren.
Dit open source-systeem is ontwikkeld om de moderne SSD’s en RDMA-netwerken maximaal te benutten, waardoor de leessnelheid de huidige standaard overtreft en de toegang tot grote datavolumes in omgevingen met hoge prestaties optimaliseert.
3FS: Een Bestandssysteem voor het Nieuwe Tijdperk van Kunstmatige Intelligentie
Naarmate AI-modellen complexer worden, is de behoefte aan opslagsystemen die snelle en efficiënte toegang tot gegevens mogelijk maken essentieel geworden. 3FS is ontwikkeld met dit doel voor ogen en biedt een oplossing voor gedistribueerde opslag die de prestatie en schaalbaarheid in geavanceerde computeromgevingen verbetert.
Belangrijkste kenmerken zijn onder andere:
- Gedecentraliseerde Architectuur: Combinatie van de prestaties van duizenden SSD’s en honderden opslagnodes, zorgt voor een efficiënte gegevensaccess zonder rekening te houden met de fysieke locatie.
- Sterke Consistentie: Implementeert Chain Replication met Apportioned Queries (CRAQ), wat het ontwikkelingsproces van toepassingen vergemakkelijkt door de consistentie in opgeslagen gegevens te waarborgen.
- Standaard Bestandsinterface: Maakt gebruik van opslagstructuren zonder dat nieuwe API’s geleerd hoeven te worden, waarbij gebruik wordt gemaakt van transactionele databases zoals FoundationDB voor het beheer van metadata.
Dankzij deze eigenschappen biedt 3FS een efficiënte optie voor datamanagement in rekencentra die zich richten op het trainen van AI-modellen.
Een Prestatie die Opslag in HPC-Omgevingen Herdefinieert
DeepSeek heeft 3FS getest onder verschillende omstandigheden van hoge belasting, met opmerkelijke resultaten:
- In een cluster van 180 nodes, elk uitgerust met 16 NVMe-SSD’s van 14 TiB en InfiniBand-netwerken van 200 Gbps, werd een geaggregeerde leessnelheid van 6,6 TiB/s (7,25 TB/s) behaald tijdens stress-tests.
- Tijdens de GraySort-test, een benchmark om de prestaties van het sorteren van grote gegevensvolumes te meten, verwerkte 3FS 110,5 TiB in 30 minuten en 14 seconden, met een snelheid van 3,66 TiB/minuut in een cluster van 25 nodes.
- Bij inferentietaken met taalmodellen bereikte KVCache in 3FS een maximale prestaties van meer dan 40 GiB/s per node, waardoor het opslaan in cache werd geoptimaliseerd zonder overmatig gebruik van DRAM-geheugen.
Deze resultaten tonen de capaciteit van 3FS aan om traditionele opslagknelpunten te overwinnen en de efficiëntie van AI-taken en High-Performance Computing (HPC) te verbeteren.
Impact op de Industrie en Voordelen Ten Opzichte van Traditionele Oplossingen
Efficiënte datastorage is een cruciale uitdaging bij de ontwikkeling van AI-modellen. DeepSeek heeft 3FS intern gebruikt sinds 2019, en het geïntegreerd in zijn infrastructuur om het trainen van modellen met een lager verbruik van middelen te optimaliseren.
Volgens het bedrijf heeft het opslagsysteem geleid tot 80% van de prestaties van een NVIDIA DGX-A100-server, maar met slechts 50% van de kosten en 60% van het energieverbruik. Dit biedt een aanzienlijk concurrentievoordeel voor bedrijven die kosten willen optimaliseren zonder in te boeten op prestaties.
Een ander cruciaal aspect is de toegankelijkheid: 3FS is vrijgegeven als open source-software, waardoor onderzoekers en bedrijven deze technologie kunnen gebruiken voor hun eigen AI-toepassingen. De broncode en de officiële documentatie van het bestandssysteem zijn te vinden op GitHub.
Conclusie: 3FS Zet een Nieuwe Standaard voor Opslag in AI
De ontwikkeling van het Fire-Flyer File System (3FS) positioneert DeepSeek als een van de meest innovatieve bedrijven op het gebied van kunstmatige intelligentie. Door een schaalbare, efficiënte en krachtige opslagsolutie aan te bieden, toont het bedrijf aan dat China niet alleen is ingelopen op zijn concurrenten in AI, maar ook voorop loopt in de technologische infrastructuur die nodig is voor de toekomst van de sector.
Met de groeiende vraag naar geoptimaliseerde oplossingen voor het trainen van modellen, zou 3FS wel eens een essentieel hulpmiddel kunnen worden voor datacenters, onderzoeksinstellingen en bedrijven die hun mogelijkheden op het gebied van kunstmatige intelligentie willen verbeteren zonder afhankelijk te zijn van proprietaire technologieën.
vÃa: Nieuws kunstmatige intelligentie