NVIDIA heeft een aantal geavanceerde kunstmatige intelligentie en simulatie tools onthuld die beloven de ontwikkeling van humanoïde robots te versnellen en de leer-capaciteiten in robotica te verbeteren. Deze nieuwigheden, gepresenteerd op de Robot Learning Conference (CoRL) in München, omvatten de algemene beschikbaarheid van hun robot learning framework NVIDIA Isaac Lab, zes nieuwe workflow-leringen voor de ontwikkeling van humanoïdes in het Project GR00T en tools voor het creëren van wereldmodellen met technologieën zoals NVIDIA Cosmos en NeMo Curator.
NVIDIA Isaac Lab: het open robot learning framework
NVIDIA Isaac Lab is een open-source robot learning platform gebaseerd op NVIDIA Omniverse, ontworpen om de ontwikkeling van controlebeleid op schaal in robots te vergemakkelijken, variërend van humanoïden tot viervoeters. Dit verenigde platform stelt ontwikkelaars in staat om AI-modellen te trainen voor robots die in staat zijn om complexe bewegingen en interactieomgevingen aan te pakken, waardoor het proces van het creëren van robottoepassingen wordt versneld.
Tot de grote namen in robotica die Isaac Lab al hebben geadopteerd behoren Agility Robotics, Boston Dynamics en XPENG Robotics. Met de steun van dit hulpmiddel maken technologiebedrijven over de hele wereld sneller en meer samenwerkend vooruitgang in hun robotica-projecten.
Project GR00T: geavanceerde capaciteiten voor humanoïde robots
Project GR00T is een initiatief van NVIDIA dat streeft naar het creëren van een wereldwijd ecosysteem van ontwikkelaars van humanoïde robots door het verstrekken van bibliotheken, basismodellen en specifieke workflows voor de ontwikkeling van geavanceerde robots. De zes GR00T workflows zijn ontworpen om humanoïde ontwikkelaars te helpen de meest complexe uitdagingen op dit gebied aan te gaan:
- GR00T-Gen: Generatie van 3D omgevingen met generatieve AI gebaseerd op OpenUSD.
- GR00T-Mimic: Generatie van beweging en traject voor robots.
- GR00T-Dexterity: Vaardige en precieze manipulatie.
- GR00T-Control: Volledige lichaamscontrole in robots.
- GR00T-Mobility: Navigatie en voortbeweging.
- GR00T-Perception: Multimodale perceptie voor geavanceerde sensoren.
Jim Fan, research manager bij NVIDIA, benadrukte dat humanoïde robots “de volgende golf van ingebouwde AI vertegenwoordigen”, en dat deze workflows zijn ontworpen om de technologische eisen van deze opkomende trend aan te gaan.
Geavanceerde tools voor het maken van wereldmodellen
Het creëren van wereldmodellen – digitale representaties van omgevingen die robots in staat stellen te voorspellen hoe te interacteren met objecten – is een proces dat grote hoeveelheden data en aanzienlijke computerkracht vereist. Om deze uitdaging aan te gaan, heeft NVIDIA de Cosmos Tokenizer en NeMo Curator gelanceerd, twee tools die de compressie en curatie van video- en beelddata optimaliseren.
- NVIDIA Cosmos Tokenizer: Biedt hoogwaardige en efficiënte visuele tokenisatie, met compressieratio’s tot 12 keer hoger dan momenteel mogelijk, waardoor generatieve toepassingen in diverse visuele gebieden ontwikkeld kunnen worden.
- NeMo Curator: Optimaliseert de gegevensverwerking in video via een geautomatiseerde en schaalbare pijplijn, in staat om gegevens te verwerken op meerdere GPU’s en tot 100 petabytes aan informatie te beheren. Dit hulpmiddel is speciaal ontworpen om de ontwikkelingstijd en kosten te verminderen, wat direct ten goede komt aan de robotica-industrie.
Eric Jang, vicepresident van AI bij 1X Technologies, uitte dat de Cosmos Tokenizer het bedrijf in staat stelt efficiënter wereldmodellen te trainen, met hoge compressie en behoud van visuele getrouwheid.
Bevorderen van de leercommunity in robotica
NVIDIA heeft 23 onderzoeksrapporten gedeeld en negen workshops georganiseerd op het CoRL, met onderwerpen variërend van de integratie van visuele taalmodellen tot strategieën voor het plannen van complexe taken en het verwerven van vaardigheden via menselijke demonstraties. Twee van de meest opvallende vooruitgangen zijn SkillGen, een systeem gebaseerd op synthetische gegevensgeneratie om robots te trainen, en HOVER, een basismodel voor het beheersen van de voortbeweging en manipulatie in humanoïde robots.
Bovendien stimuleert de onderneming de samenwerking met de ontwikkelaarsgemeenschap door middel van partnerschappen met Hugging Face en de oprichting van specifieke programma’s zoals het NVIDIA Humanoid Robot Developer Program, waar ontwikkelaars toegang krijgen tot exclusieve bronnen en gespecialiseerde ondersteuning.
Beschikbaarheid en toegang
NVIDIA Isaac Lab 1.2 en de Cosmos Tokenizer zijn nu beschikbaar op GitHub en Hugging Face, terwijl NeMo Curator beschikbaar zal zijn tegen het einde van de maand. NVIDIA zal binnenkort ook de nieuwe workflows van Project GR00T lanceren, samen met een reeks handleidingen en tutorials om ontwikkelaars te helpen integreren in dit ecosysteem.
Deze set van tools vertegenwoordigt niet alleen een technologische vooruitgang, maar ook een opening naar een meer collaboratief ontwikkelingsecosysteem. Door deze combinatie van AI en simulatie, streeft NVIDIA naar het versnellen van de evolutie van robotica en in het bijzonder van de humanoïdes, waarmee de weg wordt geëffend naar een toekomst waar robots effectieve metgezellen zijn in complexe en dynamische omgevingen.
via: Nvidia en Noticias IA