NVIDIA heeft Medical Physics Simulation vrijgegeven als open source-code, een nieuwe GPU-versnelde omgeving voor het ontwikkelen en evalueren van medische robots voordat ze worden getest met fysieke apparaten, echte weefsels of patiënten. Integreerd in Isaac for Healthcare, stelt dit systeem het mogelijk om anatomieën, katheters, gidsen, wrijving, contact met weefsels en medische beelden te simuleren, evenals het uitvoeren van duizenden omgevingen parallel om moeilijk reproduceerbare fouten op te sporen.
De kernpunten van NVIDIA Medical Physics Simulation in 20 seconden
- De open omgeving combineert fysieke simulatie, medische sensoren en robotisch leren.
- NVIDIA claimt 8.192 parallelle scenario’s te hebben uitgevoerd en een trainingsproces van meer dan vijf uur te hebben teruggebracht tot minder dan twee minuten.
- CMR Surgical, Johnson & Johnson MedTech, XCath en Medtronic onderzoeken of gebruiken al onderdelen ervan.
- De simulatie kan fysieke tests verminderen, maar vervangt niet klinische of regelgevende validatie.
Het ontwikkelen van een robot die binnen het menselijk lichaam kan ingrijpen, brengt uitdagingen met zich mee die niet voorkomen in een productielijn. De anatomie verschilt per patiënt, weefsels vervormen, flexibele instrumenten buigen en beelden tijdens een ingreep kunnen ruis, verborgen zones of incompleet inzicht bevatten.
Hierbij komt nog een dataprobleem. Zeldzame gevallen, navigatiefouten en extreme situaties zijn precies de voorbeelden die het meest interessant zijn om een systeem te trainen, maar kunnen niet expres worden veroorzaakt tijdens een operatie om de reacties van een machine te observeren.
NVIDIA’s voorstel is om een deel van deze leercurve over te brengen naar een virtuele omgeving. Medical Physics Simulation combineert anatomische modellen, gedrag van medische apparaten, gesimuleerde sensoren en reinforcement learning-tools binnen een infrastructuur die ontwikkelaars kunnen inspecteren, aanpassen en verbeteren.
Anatomie, instrumenten en beelden in één omgeving
De nieuwe omgeving maakt deel uit van NVIDIA Isaac for Healthcare, het platform van het bedrijf voor simulatie, training en deployment van medische robots. Het bouwt voort op CUDA en technologieën zoals NVIDIA Warp, Newton, Isaac Lab en Cosmos.
Het doel is niet alleen een visuele voorstelling van de operatiekamer te creëren. De simulatie moet berekenen hoe een instrument zich gedraagt bij contact met een anatomische structuur, welke weerstand het ondervindt, hoe het buigt en welke informatie de robot via zijn sensoren ontvangt.
Een voorbeeld verbindt een vascular anatomy met flexibele katheters en gidsen, gesimuleerde X-ray beelden en een reinforcement learning-systeem. De agent kan navigeren door de vaten, hetzelfde proces herhalen met variërende anatomieën en een straf krijgen bij ongeschikte trajecten.
De architectuur is modulair en NVIDIA stelt voor deze uit te breiden naar andere apparaten, sensoren en specialisaties. Een fabrikant kan het gebruiken om endovasculaire instrumenten te bestuderen, terwijl een ander de omgeving aanpast voor chirurgisch robotica, autonome echografie of endoluminale navigatie.
Medical Physics Simulation combineert twee manieren om de omgeving weer te geven. Traditionele simulatie gebruikt bekende regels om beweging, contact en wrijving te berekenen. Generatieve simulatie, via Cosmos-H Dreams, probeert de visuele evolutie van een scène na te bootsen op basis van geleerde patronen met procedurele data.
Deze combinatie is nuttig wanneer een fysische vergelijking het gedrag van een instrument goed beschrijft, maar niet alle visuele variaties kan reproduceren die een camera tijdens een ingreep zou zien.
8.192 parallelle omgevingen voor versnelde training
Een van de belangrijkste voordelen van GPU-versnelling is het gelijktijdig uitvoeren van veel simulaties.
NVIDIA beweert dat ze 8.192 robottraingscenario’s parallel hebben uitgevoerd. In het getoonde voorbeeld duurde een proces dat normaal meer dan vijf uur kostte, minder dan twee minuten via native GPU-simulatie.
Het getal betreft een specifieke test en hoeft niet universeel te gelden voor alle medische robots. Het resultaat hangt af van de anatomische complexiteit, nauwkeurigheid van het fysische model, gebruikte hardware en het leer-algoritme.
Desalniettemin verandert het parallelle proces de schaal van training. In plaats van een robot te trainen met één anatomie en telkens dezelfde sequentie, kunnen teams tegelijkertijd de diameter van een vat, de stijfheid van een apparaat, de initiële positie, wrijving of de beeldkwaliteit variëren.
Dit wordt domain randomization genoemd. Doel is voorkomen dat het systeem zich uitsluitend memorizeert wat een virtuele omgeving perfect maakt en zo beter voorbereid is op echte situaties.
De simulatie maakt ook het introduceren van zeldzame fouten mogelijk: bijvoorbeeld een instrument dat afwijkt, een beeld dat gedeeltelijk geblokkeerd is of een bijzonder complexe anatomie. Het identificeren van dergelijke gedragingen vóór de productie van prototypes kan tijd en kosten beperken, afhankelijk van de mate waarin de virtuele omgeving het fysieke gedrag nauwkeurig weergeeft.
Een grote uitdaging blijft de kloof tussen simulatie en werkelijkheid, de zogeheten sim-to-real gap. Een agent kan het in virtualiteit goed doen, maar falen bij echte eigenschappen van weefsels, sensoren of instrumenten die niet volledig in de simulatie worden gereproduceerd.
Open source voor een sector die behoefte heeft aan traceerbaarheid
NVIDIA presenteert Medical Physics Simulation als de eerste open source-omgeving voor gesimuleerde medische fysica, versnellend door GPU. Het open source karakter maakt het mogelijk om gegevensgeneratie, parameterinstellingen en experimenten te controleren zonder te vertrouwen op gesloten systemen.
Deze transparantie is vooral belangrijk in de gezondheidszorgtechnologie. Ontwikkelaars moeten begrijpen welke aannames het model maakt, welke anatomieën en scenario’s worden gesimuleerd en wanneer de resultaten betrouwbaar blijven.
Het openstellen van de code betekent niet automatisch dat de omgeving volledig onafhankelijk wordt van de leverancier. Medical Physics Simulation is ontworpen rondom CUDA en integreert met andere onderdelen van NVIDIA’s platform, waardoor de maximale prestaties waarschijnlijk afhangen van de GPU’s en tools van het bedrijf.
Voor fabrikanten biedt het een gemeenschappelijke basis in plaats van telkens een nieuwe simulator vanaf nul te bouwen voor elk apparaat of procedure. Ze kunnen ook hun modellen, anatomieën en data privé houden terwijl ze gebruik blijven maken van de open infrastructuur.
De beschikbaarheid van code en enkele modelgewichten kan de reproduceerbaarheid van resultaten en technische documentatie vergemakkelijken. Maar een simulatie vormt niet meteen fysiek bewijs.
In silico-tests kunnen onderdeel zijn van regelgevende dossiers en helpen bij ontwerpbeslissingen, maar regelgevende instanties beoordelen de validiteit van het model, de beperkingen en de relatie met echte data of klinisch onderzoek. De simulator vervangt niet de noodzaak voor laboratoriumtesten, apparaatvalidatie, risicobeheer of studies met patiënten, waar dat vereist is.
CMR Surgical en Johnson & Johnson testen de aanpak
Meerdere medische technologiebedrijven gebruiken of onderzoeken components van Isaac for Healthcare en de nieuwe omgeving.
CMR Surgical, samen met Cambridge Consultants, werkt met Cosmos-H Dreams om interacties met zacht weefsel te modelleren en simulaties te genereren die op verschillende patiënten zijn afgestemd. CMR heeft daarnaast bijna 500 uur aan geanonimiseerde klinische data van het Versius-robotisch systeem bijgedragen aan de open source-omgeving Open-H Embodiment.
Volgens NVIDIA omvat dit materiaal procedures zoals cholecystectomieën, prostaatamputaties, hernia-reparaties en hysterectomieën. Het gebruik ervan moet onderworpen zijn aan anonimiserings-, toestemmings- en governance-controles, vooral bij klinische videodata.
Johnson & Johnson MedTech gebruikt Medical Physics Simulation en een Cosmos-gebaseerd model om digitale tweelingen van MONARCH te bouwen, het endoluminale platform voor urologie. Het project richt zich op het modelleren van complexe anatomieën en scenario’s rond nierstenen.
XCath gebruikt simulatie voor het trainen van autonome endovasculaire beleid, terwijl Inner Logic werkt met synthetische data en mechanische validatie van apparaten. Medtronic Structural Heart onderzoekt toepassingen samen met gesimuleerde X-ray beelden voor het navigeren met katheters.
Deze samenwerkingen betekenen niet dat de systemen direct in kliniek worden gebruikt, of dat ze goedgekeurd zijn voor medisch gebruik. Het betreft ontwikkel-, onderzoeks- en validatieprojecten aangekondigd door NVIDIA en partners.
De openheid van Medical Physics Simulation wijst op een toekomst waarin meer digitale prototypes, synthetische data en training voorafgaand aan ingrepen de norm worden. Het echte voordeel komt wanneer deze omgevingen kunnen voorspellen welke fouten zich buiten de simulatie zouden voordoen, met de tracering die de medische regelgeving vereist.
Veelgestelde vragen
Wat is NVIDIA Medical Physics Simulation?
Een open source-omgeving, versnellend door GPU, voor het simuleren van anatomie, instrumenten, sensoren en fysieke interacties tijdens de ontwikkeling van medische robots. Onderdeel van NVIDIA Isaac for Healthcare.
Kan het gebruikt worden voor het trainen van chirurgische robots?
Ja. Het stelt gebruikers in staat scenario’s te creëren voor endovasculaire navigatie, robotchirurgie en andere procedures, en koppelt simulatie aan reinforcement learning-algoritmen.
Vervangt de simulatie fysieke tests en klinische proeven?
Nee. Het kan prototypes verminderen, fouten opsporen en technische bewijzen leveren, maar vervangt niet de noodzaak voor fysieke tests, klinische validatie of regelgevingsprocedures.
Is het volledig onafhankelijk van NVIDIA-hardware?
De code is open source, maar het systeem is versnellend via CUDA en integreert met NVIDIA-technologieën. Prestaties en werking hangen daarom nauw samen met de GPU’s en tools van het bedrijf.
vía: blogs.nvidia