UpperBee, een Canadese SaaS-onderneming gespecialiseerd in vastgoedbeheer, heeft haar gevirtualiseerde infrastructuur gemigreerd van VMware en een SAN-architectuur naar een platform gebaseerd op Proxmox Virtual Environment (VE), Ceph en ZFS. Volgens het door Proxmox gepubliceerde succesverhaal heeft deze overstap knelpunten in de opslag verwijderd en de prestaties van haar SQL-infrastructuur vertienvoudigd na de implementatie van ZFS.
De kernpunten van de UpperBee-migratie in 20 seconden
- UpperBee beschikte over een VMware-infrastructuur met stijgende ondersteuningskosten en hardware dat bijna aan het einde van haar levenscyclus was.
- De oude SAN beperkte de prestaties van de ontwikkelomgevingen.
- Het bedrijf migreerde naar Proxmox VE met Ceph in een hypergeconvergd architectuur.
- ZFS werd gebruikt voor SQL-workloads, waarbij UpperBee beweert de prestaties te hebben verviervoudigd.
- Het project werd uitgevoerd met Dell-servers en Aruba-netwerken van 25/100 Gb.
Het bedrijf uit Montreal ontwikkelt een platform dat wordt gebruikt door beheerders van onroerend goed, gemeenschappen en bewoners in Canada en de Verenigde Staten. Zoals bij veel SaaS-bedrijven, is haar infrastructuur niet alleen bedoeld voor hosting van het eindproduct, maar ondersteunt ook ontwikkel-, test-, softwarebuild- en andere interne processen.
Het probleem was dat de bestaande platformomgeving deze operaties begon te beïnvloeden. UpperBee noemt twee hoofdredenen voor de migratie: ten eerste de stijgende kosten van VMware en de verouderende hardware; ten tweede de opslagarchitectuur op SAN die niet langer het vereiste prestatie-niveau bood voor haar ontwikkelomgevingen.
De gekozen oplossing elimineert de SAN als apart element voor veel workloads en vormt een hypergeconvergd model waarin de servers zelf niet alleen rekenkracht bieden, maar ook opslagcapaciteit.
Proxmox VE en Ceph vervangen het traditionele model met een aparte SAN
UpperBee koos voor Proxmox VE als nieuwe virtualisatieplatform. Ze waardeerden de mogelijkheid om virtualisatie, clustering, hoge beschikbaarheid en software-gedefinieerde opslag te beheren via een open source platform.
Een belangrijke technische beslissing was het gebruik van Ceph als gedistribueerde opslag voor generieke virtuele machines.
In een traditionele SAN-architectuur gebruiken virtualisatie-servers opslag die wordt geleverd door een externe infrastructuur. De hypergeconvergeerde aanpak van UpperBee verdeelt de opslag over de knooppunten en gebruikt Ceph voor het beheren en repliceren van gegevens.
Dit betekent niet dat Ceph automatisch elk prestatieprobleem oplost of voor alle workloads geschikt is. Het gedrag hangt af van het aantal en de specificaties van de knooppunten, opslagapparaten, netwerkinfrastructuur, configuratie en redundantiemodellen.
UpperBee heeft specifiek rekenkracht en geheugen afgestemd op Ceph en voorziet de servers van een hoge-capaciteitsnetwerk.
De infrastructuur bestaat uit Dell-servers en Aruba-switches van 25/100 Gb, geconfigureerd met Multi-Chassis Link Aggregation (MLAG). Daarnaast zijn drie soorten verkeer gescheiden via dedicated interfaces: Corosync voor de latency-gevoelige clustercommunicatie, Ceph voor opslagreplisatie en front-end verkeer voor virtuele machines en gebruikers.
Deze scheiding is cruciaal in een hypergeconvergeerde infrastructuur, omdat opslag, VM’s en clustercommunicatie fysiek dezelfde platform delen. Een onvoldoende of verkeerd gedimensioneerde netwerklaag kan oude knelpunten in de opslag verplaatsen naar andere onderdelen van de infrastructuur.
ZFS voor SQL en Ceph voor virtuele machines
UpperBee heeft niet zomaar Ceph voor alle workloads ingezet.
De nieuwe architectuur onderscheidt opslag op basis van de workload. Ceph biedt gedistribueerde opslag voor algemene VM’s, terwijl ZFS wordt gebruikt als opslaglaag voor de SQL-infrastructuur.
Een opvallende uitkomst van dit ontwerp is dat in dit deel van de omgeving een van de meest indrukwekkende prestatieverbeteringen is gerealiseerd.
Cédric Deschamps, CTO en medeoprichter van UpperBee, zegt dat de overstap naar ZFS een prestatieverbetering van vier keer heeft opgeleverd.
Deze cijfermatige verbetering moet worden begrepen als de prestatieverbetering die UpperBee rapporteert voor haar eigen infrastructuur; het is geen garantie dat elke migratie van SAN naar ZFS automatisch zulke resultaten oplevert.
De prestaties van een database worden door veel factoren beïnvloed, zoals de vorige opslagoplossing, de gebruikte disks, beschikbare geheugen, caching, ZFS-configuratie, schrijgpaarpatronen, synchronisatie en de aard van de database zelf.
Het project laat wel een interessante architecturale keuze zien: het gebruik van verschillende opslagtechnologieën binnen hetzelfde Proxmox-omgeving in plaats van alles op één laag te willen oplossen.
Proxmox VE biedt native ondersteuning voor zowel Ceph als ZFS. In het geval van UpperBee zorgt deze combinatie voor gedistribueerde opslag voor sommige workloads en lokale ZFS-opslag voor workloads met andere eisen.
De onderneming wijt de migratie ook aan het verdwijnen van de oude SAN knelpunten die haar ontwikkelprocessen belemmerden.
De migratie van VMware werd door het eigen team uitgevoerd
De overgang werd begeleid door Images et Technologie, een Canadese integrator en geautoriseerde Proxmox-partner gevestigd in Montreal.
Hun werkzaamheden omvatten het ontwerpen van de architectuur, hardware-aankoop, volledige voorafconfiguratie van het cluster en technisch advies.
Na de installatie leverden zij het geconfigureerde en gevalideerde systeem. Daarna werd het eigen team van UpperBee verantwoordelijk voor de migratie van workloads van VMware naar Proxmox VE.
Deze aanpak is belangrijk omdat één van de zorgen bij het overstappen van VMware niet alleen de vervanging van hypervisors is, maar vooral ook de operationele procedures, beheertools, kennisniveau van het team en het vermogen om de nieuwe infrastructuur te beheren na de migratie.
UpperBee wilde dat stukje controle zeker terugwinnen.
De onderneming heeft bovendien haar oude servers een nieuw doel gegeven: in plaats van ze volledig af te danken, worden ze ingezet voor taken die niet de volledige infrastructuur vereisen, zoals build-servers, staging-omgevingen of back-ups.
Proxmox noemt ook een verlaging van de totale eigendomskosten (TCO) en minder afhankelijkheid van de leverancier vergeleken met de oude omgeving. Specifieke financiële cijfers zijn niet gepubliceerd, waardoor geen directe vergelijking mogelijk is.
Het geval is dus meer waardevol vanuit een architecturaal perspectief dan als universeel kostenvergelijking tussen VMware en Proxmox.
UpperBee heeft haar infrastructuur getransformeerd van afscheidelijke virtualisatie en SAN naar een omgeving waarin Proxmox VE, Ceph en ZFS verschillende opslagmodellen combinere binnen één beheerplatform.
En het resultaat is niet slechts het vervangen van één hypervisor door een andere; tegelijk zijn servers, opslag en communicatie opnieuw ontworpen, met verbindingen tot 100 Gb en gescheiden netwerken voor Ceph en Corosync.
Dit is een belangrijke overweging in soortgelijke projecten: overstappen van VMware naar Proxmox is onderdeel van de migratie, maar optimale prestatieverbeteringen zoals door UpperBee worden gerealiseerd, vereisen een volledige herziening van de onderliggende architectuur.
Veelgestelde vragen
Waarom heeft UpperBee de overstap gemaakt van VMware naar Proxmox?
Het bedrijf noemt de hogere ondersteuningskosten, verouderde hardware en prestatieproblemen van haar SAN-architectuur als belangrijkste redenen. Daarnaast wilde men de afhankelijkheid van propriëtaire leveranciers verminderen en meer controle krijgen over de infrastructuur.
Waarvoor gebruikt UpperBee Ceph?
Ceph biedt gedistribueerde opslag voor de algemene virtuele machine-workloads binnen de nieuwe hypergeconvergeerde architectuur.
Waarvoor gebruikt UpperBee ZFS?
UpperBee gebruikt ZFS als opslaglaag voor haar SQL-infrastructuur. De CTO stelt dat deze configuratie de prestaties heeft verviervoudigd ten opzichte van de vorige omgeving.
Welke netwerkinfrastructuur heeft het nieuwe Proxmox-cluster?
De infrastructuur bestaat uit Aruba-switches van 25/100 Gb met MLAG. Verschillende netwerken worden gescheiden via dedicated interfaces: voor Corosync, Ceph-replicatie en communicatie van VM’s en gebruikers.
Bron: proxmox