EVPN-VXLAN: gids voor het opschalen van datacenternetwerken zonder de laag 2 uit te breiden

EVPN-VXLAN faciliteert het opbouwen van datacenter-netwerken waarbij de fysieke infrastructuur end-to-end draait op IP, terwijl klantsegmenten, virtuele netwerken en beleidsregels worden gecreëerd op een overlagenplan. Deze aanpak elimineert niet de laag 2, maar voorkomt fysieke uitbreiding ervan door alle switches, vermindert afhankelijkheid van Spanning Tree Protocol (STP) en biedt een controlevlak dat MAC-, IP-adressen en prefixen kan distribueren via BGP.

De kernpunten van EVPN-VXLAN in 30 seconden

• De underlay is een gerouteerd IP-netwerk, meestal met een leaf-spine-topologie.
• VXLAN encapsuleert Ethernet over UDP en wijst elke virtuele netwerkgroep een VNI toe.
• BGP EVPN verspreidt endpoint-locaties, gateways en prefixen tussen de VTEP’s.
• Het fabric kan alle beschikbare verbindingen gebruiken via ECMP, zonder wegen te blokkeren zoals STP dat zou doen.
• EVPN-VXLAN verbetert isolatie en schaalbaarheid, maar vereisen aandacht voor MTU, BGP-ontwerp, BUM-verkeer en automatisering.

Jarenlang groeiden datacenters door VLANs, trunk-verbindingen en multi-chassis aggregatie met technologieën. Dit model blijft geschikt voor kleine tot middelgrote omgevingen, maar krijgt beperkingen bij het verbinden van honderden racks, veel klanten of het behouden van load mobility zonder het failure domain uit te breiden.

EVPN-VXLAN verandert de vraag. In plaats van hoe je elke VLAN naar iedere uithoek van het datacenter brengt, stelt het waar services nodig zijn en hoe deze veilig kunnen worden aangekondigd via een stabiel IP-netwerk.

Het grote probleem van uitgebreide L2-domeinen

Een traditioneel Ethernet-netwerk leert de locatie van apparaten via MAC-adressen in ontvangen frames. Als een bestemming onbekend is, wordt het verkeer gerepliceerd naar de juiste poorten. Broadcast- en sommige multicast-berichten worden ook door het L2-domein verspreid.

Bij beperkte omgeving is dat beheersbaar. Problemen ontstaan wanneer één VLAN door meerdere racks of zelfs gebouwen gaat:

• Broadcasts worden omvangrijker.
• Foutieve configuraties kunnen grote zones beïnvloeden.
• Onbekende bestemming-traffic neemt toe.
• STP kan verbindingen blokkeren om lusvorming te voorkomen.
• Diagnose vereist tracking van VLANs, trunks en MAC-tabellen over meerdere devices.
• Wijzigingen beïnvloeden een steeds groter operationeel domein.

Het probleem ligt niet bij Ethernet als technologie, maar bij het omvormen van het datacenter tot één grote switch. De L2-laag blijft nodig voor serververbindingen en specifieke diensten, maar hoeft niet de transportlaag tussen alle switches te vormen.

EVPN-VXLAN maakt deze scheiding mogelijk. Fysieke connectiviteit tussen nodes wordt via IP-routing afgehandeld. Ethernet- of IP-diensten van elke klant worden erboven gecapsuleerd en geïsoleerd.

Underlay en overlay: twee netwerken met verschillende functies

De architectuur wordt duidelijker door het in twee lagen te verdelen.

De IP-underlay

De underlay is het fysieke netwerk dat switches verbindt. In datacenters heeft dit meestal een leaf-spine-topologie gebaseerd op een Clos-architectuur:

• Leaf-switches verbinden servers, racks, firewalls en andere apparatuur.
• Elke leaf is met alle spine-switches verbonden.
• Spines transporteren verkeer tussen leafs en kennen de VLANs van klanten niet noodzakelijkerwijs.

Deze topologie biedt meerdere pad-opties met gelijke kosten. Verkeer wordt verdeeld via ECMP, waardoor gelijktijdig alle beschikbare paden worden gebruikt en routes bij uitval worden behouden.

Het protocol voor de underlay kan eBGP, OSPF of IS-IS zijn, afhankelijk van platform en ontwerp. Het belangrijkste is dat het een stabiele IP-verbinding biedt tussen de VTEP’s, die vaak loopback-adressen gebruiken als tunneluiteinden.

De underlay moet werkend zijn voordat de overlay wordt opgebouwd. Als VTEP’s onderling niet via IP kunnen communiceren, kan VXLAN geen services tussen hen transporteren.

De overlay van services

De overlay bevat de virtuele netwerken die door servers en clients worden gebruikt. Het kan laag 2-connectiviteit bieden, routing tussen subnets en isolatie via VRF.

Leaf-switches die als VTEP fungeren, encapsuleren verkeer dat het overlay binnenkomt en decapsuleren bij aankomst. Voor spine-switches zien die pakketten eruit als gewoon IP-verkeer: ze hoeven niet te weten welke MAC, VLAN of klant er binnen zit.

Deze onafhankelijkheid maakt het mogelijk om overlay-diensten te wijzigen zonder fysiek netwerk te herontwerpen. Ook kunnen hetzelfde fabric-IP en -beleid worden hergebruikt voor meerdere geïsoleerde klanten.

Wat VXLAN toevoegt

VXLAN, of Virtual eXtensible Local Area Network, encapsuleert een Ethernet-frame in een UDP-pakket. De buitenste koptekst bevat IP-adressen van de VTEP’s van oorsprong en bestemming, zodat het onderlaag het kan routeren zoals elk ander IP-pakket.

Elke segment krijgt een VNI (VXLAN Network Identifier) van 24 bits. Dit biedt bijna 16,7 miljoen unieke identifiers, vergeleken met de 12-bits VLAN-space IEEE 802.1Q dat in praktijk 4094 bruikbare waarden heeft.

Een eenvoudige vergelijking:

VXLAN vormt het datalageniveau. Het bepaalt hoe verkeer wordt getransporteerd, maar optimaliseert niet waar elk endpoint zich bevindt. Het oorspronkelijke ontwerp in RFC 7348 ondersteunt flood-and-learn-mechanismen waarbij het netwerk delen van verkeer repliceert om bestemmingen te ontdekken.

BGP EVPN voegt het controlvlak toe dat de flood-and-learn-werking minimaliseert.

Hoe BGP EVPN werkt

Ethernet VPN (EVPN) gebruikt Multiprotocol BGP om informatie over overlay-diensten uit te wisselen. VTEP’s adverteren welke endpoints ze hebben en de rest van het fabric leert hoe ze die kunnen bereiken.

De meest voorkomende route-types zijn:

• Type 2, MAC/IP Advertising: adverteert een MAC-adres en, indien beschikbaar, het bijbehorende IP-adres.
• Type 3, Inclusive Multicast Ethernet Tag: informeert over de betrokkenheid van een VTEP bij een domein en ondersteunt uitzending van broadcast-, onbekend-unicast- en multicast-verkeer.
• Type 5, IP Prefix: publiceert IP-prefixen van een VRF zonder dat hier een MAC-adres aan gekoppeld is.

Routen bevatten attributen zoals Route Distinguisher en Route Target. Deze zorgen dat identieke routes binnen BGP uniek blijven en bepalen welke VRF of EVPN-instantie de informatie importeert of exporteert.

In grote fabric’s is het vaak beter om BGP-sessies niet tussen alle leaf’s te onderhouden. Spine kunnen fungeren als route reflectors, die EVPN-routes ontvangen en herdistribueren zonder dat ze zelf als VTEP in datadelast betrokken zijn.

Deze scheiding verbetert ook de zichtbaarheid. Operators kunnen via BGP zien waar een MAC-adres werd aangekondigd, welk VTEP dat deed en bij welke VNI het hoort, in plaats van alleen op hop-by-hop tabellen te vertrouwen.

Voorbeeld van communicatie tussen twee racks

Stel dat server A verbonden is met leaf 1 en server B met leaf 4. Beide behoren tot VNI 10100.

Het vereenvoudigde proces:

1. Leaf 1 leert lokaal de MAC en IP van server A.
2. Het adverteert deze informatie via een EVPN-route van type 2.
3. Leaf 4 doet hetzelfde voor server B.
4. Beide VTEP’s kennen zo de externe locatie van elk endpoint.
5. Wanneer A een frame naar B stuurt, koppelt leaf 1 dat aan VNI 10100.
6. Leaf encapsuleert het frame in VXLAN en voegt de IP-adressen van de VTEP’s toe.
7. De underlay roteert het pakket via één van de ECMP-paden.
8. Leaf 4 decapsuleert en levert het frame aan server B.

Vanuit het perspectief van de servers blijven ze binnen hetzelfde logische segment, maar fysieke verbindingen tussen racks transporteren geen VLAN’s via trunks; ze transporteren IP-pakketten die zijn gecapsuleerd in VXLAN.

Hierdoor is het nauwkeuriger te zeggen dat EVPN-VXLAN fysiek geen layer 2 uitbreidt over het hele fabric, maar een logische layer 2-extensie biedt wanneer dat nodig is.

Minder flooding, maar geen volledig flood-vrij

BGP EVPN vermindert flooding, maar elimineert het niet volledig.

BUM-verkeer (broadcast, unknown unicast en multicast) vereist nog steeds een distributiemethode. Dit kan via multicast in de underlay of via ingress replication, waarbij de VTEP-invoer een kopie verstuurt naar alle geïnteresseerde VTEPs.

EVPN kan ook ARP- en Neighbor Discovery-berichten verminderen. Door de MAC-IP-relatie te kennen via route-type 2, kan een VTEP bepaalde vragen lokaal beantwoorden in plaats van door te geven over het hele segment.

De effectiviteit hangt af van implementatie, configuratie en datakwaliteit. Het ontwerpen van EVPN-VXLAN vereist meer dan het activeren van een protocol; het is noodzakelijk om flooding te beheersen en juiste policies te implementeren.

Gedistribueerde routing en anycast gateways

Een krachtig kenmerk is het plaatsen van de gateway van een subnet direct op de leaf-switches.

Met een anycast gateway presenteren meerdere leafs dezelfde IP- en MAC-adressen als gateway voor servers. Iedere load gebruikt de lokale gateway, waardoor verkeer tussen subnets dicht bij de bron kan worden gerouteerd zonder centrale routers.

Het standaardprotocol voor geïntegreerde routing en bridging (IRB) ondersteunt zowel asymmetrische als symmetrische modellen. In grote multi-tenant fabric’s is vaak IRB-symmetrisch de standaard:

• De VTEP van binnenkomst route het verkeer naar de juiste VRF.
• Verkeer cross de overlay via een layer 3 VNI.
• De VTEP van uitgaand levert het af aan het doelsegment.

Dit model voorkomt dat alle leafs alle VLANs van een VRF hoeven te bevatten en biedt doorgaans een meer gestandaardiseerde schaalbaarheid. Het ontwerp vereist gedegen kennis van layer 2 en layer 3 VNI’s, VRF’s en beleid voor import en export.

Actieve-activiteit multihoming zonder STP

EVPN ondersteunt ook redundante verbindingen van servers, firewalls of switches naar meerdere leafs. Via een Ethernet Segment Identifier (ESI) kunnen VTEP’s aangeven dat ze hetzelfde segment delen.

De all-active-modus maakt gelijktijdig gebruik van alle verbindingen mogelijk en ondersteunt functies zoals:

• Aanwijzen van de designated forwarder voor bepaald BUM-verkeer.
• Voorkomen van duplicatie.
• Gecoördineerd MAC-learning.
• Snel verwijderen van routes bij uitval van een link of leaf.

Dit biedt een gestandaardiseerd alternatief voor sommige proprietary MLAG-ontwerpen. Het betekent niet dat MLAG niet meer nuttig is of dat alle apparaten EVPN-functionaliteiten ondersteunen, maar het vermindert de afhankelijkheid van grote STP-domeinen.

STP kan nog steeds aan de rand blijven voor bijvoorbeeld Ethernet-apparaten die lussen kunnen veroorzaken. Wat verdwijnt, is de rol van STP als het belangrijkste mechanisme voor het bepalen welke backbone-verbindingen actief blijven.

De impact van MTU en andere technische details

VXLAN voegt headers toe aan het originele pakket. Bij IPv4-transport kan deze overhead ongeveer 50 bytes bedragen, afhankelijk van scenario. Als de onderlaag een MTU van 1500 bytes heeft en de servers frames van dezelfde grootte sturen, kan het gecapsuleerde pakket de limiet overschrijden.

Omdat veel datacenter switches VXLAN niet fragmenteren zoals vaak wordt verwacht, kan een inconsistent MTU leiden tot moeilijk te interpreteren packet-verliezen. Daarom wordt de onderlaag configurationeel vaak op jumbo frames gezet en wordt het end-to-end getest voordat de overlay wordt geïmplementeerd.

Ook moet worden gepland:

• Loopback-adressen en point-to-point-verbindingen.
• ASN’s voor underlay en overlay.
• Route reflectors en redundantie van control plane.
• Hardwarelimieten voor MAC’s, routes, VNI en VRF’s.
• Distributie van BUM-verkeer.
• Convergentie bij uitval.
• Route-filtering en beleidsregels tussen klanten.
• Interoperabiliteit tussen fabrikanten.
• Automatisering en consistente configuratie.

RFC’s definiëren de procedures, maar platformmogelijkheden verschillen qua capaciteit, standaarden, standaardwaarden en optionele functies. Interoperabiliteit moet getest worden met de exacte versies die in productie worden gebruikt.

Hoe incidenten te diagnosticeren

EVPN-VXLAN verdeelt de netwerklagen, en het diagnosticeren volgt die structuur.

1. Controleren van de underlay

• Routingbuurten en connectiviteit.
• Routes naar VTEP-loopbacks.
• ECMP-wegen en padbereikbaarheid.
• MTU en packetloss.
• Fysieke fouten en latency.

2. Control plane EVPN controleren

• MP-BGP-sessies.
• Actieve EVPN-route-families.
• Routes van type 2, 3 en 5.
• Imported en exported Route Targets.
• Next hops en bron VTEP’s.
• Route-migratie en mobiliteit.

3. Overlay controleren

• Relatie tussen VLAN, bridge domain en VNI.
• VNI’s voor laag 3 en VRF.
• Anycast gateway.
• MAC- en IP-tabellen.
• ARP- of ND-suppressie.
• VXLAN-encapsulatie en -decapsulatie.
• Deelnemende VTEP’s per segment.

De complexiteit blijft bestaan. De aanpak verschuift van één grote, moeilijk beheersbare laag 2 naar meerdere lagen met duidelijke verantwoordelijkheden. Deze scheiding helpt bij het lokaliseren van problemen, mits het operationeel team over de juiste telemetry, procedures en kennis beschikt.

Wanneer EVPN-VXLAN inzetten

De architectuur is vooral geschikt wanneer het datacenter:

• Veel gesegmenteerde of geïsoleerde klanten bevat.
• Horizontale groei door nieuwe racks vereist.
• Actief gebruik maakt van meerdere paden.
• Gedistribueerde gateways nodig heeft.
• Actieve-activiteit multihoming vereist.
• Automatisering met herhaalbare modellen gewenst is.
• Mobiele workloads nodig heeft.
• Fysieke infrastructuur en services moet scheiden.

Het is niet altijd de beste keuze. Een klein environment met weinig VLANs, stabiele vereisten en enkele switches kan prima functioneren met een traditionele aanpak. Onnodig gebruik van BGP EVPN, VTEP, VRF en beleid kan de operationele kosten verhogen.

De keuze moet gebaseerd zijn op huidige en verwachte groei, technische capaciteit en hardware-ondersteuning. EVPN-VXLAN moet niet worden aangenomen omdat het modern is, maar wanneer de scheiding tussen underlay en overlay echte problemen oplost zoals schaalbaarheid, redundantie, isolatie of beheer.

Veelgestelde vragen

Maakt EVPN-VXLAN de laag 2 volledig overbodig?

Nee. Servers kunnen nog steeds Ethernet gebruiken en binnen hetzelfde logische segment blijven. Het verschil is dat VLAN’s niet fysiek door het hele fabric hoeven te worden getransporteerd via trunks: VXLAN doet dat over IP-netwerken.

Zijn VXLAN en EVPN dezelfde technologie?

Nee. VXLAN bepaalt de encapsulatie en vormt het datalageniveau, terwijl EVPN BGP gebruikt als control-plane voor het distribueren van MAC-, IP-adressen, prefixen en segmenttoewijzingen.

Verwijdert EVPN-VXLAN STP volledig?

Nee. STP wordt minder belangrijk omdat het underlay IP-routing en ECMP gebruikt. Desalniettemin kan het nog steeds nodig zijn in toegangslagen of externe apparatuur die lussen kunnen veroorzaken.

Wat moet als eerste worden gecontroleerd bij een VXLAN-verbinding die faalt?

De IP-connectiviteit tussen VTEP’s, de route naar hun loopbacks en de MTU-instellingen van de onderlaag. Daarna de BGP EVPN-sessies, VNI’s en uitgedragen routes.