De eerste drie fases bepaalden wie er binnenkomt, hoe omgevingen gescheiden zijn en wie welke data ziet. Fase 4 gaat over de wegen ertussen: welke routes je data het platform in en uit kan nemen.

Netwerkontwerp is het minst zichtbare deel van een dataplatform. Niemand merkt het als het werkt. Maar het bepaalt of een gestolen wachtwoord genoeg is om binnen te komen, en of één regel code data naar elke plek op internet kan sturen.

De vraag voor de directie

Kan je data het platform verlaten zonder dat iemand het merkt?

Kan niemand in je organisatie elke route in en uit benoemen, ga er dan van uit dat het antwoord ja is. Dat telt voor beveiliging, voor compliance, en voor elke klant of toezichthouder die vraagt waar zijn data naartoe kan.

Waar het misgaat

De meeste netwerken zijn niet slecht ontworpen. Ze zijn helemaal niet ontworpen, omdat de pilot het zonder kon.

  • Open voor heel internet. De workspace is overal vandaan bereikbaar. Een gestolen wachtwoord werkt vanuit een café in het buitenland net zo goed als vanaf kantoor.
  • Uitgaand naar overal. Clusters en serverless compute kunnen elke website of API aanroepen. Eén regel code in een notebook is genoeg om een tabel te versturen naar een plek die niemand heeft goedgekeurd.
  • Gebouwd voor de pilot. Het netwerk is snel opgezet voor de eerste use case: subnets te klein om te groeien, geen plan voor private verbindingen of DNS. Groeien betekent opnieuw bouwen.

Vijf bouwstenen

De netwerkrichtlijnen en referentiearchitecturen van Databricks zelf wijzen naar hetzelfde patroon dat wij bij klanten inrichten.

1. Een eigen netwerk, gebouwd om te groeien

Classic compute draait in een netwerk dat je zelf beheert: een customer-managed VPC op AWS of VNet op Azure. Jij bepaalt de adresreeksen, routering en beveiligingsregels. Dimensioneer de subnets voor waar je naartoe gaat, niet voor waar je nu staat. Elke compute-node gebruikt twee IP-adressen, dus een subnet dat past bij de pilot, past niet bij productie.

2. Geen publieke IP’s op compute

Met secure cluster connectivity, de standaard, hebben compute-nodes geen publieke IP-adressen en geen open inkomende poorten. Clusters leggen zelf verbinding met het control plane van Databricks; niets op internet kan een verbinding met hen openen.

3. Alleen bekende ingangen

Gebruikers en tools bereiken het platform alleen vanuit netwerken die je kent, zoals kantoor of de bedrijfs-VPN. IP-toegangslijsten op accountniveau dwingen dat in één keer af voor elke workspace. Voor gevoelige omgevingen haalt Private Link het verkeer helemaal van het publieke internet.

4. Uitgaand alleen naar goedgekeurde plekken

Data mag alleen weg naar bestemmingen die je hebt goedgekeurd: je opslag, interne systemen, specifieke diensten. Voor classic compute dwingt een firewall of egress-filtering dat af. Voor serverless compute doen egress control-policies en network connectivity configurations hetzelfde, met vaste IP-adressen die je opslag en databases kunnen toestaan. Gebruik aparte configuraties per omgeving.

5. Een beveiligingsniveau dat past bij de data

Niet elke omgeving heeft hetzelfde niveau nodig. Databricks beschrijft drie referentiearchitecturen: managed security als basis, hardened connectivity met private verbindingen en egress control, en een volledig geïsoleerde omgeving voor gereguleerde sectoren. Kies bewust een niveau per omgeving, en leg die keuze vast.

Vier checks voor je directieteam

Je hoeft geen netwerkdiagram te lezen om te weten of deze fase op orde is. Stel deze vier vragen:

  • Kan iemand inloggen vanuit een netwerk dat we niet kennen?
  • Heeft een van onze clusters een publiek IP-adres?
  • Kan een notebook data naar elke willekeurige website sturen?
  • Hebben we per omgeving bewust een beveiligingsniveau gekozen, en staat dat op papier?

Zijn de antwoorden nee, nee, nee en ja, dan weet je hoe je data reist.

Volgende: Fase 5, Opslag

Liggen de routes vast, dan is de volgende vraag de bestemming: waar je data echt staat, wie bij die opslag kan, en hoe die beschermd is. Dat is Fase 5.

Dit artikel hoort bij onze serie Databricks in productie. Wil je weten waar je platform staat? Neem contact op met Ferdinand via LinkedIn.