De meeste dataprojecten in grote organisaties lopen niet vast op de technologie. Ze lopen vast op het fundament eronder. In deze serie lopen we de tien fases van een productierijpe Databricks-omgeving door, in de volgorde waarin je ze echt bouwt. We schrijven voor de mensen die het goedkeuren, niet alleen voor de mensen die het bouwen.

Fase 1 is identity: wie er binnenkomt. Die komt om een eenvoudige reden eerst. Elke volgende fase, van workspaces en Unity Catalog tot kostenbeheersing, kent rechten toe aan identiteiten. Zijn die identiteiten zelf rommelig, dan erft elke laag erboven die rommel.

De vraag voor de directie

Kun je vandaag zeggen wie toegang heeft tot je dataplatform, en waarom?

In een gezonde inrichting komt dat antwoord in een paar minuten uit één plek. In veel organisaties kost het een week aan spreadsheets, mails en screenshots, en zelfs dan weet niemand het zeker. Herken je dat, dan is identity je blinde vlek.

Waar het misgaat

Identity gaat zelden op dag één mis. Het slijt, ongemerkt, terwijl het platform groeit van pilot naar iets waar het bedrijf op draait.

  • Gebruikers worden met de hand toegevoegd, workspace voor workspace. Elke nieuwe workspace is weer een lijst om bij te houden. Vertrekkers worden uit de ene verwijderd, in de andere vergeten, en houden maandenlang toegang.
  • Rechten worden aan personen gegeven in plaats van aan rollen. Een snelle uitzondering voor één persoon is makkelijk gemaakt en onmogelijk te controleren. Na een jaar kan niemand meer uitleggen wie wat ziet, of waarom.
  • Productiejobs draaien op persoonlijke accounts. Een pipeline die onder de naam van een collega is ingepland, werkt tot die collega van rol wisselt of vertrekt. Dan breekt hij, of erger: hij blijft draaien met rechten die niemand zo bedoeld had.

Vijf bouwstenen

De identity-richtlijnen van Databricks zelf wijzen naar hetzelfde fundament dat wij bij klanten inrichten.

1. Eén bron van waarheid

Je identity provider, bijvoorbeeld Microsoft Entra ID, beheert elke gebruiker en elke groep. Identiteiten worden één keer op accountniveau in Databricks beheerd en van daaruit aan workspaces toegewezen, in plaats van per workspace apart.

2. Single sign-on met MFA, voor iedereen

Alle gebruikers loggen in via je identity provider, waar multifactorauthenticatie verplicht is. Met unified login geldt dat ook voor account- en workspace-admins. Geen losse wachtwoorden, geen uitzonderingen voor de mensen met de meeste macht.

3. Automatische provisioning

Nieuwe medewerkers, interne verschuivingen en vertrekkers lopen automatisch van de identity provider naar het Databricks-account, via automatic identity management of SCIM-provisioning op accountniveau. Vertrekt iemand, dan stopt de toegang dezelfde dag, zonder dat iemand een lijst met workspaces hoeft af te lopen.

4. Groepen, geen individuen

Toegang tot workspaces en data in Unity Catalog wordt toegekend aan groepen die echte rollen volgen, zoals financieel analisten of data engineers. Wil je veranderen wat iemand mag, dan pas je zijn groepslidmaatschap aan: op één plek, met een audit trail.

5. Service principals voor productie

Productiepipelines draaien als service principals: machine-identiteiten met precies de rechten die de job nodig heeft. Gewone gebruikers hebben geen schrijfrechten op productiedata nodig, en een ontslag breekt nooit meer een pipeline.

Twee snelle winsten

  • Houd het aantal admins klein. Een handvol account- en workspace-admins, allemaal achter SSO en MFA. Het dagelijkse groepsbeheer kun je delegeren zonder volledige adminrechten uit te delen.
  • Laat tokens verlopen. Databricks raadt OAuth aan boven langlevende personal access tokens. Zijn tokens toch nodig, dan kunnen admins beperken wie ze mag aanmaken en hun levensduur begrenzen; Databricks adviseert onder de 90 dagen.

Vier checks voor je directieteam

Je hoeft geen configuratie te lezen om te weten of deze fase op orde is. Stel deze vier vragen:

  • Verliest een vertrekker dezelfde dag zijn toegang?
  • Is elk recht terug te voeren op een groep?
  • Draait er nog een productiejob onder een persoonlijk account?
  • Kunnen we onze admins op één hand tellen, en verloopt elk token?

Kun je alle vier afvinken, dan is je voordeur op orde. Zo niet, dan is dit de goedkoopste fase om te repareren, en de duurste om uit te stellen.

Volgende: Fase 2, Workspaces

Staat identity, dan is de volgende vraag hoe teams gescheiden blijven: welke workspaces je nodig hebt, wat in welke workspace hoort, en hoe ontwikkeling, test en productie uit elkaar blijven. Dat is Fase 2.

Dit artikel hoort bij onze serie Databricks in productie. Wil je weten waar je platform staat? Neem contact op met Ferdinand via LinkedIn.