In Fase 1 hebben we bepaald wie er binnenkomt. In Fase 2 hebben we de omgevingen gescheiden. Fase 3 gaat over wat er binnen die omgevingen gebeurt: wie welke data ziet, en waarom.

In Databricks is dat de taak van Unity Catalog. Dat is de governancelaag voor al je data en AI-assets, van tabellen en bestanden tot modellen. Rechten, eigenaarschap, lineage en auditlogs staan op één plek. Richt je het goed in, dan is elke toegangsbeslissing uit te leggen. Laat je het vanzelf groeien, dan kan niemand dat meer.

De vraag voor de directie

Kun je voor elke gevoelige dataset laten zien wie hem kan zien, wie eigenaar is en wie hem vorige maand heeft gebruikt?

In een gezonde inrichting is dat een query. In veel organisaties is het een project: weken aan exports, spreadsheets en gesprekken, met een antwoord dat niemand helemaal vertrouwt. Dat telt voor privacywetgeving, voor audits, en steeds vaker voor AI. Modellen en agents lezen dezelfde data als je mensen.

Waar het misgaat

Toegang wordt zelden ontworpen. Het groeit, verzoek voor verzoek.

  • Rechten per persoon, per tabel. Elk verzoek wordt een directe grant aan één gebruiker op één tabel. Na een jaar zijn het er duizenden, en kan niemand uitleggen waarom een bepaalde persoon een bepaalde tabel ziet.
  • Eigendom van wie het bouwde. De engineer die een tabel aanmaakte, is er eigenaar van. Wisselt die van rol of vertrekt hij, dan kan niemand de rechten nog aanpassen zonder tussenkomst van een admin.
  • Kopieën in plaats van policies. Om gevoelige kolommen te verbergen, maken teams “geanonimiseerde” kopieën per doelgroep. Die kopieën lopen uit de pas met het origineel, en het origineel blijft open voor iedereen die het vindt.

Vijf bouwstenen

De Unity Catalog-richtlijnen van Databricks zelf wijzen naar hetzelfde fundament dat wij bij klanten inrichten.

1. Een heldere catalogstructuur

Catalogs zijn de belangrijkste eenheid van isolatie. Deel ze in per omgeving, per domein, of allebei, bijvoorbeeld finance_prod en finance_dev. Houd het aantal klein, een handvol per metastore, en geef teams en projecten een eigen schema in plaats van een eigen catalog. Eén metastore per regio bedient alle workspaces in die regio.

2. Groepen zijn eigenaar, groepen krijgen toegang

Productiecatalogs en -schema’s zijn eigendom van een groep, nooit van een individu. Rechten gaan naar groepen die echte rollen volgen, zoals ingericht in Fase 1. Schrijfrechten op productietabellen zijn voorbehouden aan service principals, zodat niemand per ongeluk productiedata overschrijft.

3. Vindbaar, niet leesbaar

Iedereen in de organisatie kan zien welke data er bestaat, zonder de inhoud te zien. Vindt iemand iets wat hij nodig heeft, dan vraagt hij toegang aan via de catalog, en beslist de groep die eigenaar is. Vindbaarheid hangt dan niet meer af van wie je kent.

4. Gevoelige data beschermd door policies

In plaats van kopieën wordt gevoelige data beschermd waar hij staat. Kolommen krijgen een tag, bijvoorbeeld als persoonsgegeven, en attribute-based access control (ABAC)-policies op een catalog of schema passen kolommaskering en rijfilters toe op elke tabel met die tag. Een nieuwe tabel met een getagde kolom is beschermd zodra hij verschijnt. Data Classification helpt gevoelige kolommen te vinden die nog niemand heeft getagd.

5. Alle toegang via de catalog

Data staat in Unity Catalog managed tables en volumes. Niemand leest de opslag direct, via mounts of bucketrechten. External tables zijn de uitzondering, alleen als een ander systeem directe toegang nodig heeft. Omdat elke leesactie via de catalog loopt, laat lineage zien waar data vandaan komt en waar hij heen gaat, en toont het auditlog wie wat gebruikte.

Vier checks voor je directieteam

Je hoeft het platform niet te openen om te weten of deze fase op orde is. Stel deze vier vragen:

  • Gaat elk recht naar een groep, en is elke productiecatalog eigendom van een groep?
  • Zijn gevoelige kolommen beschermd door een policy, of door een kopie van de tabel?
  • Kan iemand data direct uit de opslag lezen, buiten Unity Catalog om?
  • Kunnen we binnen een uur laten zien wie een bepaalde dataset vorige maand gebruikte?

Zijn de antwoorden ja, een policy, nee en ja, dan weet je wie wat ziet, en waarom.

Volgende: Fase 4, Netwerk

Is de toegang geregeld, dan is de volgende vraag welke route data aflegt: tussen je cloud, Databricks en internet, en wie er onderweg mee zou kunnen kijken. Dat is Fase 4.

Dit artikel hoort bij onze serie Databricks in productie. Wil je weten waar je platform staat? Neem contact op met Ferdinand via LinkedIn.