BI-ready: Den Gold-Layer in der Medallienarchitektur richtig designen

BI-ready: Den Gold-Layer in der Medallienarchitektur richtig designen

BI-ready: Den Gold-Layer in der Medallienarchitektur richtig designen

30.05.2025
30.05.2025
30.05.2025
Data Lakehouse
Data Lakehouse
Data Lakehouse

In vielen Data-Projekten wird viel Aufwand in die Datenerfassung und Transformation gesteckt – aber am Ende sitzt jemand vor einem Dashboard, das langsam lädt, unklare Felder zeigt oder bei jeder Änderung explodiert. Der Grund?

Der Gold-Layer wurde nicht „BI-ready“ gedacht.

In der klassischen Medaillenarchitektur (Bronze → Silver → Gold) ist der Gold-Layer die Schicht, die für den Endverbrauch optimiert ist. Das heißt:

  • Konsistente, sprechende Spaltennamen

  • Fertige KPIs & berechnete Felder

  • Vereinfachte Tabellen, keine komplexen Joins mehr

  • Hohe Performance für Analyse-Tools wie Power BI, Tableau oder Looker

In diesem Artikel zeige ich, wie man einen Gold-Layer aufbaut, der nicht nur technisch funktioniert – sondern in der Praxis auch wartbar, performant und anschlussfähig ist für jedes BI-Frontend.


Die Medaillenarchitektur im Schnelldurchlauf

Bevor wir tiefer in den Gold-Layer einsteigen, lohnt sich ein kurzer Blick auf das Gesamtmodell. Die Medaillenarchitektur – Bronze, Silver, Gold – hat sich als De-facto-Standard für moderne Data Lakes etabliert, vor allem im Kontext von Delta Lake und Databricks.

🥉 Bronze – Rohdatenlager

  • Zweck: Persistenz der Originaldaten – unverändert und nachvollziehbar

  • Datenquellen: Raw Ingests aus APIs, Kafka, Datenbanken, Filesystem

  • Format: JSON, CSV, Delta, oft semi-strukturiert

  • Merkmale: Kein Business-Logik, keine Validierung, historisch vollständig

Beispiel: Rohdaten aus einer REST-API mit 1:1-Schema

🥈 Silver – transformierte & integrierte Daten

  • Zweck: Technisch bereinigte Daten mit Standardformatierung

  • Transformationen: Typkonvertierung, Join mit Referenzdaten, Deduplikation

  • Ziel: Einheitliche, harmonisierte Datensätze für Analysen oder Reporting

Beispiel: Umsatzdaten mit standardisierten Zeitformaten und aufgelösten Kundennamen

🥇 Gold – analytisch optimierte Daten

  • Zweck: Direkt konsumierbare Daten für Reports, Dashboards und Self-Service

  • Inhalte: KPIs, aggregierte Metriken, Business-Regeln, Datenmodelle

  • Zielgruppe: Business User, Analyst:innen, Reporting-Tools

Beispiel: Eine Tabelle „sales_by_region“ mit Umsatz, Units Sold und YoY Growth – ready for Power BI

💡 Wichtig:
Der Gold-Layer sollte nicht mehr alle Rohdaten enthalten, sondern nur, was für die Analyse nötig ist.
Er ist kein Archiv – sondern ein Produkt.


Designprinzipien für einen stabilen, wartbaren Gold-Layer

Der Gold-Layer ist der Ort, an dem die Daten das erste Mal „so richtig“ an die Außenwelt gehen:
Power BI, Looker, Excel, Jupyter – alle hängen hier direkt oder indirekt dran.

Deshalb muss er nicht nur technisch korrekt, sondern vor allem robust, verständlich und konsistent sein. Hier die wichtigsten Prinzipien, die sich in der Praxis bewährt haben:

📘 1. Tabellen sind Produkte – keine Abziehbilder der Silver-Schicht

Ein Gold-Table ist kein „nächstes SELECT *“. Stattdessen:

  • Aggregationen und KPIs gehören hier rein

  • Business-Logik ist explizit (z. B. Definition von aktivem Kunden)

  • Zielgruppenorientiert: Reporting für Controlling ≠ Reporting für Vertrieb

💡 Denk in Fragen wie „Was will der Analyst in Power BI eigentlich sehen?“ – nicht in „Was gibt’s an Rohdaten?“

🔁 2. Spaltennamen & Formate: BI-tauglich machen

  • Verwende sprechende, konsistente Namen (customer_name statt cust_nm)

  • Datumsfelder klar benennen: order_date, invoice_month usw.

  • Formatierung möglichst fix & bereinigt: keine String-Parsing-Hölle im BI-Tool

👉 Das Ziel: Im BI-Tool keine Transformationen oder komplexen Berechnungen mehr bauen müssen.

🧩 3. Nur das rein, was gebraucht wird

Gold-Tabellen sollten bewusst schmal gehalten werden:

  • Nur die nötigen KPIs, Dimensionen & Filter

  • Keine internen technischen Felder, keine Debug-Spalten

  • Kein unnötiger Detaillevel – lieber eine Gold-Tabelle pro Use Case als eine „One-Size-Fits-All“

📐 4. Modellierung für Self-Service ermöglichen

  • Eindeutige IDs & Join Keys bereitstellen

  • Dimensionstabellen mit sprechenden Labels vorbereiten

  • „Star Schema light“ – wer will, kann daraus ein semantisches Modell ableiten

Beispiel:
Eine Tabelle sales_fact_gold hat customer_id, product_id, region_id → Dimensionstabellen heißen dim_customer, dim_product, dim_region

🔒 5. Stabile Verträge zwischen Gold & BI-Tool

  • Keine Spaltennamen ändern ohne Rücksprache

  • Kein Hinzufügen von „halbfertigen“ Feldern

  • Kein Entfernen von Daten ohne Deprecation-Hinweis

Ein sauber gepflegter Gold-Layer erlaubt es dir, Frontend-Teams unabhängig arbeiten zu lassen, ohne dass jede Änderung die Dashboards bricht.


Optimierung für Power BI & Dashboards: Performance, Modellierung, Zugriff

Ein sauber designter Gold-Layer ist die halbe Miete – die andere Hälfte ist, wie gut sich dieser Layer in BI-Tools integrieren lässt. Besonders bei Power BI gibt es ein paar konkrete Stellschrauben, mit denen du die User Experience massiv verbessern kannst.

1. Performance: Delta-Tuning für schnelle Dashboards

Langsame Abfragen killen jede Analyse. Achte auf:

  • Z-Ordering: Sortiere deine Gold-Tabelle z. B. nach reporting_date, region_id – das reduziert Scan-Zeit massiv

  • Data Skipping aktiv halten (Delta macht das nativ, aber nur mit aktualisierten Statistiken)

  • Clustered Writes bei der Erstellung: ORDER BY in OPTIMIZE nutzen


    OPTIMIZE gold.sales_by_region ZORDER BY (reporting_date, region_id)

💡 Tipp: Lade in Power BI nur die Daten, die für das jeweilige Dashboard nötig sind – kein SELECT * im Direct Query-Modus.

🧮 2. Aggregationen direkt im Gold-Layer rechnen

Power BI kann viel – aber Delta kann oft effizienter aggregieren. Rechne:

  • Umsätze, Summen, Counts

  • Gruppierungen nach Zeit, Regionen, Kategorien

  • Rollups für verschiedene Drilldown-Stufen

→ Ergebnis: Weniger Last im Frontend, bessere Query-Zeiten.

📦 3. Modellierung mit Dimensionstabellen vorbereiten

Power BI liebt sternförmige Modelle – du kannst das vorbereiten, indem du:

  • Fakten- und Dimensionstabellen explizit trennst

  • id → name-Beziehungen sauber auflöst

  • Eindeutige Keys mitgibst (z. B. customer_id, product_id, date_key)

Das erleichtert den Umstieg auf Power BI Composite Models oder Semantic Layers enorm.

🔑 4. Zugriff effizient steuern

Gerade bei Direct Query solltest du auf folgende Punkte achten:

  • Unity Catalog verwenden für saubere Rechtevergabe

  • Row-Level Security lieber im BI-Tool oder über vorbereitete Views/UDFs

  • Delta Caching aktivieren, falls nötig für häufige Queries

📐 5. Naming & Ordnung

  • Tabellen sollten einen klaren, logischen Namen haben: gold.sales_by_region, gold.customer_activity, gold.product_performance

  • Einheitliches Schema, z. B. gold als Catalog oder Schema

  • Spaltennamen: konsistent, verständlich, dokumentiert


Best Practices & typische Stolperfallen

Ein Gold-Layer, der für BI optimiert ist, bringt enormen Mehrwert – aber nur, wenn er diszipliniert gepflegt und strategisch aufgebaut wird. Hier sind die wichtigsten Lessons Learned aus Projekten, die in Power BI & Co. wirklich gut funktioniert haben:

Best Practices

  1. Gold ist ein Vertrag – nicht nur eine Tabelle
    Änderungen im Schema, Feldnamen oder Business-Logik sollten bewusst, versioniert und dokumentiert erfolgen.

  2. Ein Purpose pro Tabelle
    Jede Tabelle im Gold-Layer sollte einen konkreten Use Case abbilden – nicht „alles, was wir zu Kunden wissen“.

  3. Self-Service mitdenken
    Gib dem BI-Team das, was es braucht: verständliche Daten, klar modellierte Strukturen, stabile IDs. Kein Overhead, kein Rätselraten.

  4. Konsistenz vor Perfektion
    Lieber saubere Spaltennamen und zuverlässige Werte als das perfekte Modell mit halbfertigen KPIs.

  5. Monitoring & Validation nicht vergessen
    Prüfe regelmäßig: Sind die Daten aktuell? Stimmen die Werte? Gibt’s Dubletten? Qualitätseinbrüche fallen im BI oft als Erstes auf – und das zu spät.

⚠️ Typische Stolperfallen

  • „SELECT * aus Silver = Gold“
    Das ist kein Gold-Layer. Das ist ein technisches Abbild ohne Mehrwert.

  • Zu viele oder zu große Tabellen
    Wenn Power BI beim Laden stirbt, war’s zu viel. Lieber modular denken.

  • Keine klare Ownership
    Wer pflegt den Layer? Wer testet neue Felder? Wer gibt ihn frei? Ohne klare Zuständigkeit wird Gold schnell brüchig.

  • Spontane Änderungen ohne Absprache
    BI-Tools hängen stark vom Schema ab. Jedes „mal schnell umbenannt“ kann Dashboards brechen.

🎯 Fazit

Ein sauber aufgebauter Gold-Layer ist der Schlüssel zu erfolgreichen BI-Projekten.
Er entkoppelt deine Datenverarbeitung vom Frontend – und gibt Business-Usern genau das, was sie brauchen:
zuverlässige, verständliche und performante Daten.

Wenn du ihn wie ein Produkt behandelst – mit Versionierung, Dokumentation und Ownership – wird dein Reporting robuster, skalierbarer und einfacher zu betreiben.
Und Power BI? Wird es dir danken.

Andere Artikel

Sprechen wir Daten!

Sprechen wir Daten!

Sprechen wir Daten!