Skip to content

Commit a5d36d8

Browse files
committed
chore: Add documentation on data-mesh.
1 parent 01ba02f commit a5d36d8

File tree

1 file changed

+71
-0
lines changed
  • documentation/07-daten/01-data-mesh-und-analyse

1 file changed

+71
-0
lines changed
Lines changed: 71 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,71 @@
1+
# Data-Mesh und Analyse
2+
3+
- OLTP (Online Transaction Processing)
4+
- Optimiert für viele kleine einzelne Transaktionen
5+
- Fokus auf dem Schreiben, normalisierte Schemas
6+
- ACID-Prinzipien, klassische relationale Datenbanken
7+
- OLAP (Online Analytical Processing)
8+
- Optimiert für komplexe Queries über viele Daten
9+
- Fokus auf dem Lesen, denormalisierte Schemas
10+
- Column-Stores
11+
- Data-Warehouse
12+
- Zentrales OLAP-System, was alle Daten enthält
13+
- Star Schema
14+
- https://www.databricks.com/sites/default/files/2024-04/star-schema-2x.png
15+
- Probleme
16+
- Zentrale Datenhaltung als Flaschenhals
17+
- Daten-Team skaliert nicht mit den Produkt-Teams
18+
- Data-Lake
19+
- "Store everything, figure it out later"
20+
- Höhere Performance beim Speichern als im Data-Warehouse
21+
- Probleme
22+
- Unübersichtlich, unwartbar, unkontrolliert
23+
- Wird schnell zu einem Data-Swamp
24+
- Data-Lakehouse
25+
- Best of both worlds (?)
26+
- Probleme
27+
- Zentrales Bottleneck, skaliert nicht
28+
- Keiner weiß so genau, was alles da ist
29+
- Data-Mesh
30+
- Das fachliche Team ist für die Daten verantwortlich (Domain-oriented Data Ownership)
31+
- Daten müssen als Produkt bereitgestellt werden (Data as a Product)
32+
- Qualität, Dokumentation, APIs, Support, …
33+
- Ganz klare Trennung zwischen Daten-Anbieter und -Verwender
34+
- Eine gemeinsame Plattform als Basis für alle fachlichen Teams (Self-serve Data Platform)
35+
- Server, Storage, ...
36+
- CI/CD-Pipeline
37+
- Entwicklungsprinzipien und -richtlinien auch auf Daten-APIs anwenden
38+
- Standards und normierte Prozesse (Federated Computational Governance)
39+
40+
- Business-Intelligence (BI)
41+
- Daten in Erkenntnisse und Empfehlungen verwandeln
42+
- Daten-Pipeline
43+
- Rohdaten -> Aufbereitung -> Visualisierung -> Entscheidung
44+
- Business-Intelligence ist deskriptiv
45+
- "was ist passiert"
46+
- Bekannte Fragen beantworten
47+
- Reports sind regelmäßig, automatisiert, standardisiert, basieren auf KPIs (Key-Performance-Indikatoren)
48+
- Analytics sind ad-hoc, explorativ, entdecken statt berichten
49+
- Data-Science ist präskriptiv
50+
- "was wird passieren"
51+
- Muster entdecken
52+
- Dashboard
53+
- Wichtigste Metriken zuerst (Above the Fold)
54+
- Kontext durch Vergleiche (Trends zeigen, nicht nur die Momentaufnahme)
55+
- Drill-Down für Details ermöglichen
56+
- KPIs
57+
- Nicht alles messen, was ist wirklich wichtig?
58+
- North Star Metric als Leitmetrik
59+
- SQL als *die* Business-Intelligence-Sprache
60+
- Window-Functions (`LAG`, Moving-Averages, …)
61+
- CTEs (Common Table Expressions)
62+
63+
- Data Governance
64+
- Compliance und DSGVO
65+
- Konsistenz über Teams und Services hinweg
66+
- Transparenz über Datenherkunft und -veränderung
67+
- Data Catalog
68+
- Zentrale Registry für alle Daten-APIs
69+
- Wie eine Service-Registry, aber für Datenmodelle
70+
- Schema-Versionierung und -Kompatibilität
71+
- Sicherheit

0 commit comments

Comments
 (0)