Co je Data Vault modelování?
Asi jste si všimli, že se ve vašem okolí stále častěji objevuje termín datového modelování Data Vault. Nejedná se přitom o novinku, představil ji Dan Linstedt před více než 20 lety a má svůj vlastní přístup k tvorbě datového modelu, stejně jako Star Schema a One Big Table.
Tento přístup datového modelování slouží k vytvoření datového skladu pro analýzu v enterprise měřítku.
Ve zkratce bych řekla, že je ideální pro prostředí s mnoha mnoha zdroji. Nebo, neustále se vyvíjejícími se zdroji dat.
Let’s start with basics. Základní „součástky“ Data Vaultu jsou Hubs, Links a Satelity.
🏠 Hubs
Hubs představují základní obchodní entity (např. zákazníky, produkty, zaměstnance). Jsou v nich uloženy jedinečné obchodní klíče, které se zřídka mění, spolu s metadaty, jako jsou timestampy a informace o zdroji dat.
Příklad: Hub zákazníků uchovává jedinečné hodnoty CustomerID a metadata uvádějící, kdy byla data načtena.
🔗 Links
Links zachycují vztahy mezi Huby, jako jsou transakce nebo asociace. Ukládají kombinace obchodních klíčů a metadat.
Příklad: Link „Nákup“ spojuje Hub „Zákazník“ a Hub „Produkt“ a ukazuje, který zákazník zakoupil který produkt.
🛰 Satellites
Satelity uchovávají opisné atributy a sledují historické změny. Jsou připojeny k Hubem nebo Linkom a uchovávají podrobnosti, jako jsou název zakoupeného produktu, adresu zákazníka, ceny a timestampy, kdy k eventu došlo.
Příklad: Satelit produktu může obsahovat název produktu, kategorii a historii cen.
Srovnání s tradičními modely
One Big Table (Jedna velká tabulka)
Tento přístup centralizuje všechna data do jediné ploché struktury. Je sice jednoduchý na dotazování, ale má problém se škálovatelností a vyžaduje více úložného prostoru. Při aktualizaci řádků se aktualizace musí promítnout do celé tabulky.
Star schema
Táto běžně používaná schéma aj na našich projektech organizuje data do faktových tabulek a tabulek dimenzí, což umožňuje rychlou a efektivní analýzu. Tabulky v tomto formátu jsou intuitivní a snadno pochopitelné. Pokud je třeba přidat nové údaje nebo dimenze, může to vyžadovat zásadní úpravy modelu.
Data Vault
Data Vault slibuje modulární design s výhodami jako:
- Škálovatelnost: Snadno se přizpůsobí rostoucím nebo měnícím se datům.
- Sledování historických dat: Vestavěná historizace zajišťuje, že se žádná data neztratí.
- Flexibilita: Nové zdroje dat lze integrovat bez větších změn schématu.
Fakta, které je třeba zmínit
- Potřebné zkušenosti: Jen málo lidí se specializuje na Data Vault a může být obtížnější najít zkušené inženýři.
- Nástroje: Efektivní implementace často závisí na automatizačních nástrojích, jako je dbt nebo Data Vault Builder.
- Datový trezor nemůžeme použít pro reporting. Nad Vaultem musíte postavit ještě nějaký Data Mart a ten použít pro reporting.
Kdy se rozhodnout pro Data Vault?
Pokud vaše organizace pracuje s více dynamickými zdroji dat a vyžaduje robustní historizaci a auditovatelnost, může být řešení Data Vault ideální volbou. I když je křivka učení strmější než u tradičních metod, jeho dlouhodobé výhody – agilita, škálovatelnost a integrita dat – z něj činí silnou volbu pro moderní datové sklady.
Přečtěte si některý z našich dalších článků
