Když odstraníte model z dbt projektu, tabulka ve vašem datovém skladu zůstane.Vyvinuli jsme makro, které porovnává aktuální zdroje dbt projektu (modely, seedy a snapshoty) s objekty, které již existují ve vaší databázi. Makro vyhledává existující databázové objekty v informačním schématu (information schema) a skenuje aktuální zdroje dbt projektu pomocí dbt grafu. Následně tyto dvě sady porovná.
Pokud dbt nenajde pro daný dbt zdroj odpovídající databázový objekt, dokáže vygenerovat nebo dokonce spustit příkaz DROP. To vám umožní udržovat databázi čistou a bez nepoužívaných objektů.
V tomto článku prozkoumáme praktický příklad toho, jak lze tento postup využít v praxi.
(Pokračování textu…)dbt State-Aware Orchestration (SAO) s Fusion enginem spouští pouze to, co se ve vašem DAGu skutečně změnilo — nezměněné modely přeskočí, čímž šetří čas i náklady. Automaticky detekuje změny v kódu i datech, podporuje chytré řízení pomocí parametrů jako build_after a updates_on a přináší rychlejší a stabilnější pipeline s úsporami nákladů až kolem ~29 %
(Pokračování textu…)dbt Fusion je nový engine postavený na Rustu, který mění způsob, jakým datové týmy pracují s modelem dbt. Zrychluje buildy, detekuje chyby v reálném čase a díky tzv. state-aware orchestration dokáže snížit náklady až o 64 %. Zkrátka – rychlejší vývoj, nižší účty a méně frustrace.
(Pokračování textu…)Poslední meetup datové komunity Data Punkers se odehrál 28. listopadu 2024 v Praze a tentokrát se točil kolem UX. Videa z přednášek najdete už nyní na Youtube!
(Pokračování textu…)
