Datová analytika a LLM
Přemýšleli jste někdy, jak využít large language models nad vlastními daty? Nebo co všechno je možné, když propojíte standardní analytické nástroje s LLMs?
Nasazení LLMs v reálné analytické praxi bylo historicky složité. Ne proto, že by samotné modely nebyly dostupné, ale protože náklady, komplexita, spolehlivost a governance představovaly významné bariéry adopce. Tento článek vysvětluje, proč byla tato integrace náročná — a jak moderní datové platformy, zejména Snowflake, mění to, co je dnes při využití LLMs v praktických analytických scénářích možné.
Vzestup obecného AI
V posledních letech jsme zažili to, co mnozí označují za AI revoluci. Většina lidí si tento moment spojuje především s nástupem ChatGPT. Bylo to skutečně tak výjimečné ve srovnání s jinými technologiemi? Možná ano. Ale možná to bylo především tím, jak jednoduché bylo tuto technologii používat — přinesla již existující technologii LLM mnohem širšímu, netechnickému publiku. Jednoduché chatovací rozhraní s několika doplňkovými funkcemi stačilo k tomu, aby se kdokoli mohl zeptat a okamžitě získat odpověď.
Aby se jakákoli technologie skutečně prosadila, musí překonat několik bariér. Mezi ty nejzásadnější patří:
- Náklady — Zcela zřejmá překážka. Málokdo chce investovat do něčeho, u čeho si není jistý přínosem — zvlášť u nedeterministických technologií, jako jsou LLM, kde často nelze stoprocentně garantovat, že výstup bude pro konkrétní use case dostatečně kvalitní. Náklady navíc závisejí na všech ostatních proměnných a bariérách, což z nich obvykle činí hlavní téma každé diskuse. Rozpočet nakonec rozhoduje o tom, co je možné realizovat.
- Komplexita — Pokud je potřeba vynaložit příliš mnoho úsilí ještě předtím, než si technologii vůbec vyzkoušíte, musíte si být opravdu jistí, že to stojí za to. Pokud je komplexita příliš vysoká už ve fázi PoC, skutečný produkční use case se pravděpodobně ani nerozběhne.
- Spolehlivost / Konzistence — Nechme stranou debatu typu „pokud to funguje v 60 % případů, je to vůbec řešení problému?“. U každého řešení bychom měli mít alespoň základní představu o tom, jak spolehlivé jsou jeho výstupy. Jsou jednoznačné? Co když je nejednoznačný samotný vstup? Otázek je celá řada a stojí za to se jim věnovat detailněji. Bez určité míry porozumění spolehlivosti je totiž velmi obtížné posunout AI z fáze experimentování do skutečné operativní praxe.
Napadlo vás někdy klást otázky nad vlastními daty?
AI a nepředvídatelnost v analytice
S moderní AI se otevřely dveře k výstupům, které nejsou plně předvídatelné a vznikají bez přímého lidského zásahu. Datoví profesionálové se přitom tradičně pohybují na opačném konci spektra — pracují s deterministickými metodami, jasně definovanými a otestovanými výstupy a ideálně mají alespoň rámcovou představu o ROI u všeho, co dělají.
Při práci s daty je významnou součástí práce minimalizovat nejednoznačnost — zejména při sběru a čištění dat. Ne vždy však máme k dispozici přesná data a předem definované hodnoty. Někdy pracujeme pouze s přirozeným jazykem, který je podmíněný kontextem a ze své podstaty nejednoznačný.
Protože samotný přirozený jazyk je velmi složitý, výrazně roste i náročnost metod potřebných k jeho zpracování. S rostoucí složitostí metod i vstupních dat zároveň opouštíme svět tradiční analytiky založené na ostré, deterministické logice a vstupujeme do oblasti (řízené) „rozostřenosti“, kde je nejistota akceptována — ale zároveň vymezena a měřena tak, aby bylo možné pracovat s nejednoznačností přirozeného jazyka.
Teď ale udělejme krok zpět a podívejme se na věc z pohledu byznysu. Na ROI bychom nikdy neměli zapomínat — „Čím komplexnější řešení, tím vyšší hodnotu musí přinést.“ Zpracování přirozeného jazyka vždy patřilo mezi oblasti data science, které vyžadují specifické dovednosti a nástroje oproti tradiční analytice nebo business intelligence. Více dovedností a více nástrojů nevyhnutelně znamená vyšší náklady. Stručně řečeno: museli jste mít opravdu dobrý důvod, abyste vůbec uvažovali o zpracování textových dat.
Sbíráte data, která momentálně nedokážete smysluplně využít?
Úskalí pokročilé analytiky
Představte si, že jste firma s malým datovým týmem složeným převážně z data analytiků. Máte low-code ETL nástroj, data warehouse a reportingový nástroj. Základní reportingové potřeby máte pokryté, ale nyní chcete začít používat NLP, protože potřebujete ve větším měřítku zpracovávat zákaznické recenze.
Historicky by to obvykle vyžadovalo data scientista. Ten sice dokáže většinu věcí vyřešit pomocí Pythonu, ale vy ho nemáte, takže potřebujete nové prostředí pro jeho běh. Kromě správy nového prostředí je potřeba data exportovat z data warehouse a zpracovávat je externě. Zvyšuje se také složitost kolem data governance a bezpečnosti. A protože takový proces potřebujete spouštět pravidelně, přibývá další vrstva složitosti — například nutnost plánování úloh (scheduler).
To je jeden konec spektra. Podívejme se na o něco lepší situaci. Řekněme, že máte člověka, který je ochoten se problému ujmout, protože najmutí nového specialisty by bylo obtížné obhájit. Python lze spustit lokálně a analýzu potřebujete jednou měsíčně, takže kolega ji jednoduše provede na svém notebooku. Tím se složitost minimalizuje — stačí nastavit lokální prostředí, vybrat a naučit se vhodnou NLP techniku a osvojit si základy Pythonu. Působí to jako MVP, ale případ to vyřeší a ROI pravděpodobně vychází lépe. Tento přístup je však křehký a silně závislý na jednom člověku a jednom zařízení.
Situace se může zdát ještě jednodušší s ChatGPT a obecně dostupnými LLM — pravděpodobně stačí nahrát Excel a nechat jej zpracovat. Snižuje se tím nárok na dovednosti i počáteční nastavení, ale vznikají vážné otázky kolem data governance a compliance, pokud nemáte přístup k zabezpečenému LLM, který nepoužívá vaše data k dalšímu trénování.
Teď si představme ještě lepší scénář — máte Snowflake jako svůj DWH.
Snowflake umožňuje používat většinu aktuálně dostupných LLM nad vlastními daty přímo uvnitř platformy.
- Bezpečnost a governance Snowflake → žádná data neopouštějí Snowflake
- Lze ukládat a využívat strukturovaná i nestrukturovaná data
- Není potřeba zavádět nové nástroje, pouze dochází ke zvýšení spotřeby kreditů
- Snadné použití (AISQL) — to nelze dostatečně zdůraznit; více si ukážeme v dalších článcích věnovaných Snowflake AISQL
- Náklady jsou vázány čistě na využití (spotřebu tokenů)
- Složitost výrazně nenarůstá
Největší otázkou zde zůstává spolehlivost a konzistence. U většiny use casů založených na LLM je proto vhodné provádět experimenty a výsledky systematicky vyhodnocovat.
Skutečný posun nespočívá jen v tom, že existují LLM jako ChatGPT. Zásadní je, že platformy jako Snowflake je integrují přímo do analytického stacku — tam, kde už data přirozeně existují. Tím se mění celé nastavení hry. Datové týmy mohou začít přistupovat k přirozenému jazyku jako k dalšímu analyzovatelnému datovému typu a rozšiřovat své možnosti, aniž by musely budovat zcela novou vrstvu infrastruktury a zvyšovat složitost prostředí. Dalším krokem je praktická aplikace. V následujícím článku se přesuneme od konceptů k implementaci a podíváme se na schopnosti Snowflake AISQL v praxi.
Jan Šulc
Business analytik ve společnosti Revolt BI se zkušenostmi se Snowflake a moderními datovými platformami.
Navrhuje škálovatelné datové modely, automatizuje procesy zpracování dat a podílí se na implementaci AI řešení v oblasti enterprise analytiky. Jan pomáhá firmám propojit byznysové cíle s technickou architekturou a proměňovat data a AI v měřitelnou obchodní hodnotu.
PODÍVEJTE SE, CO LLM DOKÁŽE PŘÍMO VE VAŠEM SNOWFLAKE
Rezervujte si bezplatnou 30 minutovou konzultaci.
Společně projdeme vaši datovou platformu, identifikujeme jeden LLM use case s měřitelným přínosem, který můžete realizovat přímo v Snowflake, a vyčíslíme jeho nákladovost v kreditech.
Přečtěte si některý z našich dalších článků
