Odchod z proprietárneho BI bez straty dát
Mapovanie tokov v Qliku a postavenie nezávislej dátovej vrstvy nad ClickHouse, nad ktorou sa dá pýtať bežnou rečou.
- Klient
- obchodná sieť s centrálnym nákupom
- Stav
- Pilot · 2026
- Výsledok
- Dátové toky pôvodného BI sú zmapované a zdokumentované, vrátane obchodných definícií.
- RAW import a inkrementálne publikovanie partícií sú nasadené.
- Dáta sú dostupné mimo pôvodného nástroja, takže migrácia už nie je viazaná na jedného dodávateľa.
- Technológie
- ClickHousePythonPowerShellQlik CLI a QVDMS SQL ServerFirebirdsystemd timer
Problém
Proprietárne BI je pohodlné, kým sa nerozhodnete odísť. Vtedy zistíte, že obchodná logika nie je v databáze, ale v transformačných skriptoch nástroja, že definície ukazovateľov existujú iba v hlavách analytikov a že export dát nie je to isté ako export významu.
Zákazník potreboval dve veci naraz: prestať byť závislý na licenciách a sprístupniť dáta jazykovému modelu tak, aby sa dalo pýtať bežnou rečou na predaj, zásoby, maržu a akcie.
Riešenie
Prvý krok nebol technický. Bolo ním zmapovanie tokov: čo sa odkiaľ berie, kde sa to transformuje a čo presne znamená každý ukazovateľ. Bez tejto časti je migrácia dát prenos čísel bez významu.
Potom nasledovala nezávislá dátová vrstva nad ClickHouse. Načítava sa v dvoch krokoch: surový import zo zdrojov a následné publikovanie do finálnych partícií. Publikovanie je atómové, takže konzument nikdy nevidí polovične nahranú partíciu. Každý beh má odtlačok vstupov a kontrolný bod, takže pri výpadku sa pokračuje tam, kde sa skončilo, a nie od začiatku.
Nad hotovou vrstvou má sedieť rozhranie pre jazykový model postavené na tom istom princípe ako reporting: model dostane vymedzenú sadu otázok, nie prístup do databázy.
Projekt je vo fáze pilotu, nie v plnej produkcii. Surový import a inkrementálne publikovanie bežia; parita s pôvodnými dátovými sadami a vrstva pre jazykový model sú ďalšie míľniky. Uvádzame to takto zámerne — migrácia BI, ktorá sa predáva ako hotová vec, sa hotovou vecou nestane.
Výsledok
Zákazník má dnes dáta na otvorenej platforme, zdokumentované definície a migračnú cestu, ktorá nie je viazaná na obnovenie licencie.