Data Excellence Community

Von: 16.06.2023
bis: 16.06.2023

„Technische Lineage – die Vollkaskoversicherung für den automatisierten Datenkatalog“

Cloud only! Viele Unternehmen folgen mittlerweile diesem Leitsatz und verlagern ihr gesamtes Warehouse-Umfeld auf cloud-basierte Plattformen. Eine enorme Herausforderung für die IT-Abteilungen und Data Engineers – denn mit der Größe des Unternehmens nimmt auch die Anzahl an verwendeten Tools stetig zu und damit steigt die Komplexität der notwendigen Struktur.

In dieser DX-Expert Community zeigt uns die HDI Global SE, wie sie sich der Herausforderung der Cloud-Migration stellt und die Anforderungen angeht, unternehmensweite Datenstrukturen inklusiver automatisierter Erstellung der Lineage zu erfassen.

Bei der HDI ist es nun völlig gleich, ob die Daten in einer „klassischen“ Datenbank, einem Data Lake (AWS S3) oder in der rein cloud-basierten analytischen Datenbank Snowflake liegen oder, ob die Datenintegration und -transformation mit Vaultspeed, Matillion oder (in Zukunft) über manuell erstelltes SQL erfolgen. Das Erfassen der Struktur, die Ermittlung der technischen Lineage und die Ablage in dataspot. ist nun direkt in die DevOps Prozesse eingebunden und wird völlig automatisiert ausgeführt.

Mit der Erstellung des dafür notwendigen technischen Datenmodells in dataspot. gelang der HDI die wohl technische und inhaltlich komplexeste Modellierung. Die Data Engineers haben das Modell mittels unzähliger YAML-Erweiterungen in seiner Customization perfektioniert und dabei wesentlich zur Erweiterung der technischen Möglichkeiten in der Metadatenmanagement-Software beigetragen.

Wie hat die HDI dieses komplexe Projekt auf- und umgesetzt und welche essenzielle Rolle spielt dabei das technische Datenmodell? Dieser Fragestellung gehen wir mit dem langjährigen Data Engineer der HDI Global Christian Hagen in unserer Online Session Lunch&Learn am Freitag, den 16. Juni nach.

Wir freuen uns schon auf euch!