DatabricksConnector
Mit dem DatabricksConnector integrierst du Metadaten aus dem Databricks Unity Catalog direkt in dataspot. Data assets, ihre Strukturen und die Data Lineage der Databricks Plattform werden übernommen – sogar auf column-level.
Der DatabricksConnector ist eine ETL-Anwendung für Unternehmen und wird als eigenständiges Java-Paket bereitgestellt.
Der DatabricksConnector verbindet sich direkt mit dem Databricks Unity Catalog und
- extrahiert Metadaten und Lineage-Informationen aus dem Workspace,
- wendet Filter und Regeln an,
- wandelt die Rohdaten in Assets für die Zielanwendung um,
- lädt die Metadaten über die Upload-API hoch.
Funktionen
Dump- und Wiederherstellungsfunktionen
Eingebettete Arbeitsdatenbank zur Zwischenspeicherung von Entitäten während der Verarbeitung
Erweiterte Metadaten- und Musterfilter
Automatische Planung und Ausführung von Diensten
Standardisierte Authentifizierung (OAuth 2.0, Basisauthentifizierung, Tokens, Schlüsseldateien usw.)
Intelligenter, agentenbasierter Abgleichmodus
Workflow-Unterstützung
Architektur
Das Software-Paket enthält alle notwendigen Komponenten: ausführbare Dateien, Ressourcen, Konfigurationen, Bibliotheken von Drittanbietern sowie ein eingebettetes Datenbanksystem und einen Webserver. Zum Starten brauchst du keine externen Komponenten.
Plug & Play für deine Metadatenverarbeitung.
Performance & Skalierbarkeit
Der DatabricksConnector benötigt wenig Speicher und kann eine unbegrenzte Menge an Metadaten verarbeiten, ohne den gesamten Datenbestand in den Arbeitsspeicher zu laden. Er nutzt eine eingebettete Datenbank mit:
- einem Landing-Repository für Rohdaten
- einem Staging-Repository für transformierte Entitäten vor dem finalen Upload
Und das alles, ohne die Notwendigkeit externe Datenbanken verwalten zu müssen.
Schnelle, skalierbare Metadatenintegration mit minimalem Ressourcenbedarf – komplett ohne externe Abhängigkeiten.