Dateneinkauf Teil 1 - Wie man Datenprodukte einkauft

So wie man beim Online-Einkauf Artikel auswählt, sie in den Warenkorb legt und Liefer- und Zahlungsoptionen auswählt, so hat sich auch der Prozess der Datenbeschaffung innerhalb von Unternehmen in ähnlicher Weise entwickelt. Im Zeitalter von Datenprodukten und Datengeflechten ermöglichen interne Datenmarktplätze den Geschäftsanwendern die Suche nach, die Entdeckung von und den Zugriff auf Daten für ihre Anwendungsfälle.

In dieser Artikelserie erhalten Sie einen Auszug aus unserem Practical Guide to Data Mesh und erfahren alles Wissenswerte über Data Shopping sowie Zeeneas Data Shopping Erfahrung im Enterprise Data Marketplace:

1. Wie man Datenprodukte einkauft.
2. Das Zeenea Data Shopping Erlebnis.

Wie bereits erwähnt, bieten alle klassischen Marktplätze ein sehr ähnliches "Checkout"-Erlebnis, das vielen Menschen vertraut ist. Die ausgewählten Produkte werden in einen Warenkorb gelegt, und nach der Bestätigung des Warenkorbs werden dem Käufer verschiedene Liefer- und Zahlungsoptionen angeboten.

Die eigentliche Lieferung erfolgt in der Regel außerhalb des Marktplatzes und bietet Funktionen zur Nachverfolgung. Die Lieferung kann sofort (bei digitalen Produkten) oder später (bei physischen Produkten) erfolgen. Einige Marktplätze verfügen über ein eigenes Logistiksystem, aber in den meisten Fällen liegt die Lieferung in der Verantwortung des Verkäufers. Die Lieferzeit ist ein wichtiges Element der Kundenzufriedenheit - je kürzer sie ist, desto zufriedener sind die Nutzer.

Wie lässt sich dieses Einkaufserlebnis auf einen Marktplatz für Unternehmensdaten übertragen? Um diese Frage zu beantworten, müssen wir uns überlegen, was die Bereitstellung von Daten in einem geschäftlichen Kontext bedeutet, und uns dabei auf den Datenkonsumenten konzentrieren.

Die Lieferung von Datenprodukten

Ein Datenprodukt bietet ein oder mehrere Verbrauchsprotokolle an - dies sind seine Ausgangsports. Diese Protokolle können je nach Art der Daten von einem Datenprodukt zum anderen variieren - Echtzeitdaten können beispielsweise ein Streaming anbieten, während statischere Daten eine SQL-Schnittstelle (und Anweisungen zur Verwendung dieser Schnittstelle aus verschiedenen Programmiersprachen oder in-house Visualisierungstools) bieten können.

Für den Bedarf an interaktiver Nutzung, z. B. in einer Anwendung, kann das Datenprodukt auch Nutzungs-APIs anbieten, die wiederum einem Standard entsprechen können (REST, GraphQL, OData usw.). Oder Sie laden die Daten einfach in einem Dateiformat herunter.

Einige Verbraucher können das Datenprodukt in ihre eigenen Pipelines integrieren, um andere Datenprodukte oder übergeordnete Anwendungen zu erstellen. Andere wiederum nutzen die Daten nur einmal, um zum Beispiel ein ML-Modell trainieren . Es ist ihnen überlassen, das für ihren use case am besten geeignete Protokoll zu wählen.

Welche Protokolle auch immer gewählt werden, sie haben alle eine wesentliche Eigenschaft: Sie sind sicher. Dies ist eine der universellen Regeln der Governance - der Zugang zu Daten muss kontrolliert und die Zugangsrechte überwacht werden.

Von wenigen Ausnahmen abgesehen, besteht der Kaufakt also lediglich darin, sich über eines der Verbrauchsprotokolle Zugang zu den Daten zu verschaffen.

Verwaltung von Zugriffsrechten für Datenprodukte

In der Welt der Daten ist die Zugriffsverwaltung jedoch keine einfache Angelegenheit, und zwar aus einem elementaren Grund: Die Nutzung von Daten ist ein riskanter Akt.

Einige Datenprodukte können desensibilisiert werden, indem persönliche oder sensible Daten, die das größte Risiko darstellen, irgendwie entfernt werden. Diese Desensibilisierung kann jedoch nicht auf das gesamte Produktportfolio angewandt werden: Andernfalls verliert das Unternehmen die Möglichkeit, Daten zu nutzen, die nichtsdestotrotz sehr wertvoll sind (z. B. sensible Finanz- oder Personaldaten, kommerzielle Daten, Marktdaten, persönliche Kundendaten usw.). Auf die eine oder andere Weise ist die Zugangskontrolle daher ein entscheidender Faktor für die Entwicklung und die breite Einführung des Datennetzes.

In der Logik der Dezentralisierung des Datengeflechts sollten die Risikobewertung und die Gewährung von Zugriffstokens vom Eigentümer des Datenprodukts durchgeführt werden, der für dessen Verwaltung und Einhaltung sorgt. Dazu gehört nicht nur die Genehmigung des Zugriffsantrags, sondern auch die Festlegung von Datenumwandlungen, die erforderlich sind, um einer bestimmten Verwendung zu entsprechen. Diese Tätigkeit wird als Durchsetzung von Richtlinien bezeichnet.

Die Bewertung eines Zugangsantrags umfasst die Analyse von drei Dimensionen:

• Die Daten selbst (einige bergen mehr Risiken als andere) - das Was.
• Der Anfragende, seine Rolle und sein Standort (geografische Aspekte können einen starken Einfluss haben, vor allem auf regulatorischer Ebene) - das Wer.
• Der Zweck - das Warum.

Auf der Grundlage dieser Analyse können die Daten in unveränderter Form verwendet werden oder sie müssen vor der Übermittlung umgewandelt werden (Datenfilterung, insbesondere für Daten, für die keine Zustimmung vorliegt, Anonymisierung bestimmter Spalten, Verschleierung anderer Spalten usw.). Manchmal müssen zusätzliche Formalitäten erfüllt werden, z. B. der Beitritt zu einem Vertrag über die Weitergabe von Daten, die von einem Dritten erworben wurden, oder die Einhaltung von Aufbewahrungs- und Vergessensrichtlinien usw.

Technisch gesehen kann die Datenübermittlung verschiedene Formen annehmen, je nachdem, welche Technologien und Protokolle zu ihrer Bereitstellung verwendet werden.

Bei weniger sensiblen Daten kann es ausreichen, nur Lesezugriff zu gewähren - dazu muss lediglich ein zusätzlicher Nutzer deklariert werden. Für sensible Daten ist eine feinkörnige Berechtigungskontrolle auf Spalten- und Zeilenebene erforderlich. Die meisten modernen Datenplattformen unterstützen native Mechanismen zur Anwendung komplexer Zugriffsregeln durch einfache Konfiguration - in der Regel unter Verwendung von Daten-Tags und einer Policy Enforcement Engine. Die Einrichtung von Zugriffsrechten umfasst die Erstellung der entsprechenden Richtlinie oder die Integration eines neuen Konsumenten in eine bestehende Richtlinie. Bei älteren Technologien, die keine ausreichend granulare Zugriffskontrolle unterstützen, kann es erforderlich sein, eine spezielle Pipeline zu erstellen, um die Daten so umzuwandeln, dass die Konformität gewährleistet ist, sie in einem speziellen Bereich zu speichern und dem Verbraucher Zugriff auf diesen Bereich zu gewähren.

Dies ist natürlich ein langwieriger und potenziell kostspieliger Ansatz, der durch die Migration auf eine Datenplattform, die ein granulareres Sicherheitsmodell unterstützt, oder durch die Investition in eine Lösung eines Drittanbieters zur Durchsetzung von Richtlinien, die die vorhandene Plattform unterstützt, optimiert werden kann.

Dateneinkauf auf einem internen Datenmarktplatz

Die Bereitstellung von Daten auf einem Datenmarktplatz, die das Herzstück des Kundenerlebnisses darstellt, ist letztlich ein mehr oder weniger komplexer Arbeitsablauf, dessen Hauptphasen jedoch wie folgt aussehen:

• Der Verbraucher stellt einen Antrag auf Zugang, in dem er genau beschreibt, wofür er die Daten verwenden will.
• Der Dateneigentümer bewertet diesen Antrag - in einigen Fällen kann er sich auf Risiko- oder Regulierungsexperten stützen oder zusätzliche Validierungen verlangen - und legt die erforderlichen Zugriffsregeln fest.
• Ein Ingenieur der Domäne oder des Teams "Infra & Tooling" richtet den Zugang ein - dieser Vorgang kann je nach den verwendeten Technologien mehr oder weniger komplex sein.

Beim Einkaufen für den Verbraucher wird dieser Arbeitsablauf auf dem Marktplatz ausgelöst.

Für den Zeenea-Marktplatz haben wir uns entschieden, diesen Workflow nicht direkt in die Lösung zu integrieren, sondern eine Schnittstelle zu externen Lösungen zu schaffen.

In unserem nächsten Artikel erfahren Sie mehr über das Zeenea Data Shopping-Erlebnis und die technologischen Möglichkeiten, die uns auszeichnen.

Über Actian Corporation

Actian macht Daten einfach. Unsere Datenplattform vereinfacht die Verbindung, Verwaltung und Analyse von Daten in Cloud-, Hybrid- und lokalen Umgebungen. Mit jahrzehntelanger Erfahrung in den Bereichen Datenmanagement und -analyse liefert Actian leistungsstarke Lösungen, die es Unternehmen ermöglichen, datengesteuerte Entscheidungen zu treffen. Actian wird von führenden Analysten anerkannt und wurde für seine Leistung und Innovation mit Branchenpreisen ausgezeichnet. Unsere Teams präsentieren bewährte Anwendungsfälle auf Konferenzen (z. B. Strata Data) und tragen zu Open-Source-Projekten bei. Im ActianBlog behandeln wir Themen wie Echtzeit-Dateneingabe, Datenanalyse, Data Governance, Datenmanagement, Datenqualität, Datenintelligenz und KI-gesteuerte Analysen.