Datenextraktion: Der ultimative Leitfaden zur Extraktion von Daten aus beliebigen Quellen
Der Begriff „Datenextraktion“ bezeichnet die Übertragung von Daten aus einem Quelldatensatz. Die Datenextraktion ist häufig der erste Schritt einesETL-Prozesses(Extrahieren, Transformieren, Laden) in einer Datenpipeline. Dateningenieure sind für die Durchführung der Datenextraktion sowie für die Versorgung von Funktionen Data Analytics und Maschinelles Lernen ML) verantwortlich.
Data Sharing
Es gibt viele Möglichkeiten, Daten für die Extraktion freizugeben. Die Daten können durch Verschlüsselung gesichert werden, um sie im Ruhezustand und bei der Übertragung vor Diebstahl zu schützen. Das Veröffentlichungs- und Abonnementmodell ist eine Möglichkeit der gemeinsamen Nutzung von Daten. Eine weniger ausgefeilte Methode besteht darin, Dateien mit Hilfe von Protokollen wie FTP und SFTP an die konsumierenden Quellen zu übertragen.
Pull-Mechanismen ermöglichen es Nutzern, Daten über HTTP von einem Webbrowser herunterzuladen, sodass Netzwerkadministratoren keine Sockets öffnen müssen, die zu einem potenziellen Angriffsvektor für Hacker werden könnten. Beim Herunterladen von einer Website wird eine Datei auf der empfangenden Seite der Verbindung, also innerhalb der Firewall, erstellt.
Actian und die Data Intelligence Platform
DieActianData Intelligence Platformwurde speziell entwickelt, um Unternehmen dabei zu unterstützen, ihre Daten in hybriden Umgebungen zu vereinheitlichen, verwalten und zu verstehen. Sie vereint Metadaten , Governance, Datenherkunft, Qualitätsüberwachung und Automatisierung auf einer einzigen Plattform. So können Teams nachvollziehen, woher Daten stammen, wie sie genutzt werden und ob sie internen und externen Anforderungen entsprechen.
Über seine zentralisierte Schnittstelle ermöglicht Actian Erkenntnis Datenstrukturen und -flüsse, wodurch die Umsetzung von Richtlinien, die Behebung von Problemen und die abteilungsübergreifende Zusammenarbeit vereinfacht werden. Die Plattform hilft zudem dabei, Daten mit dem geschäftlichen Kontext zu verknüpfen, sodass Teams Daten effektiver und verantwortungsbewusster nutzen können. Die Plattform von Actian ist darauf ausgelegt, mit sich entwickelnden Datenökosystemen mitzuwachsen und eine konsistente, intelligente und sichere Datennutzung im gesamten Unternehmen zu unterstützen.Fordern Sie Ihre persönliche Demo an.
Quellen für die Datenextraktion
Nachdem die Daten extrahiert wurden, können sie bereinigt, umgewandelt und in Analysedatenbanken geladen werden. Im Folgenden finden Sie einige Beispiele dafür, wie Daten extrahiert und nach Datenquellentyp organisiert werden:
Flache Dateien
Flache Dateien sind zweidimensional und bestehen aus Bytes von Daten. Dateien werden in einem betrieblichen Dateisystem oder in einem Cloud gespeichert. Eine Datei ist als ein Strom von Bits mit speziellen Zeichenfolgen strukturiert, um das Ende der Datei (EOF) oder den Zeilenumbruch (CRLF) zu kennzeichnen, so dass sie als eine Reihe von Aufzeichnungen dargestellt werden können. Jede Aufzeichnung in der Datei kann eine feste Länge oder eine variable Länge haben, die durch die CRLF-Sonderzeichenfolge festgelegt wird. Eine Begrenzungszeichenfolge trennt Felder innerhalb einer Aufzeichnung logisch voneinander. Die Begrenzungszeichenfolge wäre beispielsweise das Komma in einer CSV-Datei. Hilfsprogramme für die Datenextraktion verstehen dieses Format, was das Lesen von flachen Dateien erleichtert. Das Datenextraktionsprogramm liest die Datei Feld für Feld und ordnet die Datentypen wie gewünscht zu. Im Gegensatz zu Datenströmen haben Flat Files einen definierten Lebenszyklus, der aus dem Erstellen, Öffnen, Anhängen, Schließen und Löschen besteht.
Die meisten Anwendungen und Betriebssystemfunktionen erzeugen Protokolldateien, die für die Behandlung von Ausnahmen, die Überprüfung und als Quelle für Analysedaten verwendet werden. Protokolldateien sind in der Regel flache Dateien. Da diese Dateien oft mit begrenzten Aufbewahrungsfristen konfiguriert sind, um Speicherplatz zu sparen, müssen sie extrahiert werden, bevor die Aufbewahrungsfrist abläuft oder überschrieben wird.
Datenströme
Datenströme unterscheiden sich von Flat Files dadurch, dass sie kein Ende haben, so dass das Datenextraktionsprogramm nach dem Öffnen weiterhin auf weitere Daten wartet. Datenströme werden von Verwaltungsanwendungen wie Apache Kafka verwaltet, die die Datenstromquelle aufnehmen und in einer Warteschlange speichern, die von Datenladern oder Datenintegrationsprogrammen abonniert wird. Sobald die Daten erstellt sind, werden sie aufgenommen und den konsumierenden Anwendungen über den Stream-Manager zur Verfügung gestellt. Durch die Veröffentlichung im Abonnementsystem werden die Verwaltungskosten niedrig gehalten und auf der Seite der konsumierenden Anwendung viel Programmierarbeit eingespart.
Einige Anwendungen müssen sofort über Änderungen informiert werden, wie z. B. Aktienhandelssysteme und automatische Fahrsysteme; die meisten Systeme können jedoch eine kurze Verzögerung tolerieren. Anstatt bei jeder Änderung benachrichtigt zu werden, was für die CPU teuer sein kann, ist es oft besser, konsumierende Systeme so zu konzipieren, dass sie die Daten regelmäßig in Stapeln oder Mikrostapeln abrufen. Diese Art der Datenextraktion schützt die konsumierenden Server davor, von den Datenströmen, die sie konsumieren, überfordert zu werden. Nicht alle Anwendungen können Verzögerungen verkraften, weshalb Streaming häufig in Cloud gehostet werden.
Anwendungen
Alle Anwendungen sind darauf ausgelegt, Daten zu empfangen, zu verarbeiten und die Ergebnisse auszugeben. Bei älteren Anwendungen werden in der Regel nicht standardisierte Datenformate verwendet, so dass die Entwickler die Daten z. B. aus der flachen Datei lesen müssen, die den Ausgabebericht enthält. Moderne Webanwendungen sind für den Einsatz in größeren Systemen konzipiert. Sie verwenden in der Regel selbstbeschreibende Standardformate wie JSON, die Metadaten wie Feldnamen, Formate und Längeninformationen enthalten.
Datenbanken
Daten können auf drei Arten aus Datenbanken extrahiert werden: durch das Schreiben einer benutzerdefinierten Anwendung, mit Hilfe eines Datenexportprogramms oder über eine vom Anbieter bereitgestellte Schnittstelle wie ODBC. Die meisten Datenbankanbieter bieten ein Exportprogramm an, das die Daten in eine flache Datei entlädt. Die Daten können in ein kommagetrenntes Format exportiert werden, um eine maximale Portabilität zu gewährleisten. Treiberprogramme wie ODBC und JDBC bieten eine Anwendungsprogrammierschnittstelle (API), die von Entwicklern und Datenintegrationsprogrammen genutzt werden kann.
Für die operative Agilität können Daten aus Datenbanken extrahiert werden, z. B. durch die Pflege von Replikaten, die asynchron aktualisiert werden, so dass weltweit verteilte Büros oder regionale Niederlassungen über eine lokale Kopie verfügen, die ihnen autonomes Arbeiten ermöglicht. In diesem Fall werden Log-Capture-Systeme wie Change-Data-Capture (CDC) Systeme wie HVR verwendet, um Daten zu extrahieren und zu verteilen.
Ein weiterer wichtiger Grund für die Extraktion von Daten aus einer Datenbank ist die backup und Wiederherstellung zur Aufrechterhaltung der Geschäftskontinuität. In diesen Fällen können die Daten als physische Blöcke extrahiert werden, wobei die SQL-Schicht für eine maximale Durchsatzleistung umgangen wird.
FAQ
Die Datenextraktion bezeichnet die Übernahme von Daten aus einem Quelldatensatz und ist häufig der erste Schritt in einem ETL-Prozess (Extrahieren, Transformieren und Laden) innerhalb einer Datenpipeline.
Dateningenieure sind in der Regel für die Datenextraktion zuständig, deren Ergebnisse in Maschinelles Lernen Data Analytics Maschinelles Lernen einfließen.
Daten können aus Flatfiles, Datenströmen, Anwendungen und Datenbanken extrahiert werden, wobei je nach Format und Struktur der Quelle unterschiedliche Methoden und Werkzeuge erforderlich sind.
Daten können aus Datenbanken extrahiert werden, indem man eine eigene Anwendung schreibt, ein Datenexport-Tool verwendet oder eine vom Anbieter bereitgestellte Schnittstelle wie ODBC oder JDBC nutzt.
CDC-Systeme extrahieren Daten aus Datenbanken und verteilen sie, um operative Anwendungsfälle zu unterstützen, wie beispielsweise die Pflege asynchron aktualisierter Replikate für weltweit verteilte Niederlassungen oder regionale Standorte.
Im Gegensatz zu Flatfiles haben Datenströme kein festgelegtes Ende, sodass Extraktionsprogramme ständig auf neue Daten warten. Dies wird häufig über Tools wie Apache Kafka mithilfe eines Publish-and-Subscribe-Modells verwaltet.
Daten können mithilfe von Verschlüsselung, Publish-and-Subscribe-Modellen, Push-Protokollen wie FTP und SFTP oder Pull-Mechanismen, die es den Nutzern ermöglichen, Daten über HTTP herunterzuladen, weitergegeben werden.
Die Actian Data Intelligence-Plattform Metadaten , Governance, Data Lineage, Qualitätsüberwachung und Automatisierung, um Unternehmen dabei zu unterstützen, verwalten in hybriden Umgebungen zu vereinheitlichen und verwalten .
