Der Begriff ETL (Extract, Transform, Load) bezeichnet einen Prozess, bei dem Daten aus einer oder mehreren, gegebenenfalls unterschiedlich strukturierten Quellen in einem Zielsystem zusammengeführt werden. Dabei müssen die Daten ausgelesen, in ein Zielformat transformiert und abschließend ins Zielsystem geladen werden. Ein typisches Anwendungsszenario des E-Commerce ist das Onboarding von Produktdaten unterschiedlicher Anbieter auf eine Plattform.
Komplexe Datenstrukturen – Ihre Herausforderung
Produktdaten können aus verschiedenen Systemen mit unterschiedlichen Datenformaten und -strukturen bereitgestellt werden. Bei der Extraktion werden Produktdaten aus den Quellen extrahiert und für die Transformation bereitgestellt. Hierbei erfolgt eine Schematransformation vom Schema der Quelldaten in das Schema des ETL-Systems.
Um Ihr Shop-System, Ihre Plattform oder das Data Warehouse mit aktuellen Daten zu versorgen, muss die Extraktion regelmäßig stattfinden.
Unterschiedlich strukturierte Produktdaten müssen in ein einheitliches Datenschema transformiert werden. Dabei sind für den späteren Einsatz der Produktdaten auf einer E-Commere Plattform meist sowohl technische Umwandlungen, wie die Änderung von Datentypen und -formaten, als auch inhaltliche Anpassungen, wie beispielsweise das Eliminieren von Dubletten, die Normierung von Daten oder Umrechnung von Maßeinheiten, erforderlich. Eine permanente Qualitätssicherung erleichtert den Transformationsprozess und macht Arbeitsschritte transparent.
Im letzten Schritt des Daten-Onboardings werden die Daten aus dem ETL-System an Ihre Plattform übermittelt. Entscheidend ist ein möglichst effizientes Übermitteln der Daten an Ihr System, so dass es während des Load-Prozesses nicht zu einer Überlastung Ihrer Datenbank kommt. Eine Protokollierung der Übermittlung der Produktdaten vom ETL-System schafft Nachvollziehbarkeit und ermöglicht das Prozess-Monitoring.
Data Connector: Das ETL-System des E-Commerce
Der Data Connector ermöglicht Ihnen das Onboarding von Fremdsortimenten vieler Anbieter auf eine Plattform. Produktdaten unterschiedlicher Quellen werden strukturiert, normiert und entsprechend Ihrer der individuellen Anforderungen Ihrer E-Commerce Plattform validiert.