Big Data Engineer (m/w/d)

Remote

1.9.2022

7 Monate +

Für unser Team bei unserem Kunden suchen wir Verstärkung:

Ziel des Projektes ist ein CX Management System zur Steigerung von NPS und finanziellem Erfolg. Mit einem neuen Tool werden die Kundenbefragungen zu NPS durchgeführt. Die resultierenden Daten werden in unterschiedlichen Teilprojekten aufbereitet, modelliert und analysiert, um Business Insights zu generieren. Der Schwerpunkt dieser Ausschreibung liegt in der Aufbereitung und Analyse der Daten (Dataengineering) und der Migration eines Datenmodells von AWS nach Azure.
Aufgaben:
- Migration + Weiterentwicklung bestehender ETLs (von AWS Redshift nach Azure )
- Migration einer Django-Web-App nach Azure (bereits dockerized)
- Weiter-/Entwicklung relationalen Datenmodelle (CX Daten anreichern um DWH Daten)
- Visualisierung von Analysen
- Steuerung der Erstellung von Dokumentationen

Schwerpunkt
Data-Warehouse, Data-Lakehouse Entwicklung
Databricks SQL Experte sowie pyspark
Know-How in
Anbindung von Kafka, AVRO, AVRO-Schema
Delta Lake Format
Git
Datemodelierung mit SAP PowerDesigner
Spark mit Scala (Code lesen können)
Docker, Terraform, Kubernetes für Migration verstehen können
Django (Muss migiert werden. Erstmal nicht weiterentwickelt)
Nützliches Wissen
Oracle
Dataiku
Amazon Web Services: Glue (Muss migriert werden)
PowerBI

Sehr gute Englischkenntnisse, da die Bereitstellung der Ergebnisse sowie die Dokumentation der Modelle in englischer Sprache verfasst werden.
Wissen aus dem Bereich Data Science (Zeitreihenanalyse, Kausale Modelle) sind ein Plus.

1