Data Engineer (all Genders) mit Schwerpunkt Databricks

Als Data Engineer (m/w/d) mit Schwerpunkt Databricks wirst du ein entscheidender Teil unserer datengetriebenen Lösungen. Du entwickelst moderne Data Pipelines, unterstützt bei Architekturentscheidungen und sorgst dafür, dass Daten fließen, wo sie gebraucht werden – sauber, performant und skalierbar.

Du arbeitest an spannenden Projekten rund um Lakehouse‑Architekturen, Data Pipelines und Cloud‑Plattformen – und bekommst viel Gestaltungsspielraum.

Deine Aufgaben:

• Aufbau und Weiterentwicklung moderner Data Pipelines auf Basis von Databricks, Spark und Delta Lake
• Modellierung und Strukturierung von Daten für Analytics-, BI- und KI‑Use‑Cases
• Integration verschiedener Datenquellen (strukturiert, semi‑strukturiert, unstrukturiert)
• Unterstützung beim Design und der Umsetzung von Lakehouse‑Architekturen
• Orchestrierung und Automatisierung von Pipelines (z. B. Databricks Jobs)
• Zusammenarbeit mit Data Scientists, BI‑Entwicklern und Kundenteams
• Sicherstellen von Performance, Stabilität & Observability

Qualifications

Was du mitbringst (Must‑Have Skills)

Wir fokussieren uns auf das, was wirklich zählt:

Core Engineering

• Sehr gute Kenntnisse in Spark, Delta Lake und PySpark
• Erfahrung im Aufbau von ETL/ELT‑Pipelines (idealerweise Medallion‑Architektur)
• Erfahrung mit Azure‑Services wie ADLS und Azure Data Factory
• Souveräner Umgang mit Git und CI/CD‑Workflows (z. B. Azure DevOps)
• Grundlagen der Datenmodellierung (Star Schema, 3NF oder Data Vault)

Plattform & Orchestrierung

• Erfahrung mit Databricks‑Jobs, Pipelines oder ähnlichen Orchestrierungsmechanismen

Arbeitsweise

• Qualitätsbewusstsein: Du möchtest saubere, wartbare Datenlösungen bauen
• Bereitschaft, dich weiterzuentwickeln und Neues zu lernen
• Kommunikation auf Augenhöhe – im Team und beim Kunden
• Sehr gute Deutschkenntnisse (für Kundendialog, Workshops & Teamkommunikation)

Nice to have (kein Muss, aber ein Plus)

• Streaming (Structured Streaming, Kafka)
• MLflow
• Power BI oder dbt
• Erfahrung mit mehreren Clouds (AWS/GCP Databricks)
• Cluster Management & Kostenoptimierung
• Data Governance (z. B. Unity Catalog oder Rollenmodelle)

Wenn du nicht alles davon kannst – kein Problem. Bei uns zählt Lernbereitschaft mehr als Perfektion.

Additional Information

Warum du bei uns gerne arbeiten wirst

💛Ein Team, das dich wirklich willkommen heißt

• Wir leben echte Zusammenarbeit und stärken unser Miteinander durch eine Vielzahl von Teamaktivitäten.

🎯Projekte, die Wirkung zeigen

• Wir entwickeln analytische Lösungen, die unseren Kund*innen echte Fortschritte ermöglichen – von Data Engineering über BI bis Data Science. 

📈Deine Weiterentwicklung ist uns wichtig

• Du arbeitest mit erfahrenen Kolleg*innen, bekommst Raum für Wachstum und wirst auf Wunsch aktiv gefördert.

🔍Qualität und Nachhaltigkeit im Fokus

• Wir legen Wert auf Sorgfalt, Wartbarkeit und enge Abstimmung – Lösungen sollen langfristig funktionieren. 

🌱Moderne Arbeitsweise

• Agil, transparent, offen – mit viel Raum für Eigenverantwortung und Einfluss auf technische Entscheidungen.

Zudem bieten wir dir:

• unbefristete Festanstellung mit 6 Wochen Urlaub 
• eine deinen Bedürfnissen entsprechende Einarbeitungsphase mit Begleitung durch ein Mentoring Programm,
• die Teilnahme an unserem Mitarbeiter-Beteiligungsprogramm,
• eine kostenlose M-Mitgliedschaft bei Urban Sports Club und vergünstigte Konditionen bei L- und XL-Tarifen,
• neben einem attraktiven Vergütungspaket erhältst du natürlich ein Notebook und ein Smartphone sowie weitere Zusatzleistungen wie z.B. Deutschlandticket, JobRad und/oder betriebliche Altersvorsorge,
• je nach Kunden die Möglichkeit im Homeoffice zu arbeiten – wobei du in unserem Büro im Herzen von Köln immer willkommen bist,
• die Möglichkeit zu individuell gestaltbaren Sabbaticals.