Als Data Engineer (m/w/d) mit Schwerpunkt Databricks wirst du ein entscheidender Teil unserer datengetriebenen Lösungen. Du entwickelst moderne Data Pipelines, unterstützt bei Architekturentscheidungen und sorgst dafür, dass Daten fließen, wo sie gebraucht werden – sauber, performant und skalierbar.
Du arbeitest an spannenden Projekten rund um Lakehouse‑Architekturen, Data Pipelines und Cloud‑Plattformen – und bekommst viel Gestaltungsspielraum.
Deine Aufgaben:
- Aufbau und Weiterentwicklung moderner Data Pipelines auf Basis von Databricks, Spark und Delta Lake
- Modellierung und Strukturierung von Daten für Analytics-, BI- und KI‑Use‑Cases
- Integration verschiedener Datenquellen (strukturiert, semi‑strukturiert, unstrukturiert)
- Unterstützung beim Design und der Umsetzung von Lakehouse‑Architekturen
- Orchestrierung und Automatisierung von Pipelines (z. B. Databricks Jobs)
- Zusammenarbeit mit Data Scientists, BI‑Entwicklern und Kundenteams
- Sicherstellen von Performance, Stabilität & Observability
Qualifications
Was du mitbringst (Must‑Have Skills)
Wir fokussieren uns auf das, was wirklich zählt:
Core Engineering
- Sehr gute Kenntnisse in Spark, Delta Lake und PySpark
- Erfahrung im Aufbau von ETL/ELT‑Pipelines (idealerweise Medallion‑Architektur)
- Erfahrung mit Azure‑Services wie ADLS und Azure Data Factory
- Souveräner Umgang mit Git und CI/CD‑Workflows (z. B. Azure DevOps)
- Grundlagen der Datenmodellierung (Star Schema, 3NF oder Data Vault)
Plattform & Orchestrierung
- Erfahrung mit Databricks‑Jobs, Pipelines oder ähnlichen Orchestrierungsmechanismen
Arbeitsweise
- Qualitätsbewusstsein: Du möchtest saubere, wartbare Datenlösungen bauen
- Bereitschaft, dich weiterzuentwickeln und Neues zu lernen
- Kommunikation auf Augenhöhe – im Team und beim Kunden
- Sehr gute Deutschkenntnisse (für Kundendialog, Workshops & Teamkommunikation)
Nice to have (kein Muss, aber ein Plus)
- Streaming (Structured Streaming, Kafka)
- MLflow
- Power BI oder dbt
- Erfahrung mit mehreren Clouds (AWS/GCP Databricks)
- Cluster Management & Kostenoptimierung
- Data Governance (z. B. Unity Catalog oder Rollenmodelle)
Wenn du nicht alles davon kannst – kein Problem. Bei uns zählt Lernbereitschaft mehr als Perfektion.
Additional Information
Warum du bei uns gerne arbeiten wirst
💛Ein Team, das dich wirklich willkommen heißt
- Wir leben echte Zusammenarbeit und stärken unser Miteinander durch eine Vielzahl von Teamaktivitäten.
🎯Projekte, die Wirkung zeigen
- Wir entwickeln analytische Lösungen, die unseren Kund*innen echte Fortschritte ermöglichen – von Data Engineering über BI bis Data Science.
📈Deine Weiterentwicklung ist uns wichtig
- Du arbeitest mit erfahrenen Kolleg*innen, bekommst Raum für Wachstum und wirst auf Wunsch aktiv gefördert.
🔍Qualität und Nachhaltigkeit im Fokus
- Wir legen Wert auf Sorgfalt, Wartbarkeit und enge Abstimmung – Lösungen sollen langfristig funktionieren.
🌱Moderne Arbeitsweise
- Agil, transparent, offen – mit viel Raum für Eigenverantwortung und Einfluss auf technische Entscheidungen.
Zudem bieten wir dir:
- unbefristete Festanstellung mit 6 Wochen Urlaub
- eine deinen Bedürfnissen entsprechende Einarbeitungsphase mit Begleitung durch ein Mentoring Programm,
- die Teilnahme an unserem Mitarbeiter-Beteiligungsprogramm,
- eine kostenlose M-Mitgliedschaft bei Urban Sports Club und vergünstigte Konditionen bei L- und XL-Tarifen,
- neben einem attraktiven Vergütungspaket erhältst du natürlich ein Notebook und ein Smartphone sowie weitere Zusatzleistungen wie z.B. Deutschlandticket, JobRad und/oder betriebliche Altersvorsorge,
- je nach Kunden die Möglichkeit im Homeoffice zu arbeiten – wobei du in unserem Büro im Herzen von Köln immer willkommen bist,
- die Möglichkeit zu individuell gestaltbaren Sabbaticals.