Senior Data Engineer

🌴 Forma pracy: długoterminowo, fulltime, 100% zdalnie 👈
⏰ Start: ASAP 👈

Cześć! 👋
Dla naszego klienta poszukujemy Senior Data Engineera z doświadczeniem w pracy z Databricks, Python/ PySpark oraz Snowflake. Projekt dla giganta prawniczego z US - klient będzie modernizował i migrował systemy i dany z platform z Snowflake do Databricks. Od ekstrakcji z systemów źródłowych, przez transformacje i walidację jakości, po ładowanie danych do nowych środowisk chmurowych.
Szukamy osoby z zacięciem konsultingowym (dobrze czuje się w pracy bezpośrednio z klientem), która potrafi samodzielnie działać w ramach projektu klienta oraz dobrze odnajduje się w środowisku złożonych projektów i zmieniających się wymagań. Rola przewiduje pełną odpowiedzialność za ścieżkę migracji Snowflake (nie jest to rola współwykonawcza w zespole). Idealnego kandydata cechuje głęboka wiedza techniczna w obszarach: Apache Iceberg, Unity Catalog governance oraz nowoczesne funkcje Databricks (Workflows, Serverless, Lakehouse Monitoring).
Ze względu na lokalizację klienta wymagana jest dzienna zakładka z zespołem w USA (do godziny 18:00). W pierwszych tygodniach (onboarding) możliwa będzie większa dostępność w godzinach popołudniowych.

Zakres zadań:
📍 Architektura i projektowanie
- Inwentaryzacja hurtowni danych Snowflake i mapowanie zależności
- Projekt architektury migracji z wykorzystaniem Apache Iceberg dla interoperacyjności międzyplatformowej
- Opracowanie frameworka zarządzania danymi w Unity Catalog (role-based access, zabezpieczenia na poziomie wiersza)
- Strategia synchronizacji danych historycznych (pełnej i przyrostowej)
📍 Realizacja migracji
- Eksport danych ze Snowflake (UNLOAD) → ingest do Databricks (Auto Loader, Workflows)
- Implementacja tabel Iceberg dla zgodności odczytu/zapisu między Snowflake i Databricks
- Budowa architektury Medallion (Bronze/Silver/Gold) z użyciem Delta Lake / Iceberg
- Wdrożenie zabezpieczeń na poziomie wiersza w Unity Catalog
- Projekt wzorców CDC (Change Data Capture) dla przepływu Snowflake → Databricks
📍 Optymalizacja i handoff
- Optymalizacja kosztów (Photon, Serverless SQL, podział obciążeń według poziomów)
- Tworzenie dashboardów monitorujących (jakość danych, kondycja pipeline’ów, koszty)
- Implementacja frameworka testowania jakości danych DataPact
- Wsparcie przy przełączeniu środowiska produkcyjnego i przygotowanie dokumentacji

Wymagania:
⚡️ ~5 lat praktycznego doświadczenia w pracy jako inżynier platformy Databricks
⚡️ Doświadczenie w przeprowadzaniu migracji Snowflake -> Databricks
⚡️ Praktyczna znajomość Apache Iceberg i integracji między różnymi platformami danych
⚡️ Wiedza w zakresie zarządzania dostępem i bezpieczeństwa w Unity Catalog (row-level security, access control)
⚡️ Doświadczenie z platformą Azure
⚡️ Dobra znajomość Python / PySpark i DataFrames / Delta Tables
⚡️ Umiejętność samodzielnego prowadzenia projektów w napiętych terminach
⚡️ Obycie biznesowe: umiejętność pracy z klientem, zarządzania interesariuszami, formułowania celów biznesowych
⚡️ Angielski na poziomie umożliwiającym swobodną komunikację w zespole (B2/C1)
Mile widziane:
⚡️ Certyfikacja Databricks Professional
⚡️ Wiedza z zakresu FinOps (optymalizacja kosztów, monitorowanie DBU)/ doświadczenie w branży finansowej
⚡️ Znajomość Infrastructure-as-Code (Terraform, DABs)

Jak działamy i co oferujemy?
🎯 Stawiamy na otwartą komunikację zarówno w procesie rekrutacji jak i po zatrudnieniu - zależy nam na klarowności informacji dotyczących procesu i zatrudnienia
🎯 Do rekrutacji podchodzimy po ludzku, dlatego upraszczamy nasze procesy rekrutacyjne, żeby były możliwie jak najprostsze i przyjazne kandydatowi
🎯 Pracujemy w imię zasady "remote first", więc praca zdalna to u nas norma, a wyjazdy służbowe ograniczamy do minimum
🎯 Oferujemy prywatną opiekę medyczną (Medicover) oraz kartę Multisport dla kontraktorów