Lead Databricks Engineer

Be in IT is a recruitment company seeking a Lead Databricks Engineer for a global consulting firm. The role involves leading the development of the Databricks Lakehouse platform, designing abstractions, and supporting streaming architecture. The position offers long-term collaboration with a top international consulting company in the Global Tax Technology domain.

• Długofalowa współpraca z międzynarodową, topową firmą consultingową świadczącą globalne usługi z obszaru technologii podatkowych (Global Tax Technology) dla dużych organizacji.
• Pełnienie roli Tech Leada i Team Leada w środowisku platformy Sightline – autorskiego systemu Klienta wspierającego świadczenie usług doradztwa podatkowego dla klientów zewnętrznych.
• Wspieranie rozwoju i ewolucji platformy Databricks Lakehouse poprzez wspomaganie wielu zespołów w budowaniu produktów danych, uzupełnianie luk wiedzy w zakresie narzędzi, wzorców i best practices.
• Projektowanie i rozwijanie warstw abstrakcji oraz frameworków na bazie Databricks w celu uproszczenia workflow deweloperów i zwiększenia tempa dostarczania rozwiązań.
• Zapewnienie zgodności projektowania platformy z zasadami developer-first, wykraczającymi poza tradycyjne, batchowe podejście ETL.
• Wspieranie i rozwijanie architektury streaming-first, prowadzenie zespołów przez transformację z legacy Data Warehouse do event-driven i streaming data products.
• Stosowanie podejścia DevOps w środowisku platform danych: pipeline'y CI/CD, Infrastructure as Code, stabilność operacyjna.
• Monitorowanie, analiza i optymalizacja kosztów oraz wzorców konsumpcji Databricks.
• Zarządzanie integracjami Databricks z technologiami downstream, w tym: Power BI, Microsoft Fabric i innymi narzędziami do konsumpcji danych.
• Mentoring inżynierów i wywieranie wpływu na kierunki techniczne w obrębie wielu zespołów.
• Ścisła współpraca z interesariuszami i liderami w celu przełożenia wizji platformy na konkretne inicjatywy.

• Minimum 12 lat doświadczenia w projektach IT w globalnym środowisku i złożonej organizacji, w tym bezpośredniej komunikacji z biznesem oraz seniorskimi interesariuszami.
• Silnego backgroundu w software engineeringu – preferowanego nad profile czysto analityczne, BI lub data science.
• Znajomości fundamentów data engineeringu, szczególnie wykraczających poza batch ETL.
• Doświadczenia z platformami typu data lakehouse, ze szczególnym uwzględnieniem Databricks.
• Doświadczenia z architekturami streaming lub near-real-time, w tym Databricks Structured Streaming i Delta Live Tables.
• Znajomości wzorców integracji Power BI (niewymagana rola eksperta/SME).
• Znajomości platformy Microsoft Azure i M365, a także stosu Azure (Functions, Service Bus lub Event Hub, App Services, Cosmos DB) oraz MongoDB.
• Doświadczenia z praktykami DevOps i DataOps: pipeline'y CI/CD, zarządzanie infrastrukturą chmurową przez Infrastructure as Code.
• Doświadczenia z narzędziami i agentami AI wspierającymi development, takimi jak: GitHub Copilot, Cursor, OpenAI Codex, Claude Code, Gemini CLI, Antigravity itp.
• Komfortu działania w warunkach niepewności i aktywnego kształtowania platformy, a nie tylko jej konsumowania.
• Znajomości języka angielskiego na poziomie B2 lub C1 – umożliwiającej swobodną komunikację w międzynarodowym środowisku.
• Mile widziana dostępność ASAP; akceptowalny jest maksymalnie miesięczny okres wypowiedzenia ze skutkiem na koniec miesiąca.

• Długofalowa współpraca z wynagrodzeniem w przedziale 210-280 PLN netto/godz. + VAT.
• Wsparcie przy zakładaniu i prowadzeniu działalności gospodarczej.
• Sprawny proces rekrutacyjny - dwie rozmowy techniczne online (każda maksymalnie po godzinie).
• Współpraca w pełni zdalna.
• Benefity - prywatna opieka medyczna, karta Multisport.
• Nowoczesny sprzęt zapewniany przez firmę wraz z softem i konfiguracją.