Databrics Developer (42280)

About the Position

Hledám Databricks Developera, který bude navrhovat, vyvíjet a optimalizovat datové pipeline nad velkoobjemovými daty. Budete se zaměřovat na výkon Spark jobů, správu Delta Lake a práci s daty v řádu terabajtů.

Responsibilities6

• návrh, vývoj a optimalizace datových pipeline v prostředí Databricks nad velkoobjemovými daty
• ladění výkonu Spark jobů a práce s velkými datasetty
• správa dat v Delta Lake včetně práce s tabulkami o velikosti terabajtů
• správa přístupových práv a datové governance pomocí Unity Catalogu
• optimalizace nastavení clusterů a infrastruktury pro efektivní využití zdrojů a škálovatelnost
• spolupráce s datovým týmem na návrhu robustní a spolehlivé Lakehouse architektury

Requirements4

• min. 1 rok zkušeností s Unity Catalog včetně správy, governance a přístupových práv
• min. 2 roky zkušeností s Delta Lake včetně debuggingu a optimalizace velkých datových tabulek
• min. 2 roky zkušeností s optimalizací Spark pipeline na projektech s velkoobjemovými daty
• zkušenosti s laděním konfigurace clusterů v Databricks včetně autoscalingu a strategie využití zdrojů