Skip to main content
DS STREAM
Scraped fromNofluffjobsYesterday
Data EngineeringSenior

Data Engineer

Azure DatabricksGCP Vertex AISpark Structured StreamingUnity CatalogLangChainLlamaIndexAzureGCP
Work Type
Remote
Job Type
-
Location
Worldwide
Salary
PLN 170 / Hour

About the Position

Senior Data Engineer for LLM & RAG projects in multicloud environment (Azure, GCP) building data ecosystem with Databricks, Vertex AI, LangChain.

Responsibilities

  • Rozwijanie nowoczesnych rozwiązań chmurowych zasilających systemy Generative AI
  • Budowanie zaawansowanego ekosystemu danych w środowisku multicloud (Azure oraz GCP)
  • Obsługa Azure Databricks, GCP Vertex AI, Unity Catalog, Spark Structured Streaming
  • Implementacja architektury Medallion i przetwarzanie danych niestrukturyzowanych (chunking, embeddingi)
  • Orkiestracja LLM (LangChain / LlamaIndex)
Data EngineerPLN 170 / Hour
View Original