D
DS STREAM
Data EngineeringSenior
Data Engineer
Azure DatabricksGCP Vertex AISpark Structured StreamingUnity CatalogLangChainLlamaIndexAzureGCP
Про позицію
Senior Data Engineer for LLM & RAG projects in multicloud environment (Azure, GCP) building data ecosystem with Databricks, Vertex AI, LangChain.
Обовʼязки
- Rozwijanie nowoczesnych rozwiązań chmurowych zasilających systemy Generative AI
- Budowanie zaawansowanego ekosystemu danych w środowisku multicloud (Azure oraz GCP)
- Obsługa Azure Databricks, GCP Vertex AI, Unity Catalog, Spark Structured Streaming
- Implementacja architektury Medallion i przetwarzanie danych niestrukturyzowanych (chunking, embeddingi)
- Orkiestracja LLM (LangChain / LlamaIndex)
Data EngineerPLN 170 / Hour
Оригінал