Lead Data инженер

Подробнее

Лента, федеральная розничная сеть
Москва
Полный день, Более 6 лет, Полная занятость, Стандарт плюс

Ключевые навыки

Spark
Python
SCALA
SQL
Kafka

«ЛЕНТА» – федеральная розничная сеть, занимающая первое место в России по количеству гипермаркетов. Наши информационные системы перерабатывают огромные объемы информации от движения автотранспорта до покупки товара покупателем.

Ищем Lead Data инженера для работы с большими объемами данных, open source решениями и сложными задачами.

Наш стек:

On Premise : HDFS, Spark, Python, Scala, SQL Kafka, Nifi

Cloud: Azure Blob Storage, Azure Databricks, Azure Data Factory

О проекте:

Совместно с командой Data Scientists и Data инженеров внедряем платформу управления продуктивными решениями Machine Learning с мониторингом производительности, качества моделирования и непрерывностью работы.

Примеры задач:

Разработка платформы доставки и обработки данных на базе HDFS, SPARK, Kafka для целей аналитики и ML.

Вам предстоит:

  1. Заниматься разработкой витрин данных, разработкой и поддержкой средств мониторинга, обеспечивать качество и стабильность данных. Развивать средства донесения результатов скоринга до конечных заказчиков (api и пр.).
  2. Осуществлять поддержку аналитиков по вопросам выборки данных из хранилища. Поддерживать проекты по машинному обучению и ad-hoc.
  3. Внедрять инструменты для быстрой имплементации результатов работы ML в разные функции бизнеса.

Какие навыки нужны:

  • опыт программирования от 3-х лет на Python /Scala
  • опыт работы с HDFS, Spark
  • опыт работы с системами построения очередей (kafka, akka)
  • опыт работы с GitLab
  • опыт работы с Docker, Kubernetes.

Будет плюсом:

  • опыт работы ETL, ELT инструментами
  • опыт работы с Change Data Capture инструментами
  • знание принципов проектирования баз данных (реляционных), отличия и преимущества форматов ORC, Parquet, Avro

Тебя ждет:

  • активное участие в реализации значимых Big data проектов в одной из лидирующих розничных сетей
  • возможность самостоятельно принимать решения по архитектуре и стеку
  • дружный коллектив профессионалов с европейской корпоративной культурой
  • программа личного развития, включающая внешнее и внутреннее обучение
  • возможность работать удаленно до 90-100% времени
  • годовое премирование на основании результатов оценки деятельности

А также:

  • ДМС класса Люкс со стоматологией
  • компенсация мобильной связи
  • оформление по ТК РФ, полный спектр социальных льгот
  • скидка на занятия с репетитором по английскому языку
  • скидки на фитнес, возможность заниматься корпоративным спортом (футбол, волейбол)