Data Engineer

Ключевые навыки

Департамент информационных технологий Правительства Москвы — команда профессионалов, чья работа не видна невооруженным глазом, но с каждым днём делает жизнь москвичей проще и качественней.

Направление больших данных в ДИТ реализует концепцию Data Driven City. Для этого наши дата-инженеры постоянно собирают, обрабатывают и интерпретируют данные, попадающие в городские информационные системы. Мы рассматриваем город как сервис для жителей и выстраиваем пользовательские сценарии таким образом, чтобы каждый получал нужные ему услуги до того, как обратится за ними.

Сейчас команда активно растёт и набирает темп, поэтому мы в поисках Дата-инженера.

Наши преимущества:

• амбициозные проекты;
• значимая роль в молодой команде экспертов, в которой коллеги всегда поддерживают друг друга;
• развивающие задачи и карьерные вызовы, реальные возможности для роста;
• открытую атмосферу, где ценят обратную связь, инициативность, креатив;
• развитую корпоративную культуру, мероприятия и «плюшки» для сотрудников;
• офис в бизнес-центре класса А.

Что нужно делать:

• организовывать процесс автоматизированного сбора данных;
• очищать и нормализовывать данные, полученные из различных источников;
• контролировать качество данных – их полноту, актуальность и достоверность;
• формировать единые сущности на основе первичных данных, полученных из различных источников;
• формировать витрины данных для дальнейшего анализа, модифицировать данные и их форматы под различные задачи.

Что важно для нас:

• опыт работы на аналогичной позиции либо опыт в Big Data;
• знание алгоритмов и структур данных;
• владение Python и PySpark;
• знание и умение работать со стеком Apache Hadoop;
• знание и умение работать с ETL/ELT-системами (Vertica, Oracle DI, Pentaho DI и т.д.).