Data Engineer

Подробнее

GFAIVE
Москва
Удаленная работа, От 1 года до 3 лет, Полная занятость, Стандарт плюс

Ключевые навыки

Java
Python
SQL
PostgreSQL
MS SQL
SnowFlake
ClickHouse
SCALA
Базы данных
AWS
MySQL
Обязанности:

  • Организация автоматизированного сбора данных из различных источников в единое централизованное хранилище,

  • Настройка, интеграция и создание витрин данных для работы аналитиков и Data Scientist,

  • Создание конвейеров регулярной и непрерывной подготовки данных (CI/CD pipelines),

  • Преобразование и подготовка данных к моделированию,

  • Администрирование хранилища (SnowFlake, ClickHouse)

Требования:

  • Знание Python,

  • Понимание принципов построения DWH, понимание принципов хранения данных в распределенных колоночных СУБД, знание особенностей хранения данных в ClickHouse и/или Snowflake, понимание принципов построения материализованных представлений,

  • Знание хотя бы одного из диалектов SQL (Snowflake, ClickHouse) на уровне использования аналитических/оконных функций,

  • Понимание принципов работы ETL-систем и опыт работы (как плюс) хотя бы с одной из них (Apache Airflow, AWS Glue, Informatica ETL, Pentaho ETL, Talend и пр.),

  • Опыт работы хотя бы с одной облачной платформой (AWS, Google Cloud, Azure)

Будет плюсом:

  • знание Scala (предпочтительно) или Java,

  • опыт работы с реляционными и нереляционными базами данных (MySQL, MSSQL, PostgreSQL, MongoDB, Amazon Redshift),

  • опыт работы с Apache Spark (в идеале Amazon EMR)

Условия:

  • Удаленная работа

  • Динамичная распределенная команда

  • Участие в разработке Fashion-Tech продукта, который будет представлен на Prada show 2020

  • Погружение в тему мировой Fashion индустрии с помощью эдвайзеров из Prada, Giorgio Armani и т.д.

  • Европейская практика разработки и выведения Fashion-Tech AI-driven продукта