Data Engineer

Подробнее

Сбербанк
Москва
Полный день, От 1 года до 3 лет, Полная занятость, Стандарт

Ключевые навыки

Oracle Pl/SQL
SQL
Python
Java
Data Mining

Оперативное обеспечение Data Science специалистов блока Риски качественными выборками из различных информационных систем Банка, необходимыми для построения новых моделей, а также для оценки качества и корректировки существующих моделей. Результатом работы дата-инженера и дата-сайнтиста становится прототип математической модели исследуемого бизнес-процесса, который становится основой для внедрения модели в промышленные системы. Для успешного внедрения прототип должен быть подробно задокументирован, как с точки зрения алгоритма получения выборки (зона ответственности дата-инженера), так и с точки зрения заложенной в модель математики (зона ответственности дата-сайнтиста).

Обязанности:

  1. разовые поставки данных для Data Science специалистов в рамках текущих задач. Разовые поставки включают в себя следующие активности:
    • уточнение постановки задачи для определения оптимального состава данных для выборки
    • коммуникации с экспертным сообществом Банка для идентификации необходимых систем-источников и особенностей хранения данных внутри них
    • извлечение данных из источников
    • разработка и документирование детерминированного алгоритма трансформации и очистки данных
    • контроль качества выборки
  2. разработка регулярно обновляемых витрин, способных закрывать большую часть потребностей Data Science специалистов в выборках для моделирования. Витрины должны минимизировать трудозатраты дата-инженеров на разовые поставки данных. Активности в рамках данного направления:
  • обобщение накопленного опыта разовых поставок, проектирование модели данных для витрин
  • разработка и поддержка витрин в «небоевом» контуре лаборатории данных. Данные витрины будут являться источниками данных для разовых поставок и прототипами для внедрения в «боевые» Хранилища Данных
  • разработка технологий интеграции с боевыми Хранилищами Данных: совместимые модели данных, технологические стеки, тех процессы и DevOps практики, с целью минимизации затрат на перенос прототипов витрин в боевые системы

Технологический стек:

  • Bigdata: Hadoop, Hive, Impala, Spark, Scala, Python
  • СУБД: Oracle, Teradata, Greenplum
  • ETL: Informatica, SAS Enterprise Guide
  • управление требованиями: Jira, Confluence, BitBucket

Требования к кандидату:

  • высшее, техническое либо финансовое образование
  • опыт работы от 3х лет с одной или несколькими СУБД: Oracle, MS SQL, Teradata либо СУБД стэка Bigdata
  • опыт работы с хранилищами данных от 1го года
  • опыт работы в роли аналитика с функцией подготовки выгрузки данных для заказчика
  • сильные компетенции в области реляционных СУБД и хранилищ данных:
    • уверенное знание SQL: сложные запросы, аналитически функции, понимание физической реализации join’ов, оптимизация производительности запросов
    • знание одного или нескольких языков программирования: PL/SQL, T-SQL, Java, Python, Scala на уровне переменных, процедур, функций, циклов, условных операторов
    • знание одного или нескольких ETL-инструментов: Informatica, MS SSIS, SAS, ODI
    • понимание принципов организации хранилищ данных, подходов к проектированию логической и физической моделей, понимание основной проблематики хранилищ и подходов к решению
  • аналитический склад мышления, умение быстро погружаться в новые предметные области
  • самообучаемость, готовность осваивать новые инструменты разработки и языки программирования
  • ориентация на результат, проактивный подход к работе, умение довести задачу до логического завершения
  • развитые коммуникационные и аналитические навыки:
    • Умение структурировать и формализовывать нечеткие требования заказчика
    • Умение декомпозировать работы и оценить их трудоемкость
    • Навыки корректных горизонтальных коммуникаций с соседними подразделениями для получения консультаций

Дополнительным плюсом будут:

  • участие в проектировании и разработки витрин и хранилищ данных
  • участие в проектировании и реализации инструментов автоматизации разработки
  • понимание банковской предметной области: знание продуктовой линейки универсального розничного банка, понимание кредитного и бухгалтерского учета, знание основных информационных сущностей учетных систем (кредитный договор, график платежей, счета, остатки и т.д.)

Условия:

  • трудоустройство согласно ТК
  • страхование от несчастных случаев и тяжелых заболеваний, ДМС
  • программа льготного кредитования в Сбербанке
  • дисконт-программы от компаний партнеров
  • обучение и сертификация за счет компании
  • офис - БЦ РТС, Хлебозаводский проезд, 7 (метро Нагатинская/ Коломенская)

Адрес на карте