Администратор Hadoop

Подробнее

Московский метрополитен
Москва
Полный день, От 1 года до 3 лет, Полная занятость, Стандарт

Ключевые навыки

hadoop
Linux
Администрирование серверов Linux
docker
kafka
airflow
Обучение и развитие
Работа в команде

Инновационный Центр “БЕЗОПАСНЫЙ ТРАНСПОРТ”это молодая аналитическая организация внутри Департамента Транспорта Москвы, которая занимается проектами в области BigData для города: улучшение транспортной инфраструктуры для всех участников (пешеходы, водители, общественный транспорт), аналитическая поддержка департамента транспорта и подведомственных организаций.
Мы работаем над тем чтобы сделать наш город лучше, удобнее для москвичей и гостей столицы.
Сейчас в нашем IT Big Data подразделении 50 человек, это молодые ребята с опытом работы в бизнесе, увлеченные работой с данными и технологиями.
У нас нет дресс кода, хорошая атмосфера, мы вместе не только работаем, но и отдыхаем.

Мы находимся в процессе создания Единой платформы данных транспортного комплекса Москвы. Данные забираем от более чем 40 источников, среди которых есть и пакетная и близкая к реальному времени передача данных. Этот продукт выступает базой для всех информационно-аналитических продуктов нашей организации. В их числе - оказание поддержки в принятии управленческих решений Правительству Москвы на основе Big Data и другие продукты, направленные на улучшение транспортной инфраструктуры и города в целом.

ЧТО ЕСТЬ: Мы собираем множество больших транспортных данных, и все это делаем на стеке технологий: Hadoop, Hive, Spark, Kafka, Airflow, Vertica, DB2, Tableau, Campaign, ElasticSearch, Kibana, Kubernetes

С КЕМ РАБОТАТЬ: Команда платформы данных состоящая из инженеров данных, архитектора, аналитиков данных.

Для поддержки работоспособности и дальнейшего развития нашей платформы данных нам необходим администратор, который своими компетенциями полностью закрыл бы все задачи, связанные с указанным выше стеком:

  • Администрирование и мониторинг промышленного кластера Hadoop (всех компонент: hdfs, yarn, hive, tez, spark);
  • Администрирование и мониторинг систем, отвечающих за транспорт данных (kafka, airflow);
  • Администрирование ОС Linux;
  • Создание образов, деплой приложений в Docker;
  • Общение с технической поддержкой вендоров по инцидентам;
  • Архитектурный консалтинг в части построения и оптимизации высоконагруженных отказоустойчивых систем для анализа данными.

Мы бы хотели, чтобы наш кандидат имел:

  • Опыт работы со стеком технологий Hadoop не менее 2х лет;
  • Опыт администрирования ОС Linux;
  • Опыт работы с Docker;
  • Опыт работы с системами оркестрации Docker контейнеров приветствуется;
  • Понимание принципов работы сетей;
  • Понимание принципов работы систем управление конфигурациями;
  • Опыт администрирования реляционных баз данных;
  • Опыт работы в крупных проектах и умение решать архитектурные вопросы будет большим плюсом;
  • Законченное высшее образование.

Эта вакансия для вас, если:

  • Вы заинтересованы в личном развитии и развитии города с помощью технологий;
  • Вы очень любите данные и еще больше любите технологии и системы их обработки;
  • Вам нравится принимать решения и непосредственно участвовать в развитии продуктов;
  • Вы нацелены на результат;
  • Вы умеете работать в команде и приходите на помощь коллегам.

ЧТО МЫ ПРЕДЛАГАЕМ:

  • Интересную работу в масштабных проектах, возможность реализовать свои идеи, помощь и поддержку;

  • Отличную команду, молодую и активную, увлеченную тем, чем занимается;

  • Уютный офис в центре Москвы;

  • График 5/2, начало рабочего дня гибкое;

  • Финансовые условия обсуждаем индивидуально в зависимости от опыта кандидата.

    ПРЕИМУЩЕСТВА РАБОТЫ В МЕТРО:

  • Трудоустройство и работа в соответствии с ТК РФ;
  • Бесплатный проезд в столичном метро;
  • Бесплатный проезд по железным дорогам в пригородном сообщении от места жительства до места работы и обратно в пределах Московской области;
  • Льготы на отдых в оздоровительном комплексе метрополитена;
  • Детский оздоровительный лагерь и детский клуб.