Администратор Hadoop

Подробнее

Ростелеком
Москва
Полный день, От 1 года до 3 лет, Полная занятость, Стандарт

Ключевые навыки

Python
Java
Linux
SQL
Разработка технических заданий
hadoop

Ростелеком Данные – дочерняя компания ПАО Ростелеком сформированная в результате процесса ИТ-трансформации. Главная цель компании – применять накопленный опыт работы в сфере данных. Мы можем предоставлять высококлассный сервис по решению сложных задач с использованием как внутренних разработок, так и opensource-проектов (Hadoop, Greenplum, Kafka).

Команда Ростелеком Данные создает линейку продуктов, которая соответствует всем современным требованиям законодательства и стандартам безопасности, а главное включает самые свежие разработки и новейшие фичи.

Мы ищем Hadoop DevOps-инженера в команду департамента «Управления Данными»!

Про команду: в составе нашего департамента 200 человек. Это - инженеры, аналитики и менеджеры, которые вместе работают над тем, чтобы своевременно и качественно доставлять данные в наше хранилище на базе Greenplum и Hadoop, и показывать нашим заказчикам актуальные и точные отчеты и прогнозы.

Чем предстоит заниматься:

  • Развивать цикл сборки из исходных кодов и тестирования компонент Hadoop-экосистемы (проект по сборке собственного дистрибутива Hadoop)
  • Пакетировать артефакты сборки и поддерживать Dev/Test/Prod репозитории
  • Развивать Ansible-плейбуки для развертывания, конфигурации и управления Hadoop-кластерами
  • Администрировать Hadoop-кластера: настраивать мониторинг, искать узкие места в производительности, решать проблемы в работе кластеров, консультировать пользователей

Мы ожидаем, что у вас есть:

  • Опыт администрирования Hadoop от 1 года
  • Опыт администрирования Linux от 2 лет
  • Опыт работы с системами управления конфигурациями и деплоя, желательно Ansible/Puppet, от 1 года

Будет плюсом, если вы:

  • Имеете опыт сборки из исходных кодов OpenSource-проектов на Java и Python
  • Умеете собирать пакеты в Linux, желательно RPM
  • Имеете опыт автоматизации циклов сборки и тестирования с помощью Jenkins/Gitlab
  • Умеете настраивать Linux под высокие нагрузки
  • Умеете настраивать компоненты Hadoop-экосистемы под высокие нагрузки
  • Умеете писать на Python

Условия работы:

  • Офис недалеко от центра
  • Гибкий график
  • Высокая ЗП
  • Дружная команда
  • Оформление по ТК, ДМС
  • Разнообразное обучение: внутреннее и внешнее, доступ к корпоративным библиотекам технической и бизнес литературы