Middle/Senior Python Data Engineer (Wind Team, remote)

от 180000 руб.
Подробнее

SEMrush
Санкт-Петербург, Заставская улица, 22к2
Московские ворота
Удаленная работа, От 3 до 6 лет, Полная занятость, Стандарт

Ключевые навыки

Python
Git
SQL
ETL
Docker
GitLab
GCP

Semrush – продуктовая IT-компания. С 2008 года мы разрабатываем свою собственную онлайн-платформу для интернет-маркетологов, и у нас неплохо получается! Доказательством этому является премия WORLD’S BEST SEARCH SOFTWARE, которую мы получаем уже три года подряд. С помощью Semrush можно отслеживать эффективность сайта, оценивать положение продукта в сети, анализировать конкурентов и многое другое.

Сегодня нашим сервисом пользуются 7 000 000+ клиентов из Америки, Европы, Азии и Австралии, а над созданием трудятся более 1 000 человек по всему миру. С самого основания мы привержены своим фундаментальным ценностям: всегда отдавать приоритет людям, а не процессам, приспосабливаться к переменам, а не следовать строгому плану.

Команда Wind Team в поисках Middle/Senior Data Engineer со знанием Python на проект по созданию единого аналитического хранилища данных компании, а также модернизации текущего DWH с целью обеспечения соответствия современным требованиям и подходам по организации хранилищ данных корпоративного класса.

Перед нами стоит амбициозная задача по оптимизации подходов к хранению и построения потоков данных на уровне компании. Нам необходимо объединить данные из разных источников, грамотно организовать процессинг и хранение под потребности смежных подразделений (потребителей данных): Analytics, Data Scientists, Business Intelligence, Back Office и т.д. Это решение обосновано рядом основных причин, указанных в списке ниже:

  • Повышение качества кода, сгорание техдолга
  • Реализация задач по проекту DWH (Marketing, HR):
    • Поддержка существующего функционала
    • Создание новых интеграций с различными внутренними системами
  • Участие в создании нового уникального хранилища на новых технологиях

Наш текущий стек технологий:

  • Python 3.6+;
  • MySQL/PostgreSQL/BigQuery;
  • Cloud Composer Airflow;
  • Docker, k8s, Google Cloud Platform;
  • Kafka/PubSub.

Основные задачи:

  • Проработка архитектуры и требований к нашему проекту от других команд;
  • Разработка системы хранения данных;
  • Разработка системы обработки данных;
  • Миграция с текущей системы хранения и процессинга на новую.

Мы ждём от тебя:

  • Опыт работы от 3х лет по направлению Data Engineering;
  • Уверенное владение Python и SQL;
  • Опыт сбора, обработки и преобразования данных;
  • Умение грамотно выстраивать потоки данных;
  • Понимание подходов по обеспечению Data Quality;
  • Опыт работы с различными колоночными и строковыми СУБД. Знание их преимуществ и недостатков, в какой ситуации лучше использовать ту или иную;
  • Желание и способность автоматизировать рутинные процессы;
  • Опыт работы с GitLab CI, Docker, Google Cloud Platform.

Преимуществом будет:

  • Опыт работы с микросервисной архитектурой;
  • Опыт командной разработки;
  • Опыт работы с высоконагруженными MPP СУБД;
  • Опыт моделирования данных;
  • Опыт работы со Streaming Processing.

Мы предлагаем:

  • На данный момент наши сотрудники придерживаются формата “работа из дома“, а вообще СПб офис располагается совсем рядом со ст.м. Московские ворота (10 минут прогулочным шагом).
  • Гибкое начало рабочего дня, которое подойдет как жаворонку, так и сове. Ты можешь начать день в период с 9:00 до 12:00.
  • Agile-подход в работе (с удовольствием всему научим).
  • Различные тренинги/онлайн-курсы/конференции/книги для прокачивания твоих hard- и soft-скиллов.
  • Поддержка твоих спортивных увлечений и компенсация стоимости абонементов (зал/танцы/скалодромы и прочее на твой выбор).
  • Занятия по английскому языку. Сейчас они проводятся в формате онлайн.
  • Крутые вечеринки и корпоративы! Да, тоже в онлайн-режиме, но нам все равно весело:)

Адрес на карте