Data engineer

Чем предстоит заниматься:

• Участие в проектах внедрения и дальнейшей эксплуатации DWH решений в качестве инженера;
• Разработка и контроль технических решений и разработка проектной документации, регламентов;
• Оценка трудоемкости работ и необходимых ресурсов.

Основные задачи:

• Создание пайплайнов для загрузки и обработки информации;
• Создание витрин с данными;
• Преобразование необработанных данных в формат, подходящий для последующей обработки и анализа;
• Настройка сбора данных из множества источников в одно хранилище;
• Проверка корректности данных, отсеивание неполной или ошибочной информации.

Мы ожидаем:

• Отличное знание SQL: на уровне оконных функций, CTE, написания процедур - умение оптимизировать запросы;
• Опыт работы с реляционными БД (в идеале Postgres);
• Умение создавать витрины с данными;
• Умение проводить первичный анализ данных (фильтрация, распределения, частоты, очистка данных и трансформация).

Будет плюсом:

• Знание стека Hadoop (Apache Hadoop, Cloudera Manager, MapReduce, HDFS, Spark, Kafka, YARN);
• Знание Java/Python;
• Навыки скриптинга (bash/powershell);
• Умение настраивать ETL/ELT-процессы;
• Знание систем контроля версий и опыт коллективной разработки;
• Знание облачных технологий;
• Умение писать скрипты к BI-системам.

Мы предлагаем:

• Оформление в аккредитованную ИТ-компанию;
• Работу в комфортном офисе в шаговой доступности от ст. м. "Динамо" и "Петровский парк" (БКЛ);
• Формат работы - офис/гибрид;
• При переезде в Москву, компания компенсирует затраты на релокацию.