Data Engineer

Основные требования:

• Понимание принципов организации хранилищ данных, внутренней архитектуры Hadoop и Spark. Опыт работы с DWH;

• Понимание методологии DevOps;

• Навыки работы с BitBucket, Jenkins, Nexus или аналогичными инструментами DevOps;

• Уверенное знание SQL, умение строить сложные запросы и оптимизировать производительность;

• Опыт работы с операционными системами, базами данных, системами сборки, конфигураций, оркестрации и мониторинга;

• Опыт работы с ETL инструментами;

• Опыт командной разработки с использованием программных продуктов Confluence и Jira (желательно);​​​​​​​

Ключевые навыки:

• Hadoop, Spark, Jenkins,Bitbucket, Nexus, Git, ETL, SQL, DWH, Jira

Должностные обязанности:

• Работа с DWH, проектирование схем для хранения и предоставления данных;

• Построение и сопровождение витрин;

• Развитие и поддержка существующих DevOps процессов в части разработки витрин данных

• Участие и совершенствование релизного процесса;

• Поиск ошибок и аномалий в данных, автоматизация проверок качества данных;

• Взаимодействие с поддержкой корпоративной аналитической платформыи другими смежными командами;

• Загрузка данных в DWH из различных источников (как внутренние БД, так и внешние аналитическиеплатформы и т.д.);

• Проектирование и разработкаETL процессов;

• Разработка кода в соответствии с требованиями к предоставлению данных;

• Ревью и оптимизация ранее разработанного (автосгенерированного) кода;

• Разработка и прогон автотестов на разработанный/доработанный код;

• Участие в проектировании логической модели данных;

Условия:

• Возможность профессионального и карьерного роста в компании, возможность поучаствовать в разных проектах

• Опыт работы в распределенной команде профессионалов

• Уровень заработной платы обсуждается индивидуально