Data Engineer

Описание позиции

Компания Retail Expert специализируется на аналитике продаж рынка ритейла.

Работа с данными - основной бизнес компании. В компании внедряются ML алгоритмы по автоматическому сегментированию продукции, работает отдел аналитики, есть собственная разработка ПО.

У нас высоконагруженная аналитическая система, объем данных в десятки терабайт исходных данных, справочники порядка 30 млн строк, сотни OLAP кубов и Power BI отчетов.

Наши клиенты - самые известные FMCG производители. В 80% случаев, покупая в магазине продукты - вы возьмете товар нашего клиента.

Для развития системы мы расширяем бэк-команду, в связи с этим в поиске нового специалиста на позицию Data Engineer.

Требования:

Понимание работы СУБД и принципов построения хранилищ данных;
Опыт работы с Hadoop (Spark, HDFS, YARN etc.);
Отличное знание SQL, Python/Scala/Java;

Будет плюсом знания Nifi, Kafka, Airflow;

Опыт работы с Docker, Kubernetes;
Знание Git.

Что предстоит делать:
Разрабатывать витрины данных;
Интегрировать новые источники данных в DataLake;

Контролировать качество загружаемых данных;
Проводить код ревью;

Отвечать за оптимизацию, рефакторинг и поддержку решений.

Извлекать, преобразовывать, загружать данные и их обрабатывать (ETL/ELT).

Формировать отчеты.

Создавать и развивать процессы управления данными и их качеством;

Работать с высоконагруженными базами.

Мы ждем от вас:

Уверенный опыт программирования на Python (не менее 2-х лет);
Уверенные знания SQL и опыт работы с базами данных;
Опыт работы с Apache Airflow;
Опыт написания процессов загрузки данных (ETL);
Оптимизация SQL запросов;
Понимание принципов работы данными;
Опыт работы с СlickHouse/GreenPlum/MSSQL/PG;
Понимания концепций построения хранилищ данных.

Администрирование баз данных

- поддержка работы баз данных MsSQL-Server: поддержка и оптимизация ELT-процессов загрузки, обработки и миграции данных;

- контроль достоверности и целостности данных;

- кастомный экспорт больших объёмов данных;

- взаимодействие с внутренними заказчиками, уточнение требований;

- участие в проектах автоматизации импорта/экспорта данных, обновления метаданных и обработки кубов.

Условия работы

Гибкий график, полная занятость, офис в Москве, м. Бутырская