Data Engineer

На масштабное направление по разработке и внедрению омниканальной платформы для розничного бизнеса ведущего банка ищем Data-инженера.

Вам предстоит:

• Анализ, проектирование и создание витрин данных;
• Извлечение, очистка, загрузка и трансформация больших объемов данных из различных источников (тeradata, hadoop, плоские файлы), а также подготовка требований для разработки промышленных ETL-процессов;
• Контроль качества загружаемых данных, разработка автоматизированных инструментов для оценки качества данных;
• Анализ исходных данных в различных СУБД (тeradata, hadoop, postgresql) и форматах данных для решения бизнес-задач (оценка структуры, качества, полноты и применимости данных);
• Совместно с DS и DA внедрение математических алгоритмов в промышленные процессы;
• Предоставление экспертной поддержки внутренним потребителям (DS, DA) по вопросам, связанным с использованием данных.

Для этого Вам потребуется:

• Уверенное знание SQL: сложные запросы, аналитически функции, понимание физической реализации join’ов, оптимизация производительности запросов, хранимые процедуры и функции;
• Знание Python на уровне переменных, процедур, функций, циклов, условных операторов;
• Понимание ETL процессов, опыт работы с ETL-инструментами;
• Понимание принципов организации хранилищ данных, подходов к проектированию логической и физической моделей, понимание основной проблематики хранилищ и подходов к решению;
• Развитые коммуникативные навыки, желание развиваться в области работы с данными;
• Образование: Высшее (техническое/математическое).

Будет плюсом:

• Опыт работы с MPP СУБД, в частности с Teradata;
• Опыт проведения анализа данных с помощью Python;
• Опыт работы с Big data стеком: Hadoop, Hive, PySpark, Airflow.