Data Engineer в команду Agile мониторинга

Дирекция мониторинга Agile в поисках опытного Инженера Данных с навыками проектирования и разработки витрин данных, выстраивания ETL-процессов.

Команда разрабатывает уникальный по масштабу и сложности проект, призванный изменить систему управления Банком, сделав её прозрачной за счёт data-driven подхода. Продукт внедрен и используется в периметре Sbergile – Agile dashboard (известный также как «черный» дэшборд). Ежемесячная аудитория дэшборда составляет 3500+ уникальных пользователей. Продукт активно развивается и дополняется новыми фичами на основе требований и пожеланий заказчиков. Наша система мониторинга ежедневно используется руководством Банка для принятия стратегических решений, а количество задач растёт изо дня в день.

Тебе предстоит работать с уникальным размером и разнообразием проектной деятельности (3000+ команд), большим количеством источников данных, и с самым требовательным заказчиком – топ менеджментом Банка. Много интересной и разнообразной работы, а также сильный и амбициозный коллектив гарантируем!

Обязанности

• Проработка архитектуры нового хранилища данных, а также его интеграций с внешними системами (включая Корпоративную аналитическую платформу Сбера)
• проектирование и разработка витрин данных для целей аналитики и моделирования на тех. стеке: PostgreSQL, Python, Qlik, Kafka, Rest API, ClickHouse
• загрузка, очистка и трансформация больших объемов данных из различных источников в рабочую область, встраивание их в единую модель данных
• мониторинг и оптимизация процессов загрузки, преобразования данных и сборки витрин
• контроль качества загружаемых данных, разработка автоматизированных инструментов для оценки качества данных
• разработка инструментов для автоматизации рутинных задач, связанных с обработкой данных
• предоставление экспертной поддержки внутренним потребителям по вопросам, связанным с использованием данных
• рефакторинг текущих процессов, предложение лучших практик работы с данными
• разработка и поддержка сопроводительной документации и спецификаций данных, развитие и поддержка базы знаний по вопросам работы с данными.

Требования

• Опыт работы в качестве Data Engineer / MLE от 2 лет
• знание SQL на продвинутом уровне (аналитические функции, подзапросы, хранимые процедуры, оптимизация запросов)
• знание основных понятий и концепций Data Warehousing и Big Data
• опыт разработки ETL-процессов (на Python/Java как преимущество)
• опыт работы с большими объемами данных, построения хранилищ и витрин данных
• опыт работы с колоночными СУБД (Clickhouse) как преимущество
• опыт работы со стеком технологий Big Data (Hadoop, Spark, Hive/Impala, Kafka) как преимущество.

Условия

• Современный IT-офис вблизи Москва-Сити с фитнес залом
• формат работы: офис или гибрид
• позитивная и заряженная команда профессионалов
• интересные, сложные, амбициозные задачи
• создание и развитие уникального внутреннего продукта, используемого на регулярной основе всеми Agile-командами банка (3000+ команд)
• возможность профильного обучения за счет компании
• стабильная, конкурентная «белая» заработная плата (оклад + достойные премии)
• льготные условия по ипотеке и кредитам Сбербанка
• ДМС, социальные гарантии, корпоративные мероприятия.