Clickhouse Data engineer

Наш проект построение и развитие Хранилища Данных Magnit FoodTech.
Основные задачи - развитие существующего фреймворка загрузки сырьевых данных и построения витрин над ними, развитие Дата Каталога, движка Data Quality.

Стек

• GreenPlum и ClickHouse как DWH
• AirFlow как оркестратор задач
• Python для дагов и операторов в AF
• Debezium как CDC
• Yandex Cloud как место работы всех наших сервисов
• DBT как основа дата каталога и шаблонизатор SQL

Чем предстоит заниматься
В первые три месяца

• Погрузиться во фреймворки загрузки данных и расчета витрин на основе задач по одному из направлений
• Освоиться в предметной области данных
• Проводить code review аналитиков с целью использования ими лучших технических решений и оптимизации производительности

Когда освоишься

• Создавать новые паттерны загрузки данных и расчета витрин для дальнейшего переиспользования
• Развивать модель данных
• Рефакторить текущие процессы, предлагать лучшие практики работы с данными
• Самостоятельно вести проекты, нужные бизнесу. Декомпозировать их до понятных технических задач

Что нужно, чтобы к нам присоединиться

• Знать особенности MPP систем
• Уверенно владеть SQL(Оконные функции, партицирование, агрегации, оптимизация запросов, понимание плана запроса)
• Иметь опыт с Python достаточный для разработки операторов в AirFlow(ООП) и написания пайплайнов данных из различных источников
• Понимать принципы работы AirFlow (даги, таски, операторы, сенсоры, хуки, контекст)

Будет плюсом
Опыт в GreenPlum и/или ClickHouse (особенно шардированный)

Что предлагаем

• Очень интересный сложный продукт с большим количеством пользователей
• Формат работы: полная удаленка, при желании – гибрид/офис
• Оформление в IT-компании, аккредитованной в Министерстве цифрового развития
• ДМС