Senior Data Engineer

Наш партнер аккредитованная ИТ-компания. Основной цифровой партнер одного из ведущих отечественных DIY-ритейлеров и поставщика строительных материалов.

Стек:

ClickHouse, Pythоn, SQL, AirFlow, Spark, Apache Kafka, Yandex Cloud, Big Data, Kubernetes, FastAPI\Flask API, Java

Задачи:

• Создание хранилищ данных на базе ClickHouse.
• Разработка ETL-процессов.
• Написание, оптимизация и профилирование SQL/NoSQL запросов.
• Расчет сложных аналитических показателей в витринах данных.
• Настройка ClickHouse (шардинг, репликация), включая взаимодействие с Kafka (попадание сырых данных, решение возможных проблем с очередностью сообщений, валидностью данных).
• Участие в тестировании потоков с целью обеспечения их стабильной работы.
• Написание backend сервисов на Java.
• Участие в разработке архитектуры, процессов и инструментов для работы с данными.
• Обеспечение контроля качества данных, мониторинг, анализ и устранение проблем с качеством данных.

Требования:

• Опыт работы Data Engineer от 5 лет.
• Опыт работы с ClickHouse.
• Знание брокеров сообщений (Kafka).
• Опыт работы с Kubernetes проектами.
• Владение языком программирования Java.
• Участие в проектах по созданию DWH, Data lake.
• Опыт построения и развития высоконагруженных систем.

Условия:

• Официальное трудоустройство в аккредитованную ИТ-компанию со всеми льготами.
• Забота о здоровье: врач в офисе, полис ДМС через 3 месяца.
• Оплата обучения и участия в конференциях.
• Йога в офисе, команды по баскетболу, волейболу, футболу.
• Насыщенная корпоративная жизнь.
• График работы: 5/2, удаленный формат работы, можно работать из любой комфортной точки или из нашего офиса в Санкт-Петербурге.