Data Engineer (ClickHouse)

Команда занимается развитием Лаборатории данных, внедряет новые инструменты для работы с данными и разработки прототипов витрин/моделей/отчетов.

Стек технологий:

• БД: Greenplum, ClickHouse, Postgres
• инструменты: Airflow(в разработке) и корпоративные оркестраторы, Hadoop, Spark, Kafka, Flink, Trino
• ЯП: Python, Go, Java
• BI: Superset

Задачи:

• загрузка больших (терабайты) объемов данных
• интеграция инструментов/БД между собой (например:Greenplum+ClickHouse)
• оптимизация производительности
• коммуникация с пользователями
• разработка ETL-процессов
• проработка модели данных DWH
• мониторинг нагрузки на кластер, утилизации, обеспечение стабильности сервиса.

Мы ожидаем, что у тебя есть:

• опыт работы с большими DWH (более 1 Pb)
• опыт работы с ClickHouse, Greenplum
• опыт работы с Kafka, Hadoop
• SQL - опыт написания запросов разной сложности
• опыт построения ETL/ELT-процессов
• опыт работы с Python.

Мы предлагаем:

• офис рядом со станцией метро Кутузовская
• возможность работы в гибридном графике по итогам испытательного срока
• бесплатный спортзал
• места для отдыха - настольный теннис, кикер, бильярд и многое другое
• возможность работать с современным стеком технологий
• социальный̆ пакет (ДМС)
• огромный каталог образовательных программ, возможность обучения и сертификации за счет компании
• программа льготного кредитования в Сбербанке
• дисконт-программы от множества компаний партнеров
• возможность принять участие в других крупных и уникальных проектах Банка.