Senior Data Engineer
Обязанности:
-
Развитие новой функциональности:
• Разрабатывать новые ETL/ELT-процессы обработки и доставки данных из корпоративных систем в ядро хранилища. Модифицировать и улучшать существующие процессы;
• Разрабывать dbt модели;
• Разрабывать DAG в Airflow, настраивать контроль SLA, мониторинг и алерты, обрабатывать инциденты при сбоях загрузок;
• Проектировать и оптимизировать таблицы и витрины в ClickHouse для аналитичских команд и BI-систем;
• Разрабатывать контроли качества данных используя фреймворки Great Expectations и dbt-tests;
• Описывать технические части итоговой работы в документации. -
Улучшение того, что уже есть:
• Исследовать проблемные места в текущей реализации и предлагать способы решения проблем;
• Проводить оптимизацию задач с недостаточной производительностью;
• Проводить рефакторинг кода; -
RnD и взаимодействие со смежными командами:
• Проводить исследования различных инстументов для работы с данными;
• Взаимодействовать с командами смежных систем для выбора оптимальных решений при проектировании изменений.
Требования:
- Уверенно владеть SQL (оконные функции, партицирование, агрегации, оптимизация запросов, понимание плана запроса);
- Понимать принципы работы Airflow (даги, таски, операторы, сенсоры, хуки, контекст);
- Уверенный опыт работы с Python достаточный для разработки операторов в Airflow (ООП).
Будет плюсом:
- Опыт работы с системами мониторинга (Prometheus + Grafana, Open Telemetry, Sentry);
- Опыт работы с СУБД Clickhouse;
- Опыт работы с технологиями и инструментами для работы с большими данными Spark (PySpark).
Условия:
- График работы: 5/2 с 09:00 до 18:00 (в пятницу до 16:45);
- Работа в аккредитованной Минцифры ИТ-компании;
- Конкурентоспособная заработная плата (обсуждается по результатам собеседования);
- Соцпакет: программа ДМС со стоматологией, корпоративная мобильная связь, санаторно-курортное лечение;
- Возможность расти как вертикально, так и повышать уровень своих профессиональных и деловых компетенций;
- Внутреннее обучение: конференции, тренинги, мастер-классы, корпоративный университет. Внешнее обучение по направлению профессиональной деятельности;
- Возможность присоединиться к нашим спортивным командам по мини-футболу, баскетболу, волейболу или чирлидингу;
- Корпоративная электронная библиотека;
- Комфортный офис в бизнес-центре «NordStar» с удобным расположением (5 мин пешком от метро «Беговая», МЦД-1).
Развитие архитектуры data-платформы: хранилища, пайплайны, DWH, lakehouse. Разработка и оптимизация ETL/ELT процессов (например, с использованием Airflow, dbt, Spark).
Разрабатывать и проводить рефакторинг ETL/ELT пайплайнов на pyspark. Разарбатывать и поддерживать OLAP движков Starrocks/Clickhouse. Поддерживать текущие пайплайны на...
Data Scientist
Хороший Офис,
команда разная и целеустремленная,
Задачи интересные и амбициозные
Что можно улучшить
Работу с командой: обратная связь от руководителя будет дополнительной возможностью для роста.