Data engineer / Дата-инженер

Команда разработки решений для маркетологов компании ищет опытного дата инженера для создания хранилища данных в рамках внутреннего технологического продукта. Мы занимаемся автоматизацией запуска и проведения маркетинговых акций и других промо активностей компании. И разрабатываем как решения для конечных пользователей, так и системы для внутреннего использования. У команды несколько логически связанных решений под нужды маркетинга, которые разрабатываются параллельно и могут влиять друг на друга.

Обязанности и задачи:

• Участие в проектировании и выстраивание (совместно с DevOps) с 0 платформы данных в компании

• Разработка, тестирование и документация ETL процессов с основными источниками данных

• Проектирование и разработка DWH

• Активно развивать Data Quality и Governance направление. Автоматизация проверок качества данных

• Формирование системы мониторинга целостности и качества данных

Требуемые знания и опыт:

• Опыт работы дата инженером от 2 лет

• Опыт и понимание принципов проектирования архитектуры хранилища данных (Kimball, Medallion, OBT)

• Опыт разработки и организации ETL на Python (опыт работы и поддержки Dagster, Prefect, Airflow - как преимущество)

• Опыт работы с Docker, Kubernetes

• Актуальные знания или желание разобраться в релевантных open source решениях - Apache Iceberg, Delta Lake, Trino и другие

• Свободный SQL и продвинутый уровень владения Python

Плюсом будет:

• Практический опыт работы с dbt

• Практический опыт работы с Data Lake / Lakehouse на базе s3 Minio + Apache Iceberg / Delta + Trino (или аналоги)

• Глубокое понимание архитектуры и принципов работы Clickhouse
  
  Мы предлагаем:

• График работы 5/2 с 9.00 до 18.00.
• Удаленный формат работы
• Оплачиваемый отпуск.
• Гибкий подход к управлению, постановке задач, процессам.
• Перспективные проекты и продвинутые технологии.
• Интересные задачи в дружной и большой команде.
• Отсутствие ненужной бюрократии, возможность реализовывать свои идеи.