Data Engineer (office)

Международная компания, которая разрабатывает надёжные и актуальные IT-решения для b2c и b2b сегмента в индустрии IGaming находится в поисках Data Engineer.

Чем предстоит заниматься:
- Проектирование разработка архитектуры DWH, определение моделей данных, распределение слоев, создание витрин.
- Построение процессов ETL/ELT загрузки и трансформации данных (batch и streaming) из различных источников.
- Интеграция с Kafka: настройка и управление потоками данных, разработка продюсеров и консюмеров.
- Обеспечение качества данных (Data Quality): разработка и автоматизация DQ-проверок, внедрение процессов мониторинга и алертинга для контроля качества данных.
- Развитие систем мониторинга и информирования: настройка метрик и дашбордов в Grafana, контроль производительности.
- Оптимизация и поддержка существующего кода: рефакторинг, повышение эффективности ETL-процессов и запросов, устранение узких мест.
- Управление версиями кода (GitLab) и технической документации в Confluence.

От тебя:
- Опыт работы Data Engineer 2-3 года.
- Продвинутый уровень Python: опыт в PySpark и Apache Airflow.
- Глубокое знание SQL: умение писать и оптимизировать сложные запросы, проводить review.
- Понимание работы СУБД ClickHouse и PostgreSQL знание их внутренних механизмов и конфигураций.
- Опыт работы с большими данными: понимание распределенных систем хранения (S3, HDFS), работа с форматами данных Parquet, Avro; знание методологий моделирования данных.
- Интеграция данных из разнообразных источников: навыки получения и обработки данных через JDBC, REST API, Kafka, чтение из файловых систем (JSON, Parquet, S3).
- Опыт настройки конвейеров в GitLab CI/CD, контейнеризация приложений с использованием Docker и их оркестрация в Kubernetes.
- Настройка и использование Grafana для визуализации метрик и отслеживания состояния систем.
- Знание архитектур DWH, опыт проектирования слоев данных и ETL-процессов.

Мы предлагаем:

• Помощь с релокацией в Сербию (визовое сопровождение для сотрудника и членов его семьи);
• Интересные задачи, перспективные проекты, продвинутые технологии;
• Работу в русскоязычной команде;
• Современный подход к управлению процессами, временем, задачами;
• Отсутствие ненужной бюрократии, возможность реализовывать свои идеи.