Data Engineer

Наша команда создает информационную платформу для решения аналитических и исследовательских задач в области создания продуктов и услуг на мировых финансовых рынках:
- торговля валютой,
- ценными бумагами,
- производными финансовыми инструментами.

Этот бизнес потребляет и порождает огромное количество данных, которые должны обрабатываться c целью:
- Разработки витрин данных и моделей машинного обучения,
- Подготовки регулярной аналитической и управленческой отчетности,
- Поддержки регулярных бизнес-операций,
- Проведения Ad-hoc анализа.

Разрабатываемая нами информационная платформа – высоконагруженное решение, призванное обеспечить достижение всех этих целей.
Технологии, используемые на проекте:
- PostgreSQL / Greenplum
- Apache Spark
- Apache Hadoop
- Python/Scala
- Openshift / Kubernetes
- Apache Kafka
- QlikSense

Обязанности:

• Разработка и тестирование ETL-потоков (Greenplum / Hadoop / Spark);
• Написание и оптимизация сложных SQL-запросов;
• Анализ ТЗ на разработку от аналитика;
• Согласование Функциональных требований с архитектором;
• Участие в проектирование технической реализации решения;
• Подготовка документации к релизу;
• Работа с JIRA, составление базы знаний в Confluence.

• Опыт работы на позиции Data Engineer от 2 лет;
• Продвинутый уровень SQL (PostgreSQL / Oracle / Greenplum, сложные запросы, оконные функции, оптимизация);
• Опыт в разработке ETL-процессов от 1 года;
• Продвинутый Python;
• Понимание основных подходов проектирования DWH и ETL процессов;
• Опыт работы с CI / CD пайплайнами, Git.

• Официальное трудоустройство в штат на бессрочный трудовой договор в аккредитованную IT-компанию;
• Современный подход к обучению и развитию сотрудников;
• Стабильный доход, который обсуждается индивидуально;
• ДМС со стоматологией для сотрудников, возможность подключить родственников к программе ДМС;
• Обучение и сертификация, скидки на курсы, фитнес и многое другое.