Data Engineer

Описание проекта

Создаем то, что поможет оптимизировать ассортимент компании. Новый долгосрочный проект, который готовится к стадии развития IT-продукта, а сейчас на аналитическом этапе, определяем основные цели, задачи и требования, поэтому нам необходимо собрать команду разработки.
В команде есть Product Owner, аналитик, а также архитекторы, которые уже в процессе настройки и создания приложений, улучшения веб сервиса.
Это отличная возможность, работая в большой компании, заниматься продуктом, который прямо сейчас формируется в реальном времени.
Сейчас формат Discovery переходящий в Delivery, необходимо начинать прогружать данные и одновременно решать вопрос архитектуры целевого решения.

Команда: Product Owner, UX-designer, data analyst, system analyst, team lead (open), back dev, front dev, QA (open)
Data: GreenPlum, Postgres, Kafka, NiFi, Airflow, Python, Java, Power BI

Основные задачи сотрудника на данной позиции

• Обеспечить сбор и организовать процесс загрузки данных в аналитические системы из различных источников
• Подготовка, очистка и предобработка данных из внешних источников, построение агрегатов
• Разрабатывать процедуры формирования детального слоя данных и слоя витрин DataLake на GreenPlum (это как концепция)
• Реализовывать мониторинг разработанных процессов обработки данных (Grafana, Prometheus)
• Документировать свою работу в Yandex.Wiki
• Обеспечить транспорт данных из источников (чековая статистика, данные о количестве товарного запаса) их хранение и преобразование
• Проработать архитектуру транспорта и хранения данных совместно с архитекторами и владельцами дата-платформы, в т.ч. предоставить обзор разных возможных конструкций с описанием их плюсов и минусов
• Выстраивать оптимальную структуру хранения данных (партиции, дистрибуции и т.п.)
• Оптимизировать SQL-запросы

Обязательные навыки

• Знания принципов работы БД, построения Хранилищ Данных
• Опыт разработки ETL процессов (NiFi, AirFlow)
• Опыт работы с высоконагруженными распределёнными системами обработки и хранения данных, очередями (Kafka)
• Отличное знание SQL

Условия

• Официальное трудоустройство в штат на бессрочный трудовой договор в аккредитованную IT-компанию
• Современный подход к обучению и развитию сотрудников
• Стабильный доход, который обсуждается индивидуально
• ДМС со стоматологией для сотрудников, возможность подключить родственников к программе ДМС, обучение и сертификация, скидки на курсы, фитнес и многое другое