Data engineer (middle)
Мы — Wildberries. Мы — это крупнейший маркетплейс Европы, 30 млн пользователей ежедневно и технологические задачи, у которых нет аналогов. Наша компания стабильно развивается и работает в усиленном режиме: использует современный стек и новейшие технологии, разрабатывает множество новых hi-tech продуктов.
Мы хотим собрать самое обширное хранилище данных в WildBerries с целью построения моделей по данным маркетплейса и оцифровке всего бизнеса.
Поэтому наша команда в поиске Data инженера .
Что нужно будет делать:
-
Заниматься построением основных витрин по продукту;
- Оптимизация ETL-процессов;
-
Взаимодействие с командами разработки и дата-аналитики, по вопросам сбора, обработки и хранения данных;
-
Перенос и отладка DAG для airflow;
-
Оптимизация производительности, обновление, развитие мониторинга систем хранения данных.
Что для этого потребуется:
- Опыт в выстраивании ETL - процессов;
- Опыт работы с Airflow, Kafka, SQL (джоины, оконные функции);
- Опыт работы с Clickhouse, Рostgres;
- Знание базовых алгоритмов и структур хранения данных;
- Понимание концепций ООП;
-
Опыт написания DAG для Airflow.
Условия:
- Гибкое начало рабочего дня и гибридный формат работы: 5 офисов в Москве (с бесплатными завтраками, обедами и ужинами);
- Вариативность оформления: трудовой договор, самозанятость, ИП или ГПХ;
- Корпоративные скидки у партнеров, внешние программы по обучению и внутренние митапы;
- Ежегодная 40%-ая скидка на покупку ноутбука или мобильного телефона.