Data engineer Middle

Сегодня билайн — компания изменений, чутко реагирующая на потребности рынка и людей. А ещё билайн — это команда, объединённая общими ценностями и общей целью — быть лидером телеком и digital рынков, предоставляя нашим клиентам новейшие продукты и услуги, а также сервис самого высокого уровня.

Итак, вам предстоит:

• Анализ требований к витринам данных (взаимодействие с владельцем продукта, BI-разработчиками, data scientist-ами)
• Поиск и исследование источников данных для последующей интеграции
• Оценка пригодности, качества исходных данных
• Разработка ETL процессов на Spark
• Оркестрация ETL процессов в Airflow
• Проектирование баз данных
• Создание конвейеров данных NiFi

• Любит работать в команде и умеет это делать
• Проработал от 1 года и более в таких областях как: коммуникационные технологии, безопасность, маркетинг и продажи, финансы.
• Знает SQL на высоком уровне (в т. ч. DDL, табличные выражения, оконные функции)
• Работал с Hive, PostgreSQL
• Умеет разрабатывать ETL процессы Spark на Scala (потоковая обработка как преимущество)
• Пользовался AirFlow или другими оркестраторами – Oozie, Luigi, ну или cron
• Может что-то написать на Python – в объеме чтобы пользоваться AirFlow или еще круче
• Имеет опыт потоковой разработки конвейеров данных в NiFi или Flink
• Интересуется Flink, пробовал применять его в проектах
• Умеет проектировать базы данных (знает Data Vault 2.0 например)
• Понимает принципы работы реляционных СУБД и HDFS
• Имеет представление о колоночных и NoSQL СУБД
• Понимает подходы к работе с качеством данных
• Применяет системный подход к работе, думает о конечной бизнес-задаче, мыслит логически, уделяет внимание деталям

Наш стек:

• Scala / Python
• Hadoop (hdfs, hive)
• Apache

• Трудоустройство в аккредитованную ИТ-компанию;
• Удаленный формат работы;
• Сильную команду специалистов, с которой можно расти;
• Свободу в принятии решений, возможность влиять на процесс и результат;
• Развитое внутреннее DE комьюнити (chapter из 150+ человек) с регулярными митапами и встречами по обмену опытом;
• Ежегодный процесс ревью;
• Десятки Пбайт разнообразных данных - от классических табличных до гео, графов, кликстримов, текстов и картинок;
• Внешнее и внутреннее обучение, участие в митапах и конференциях;
• Полис добровольного медицинского страхования, обслуживаемый в лучших клиниках;
• Корпоративные скидки на фитнес, обучение, путешествия и т.п.
• Служебную сотовую связь.