Ведущий разработчик DWH / data engineer (hadoop)

Группа НЛМК крупнейший в России и один из самых эффективных в мире производителей стальной продукции. Производственные активы в России, Европе, Азии и США. Мы создаем совершенную сталь для ключевых отраслей: от строительства до ветроэнергетики. Разрабатываем новые технологии и внедряем передовые цифровые решения. Заботимся о сотрудниках и создаем возможности для их развития и самореализации. Создаем настоящее будущее.

Для нас важно:

Проектирование и развитие логических и физических моделей данных источников, хранилищ и витрин данных, включая принципы построения слоев STG/ODS/DDS/DM, а также перемещения данных между ними;

• Разработка физических моделей данных с учетом особенностей платформ;

Настройка и поддержка интеграции данных между различными системами;

• Извлечение и анализ данных из различных структур: источников данных, хранилищ, витрин, аналитических платформ;
• Анализ требований к качеству данных, разработка методики и метрики управления качеством данных - согласованности, своевременности, актуальности, целостности, точности, полноты, достоверности;
• Поиск факторов и корневых причин: подготовка, очистка, обогащение, стратификация, визуализация, анализ данных.

Чем предстоит заниматься:

• Обеспечение поддержки и развития хранилищ данных по направлению BI;
• Опыт построения DWH, DL;

Разработка процедур загрузки данных из различных источников, автоматизация и контроль ETL\ELT процессов:

• Apache Airflow, Apache NiFi, Oozie;

Базовые знания языков программирования:

• Python (основные пакеты Numpy, Pandas, SCiPy и др), SQL;

Знание фреймворков потоковой обработки данных:

• Kafka Streaming and Connect, Flink, Spark Streaming;

Опыт работы с реляционными системами управления базами данных (SQL):

• MSSQL, Oracle, PostgreSQL, MySQL;

Опыт работы с системами управления базами данных (NoSQL):

• Clickhouse, Cassandra, ScyllaDB, MongoDB, Redis, Владение git.

Работа в группе НЛМК-это:

• Работа в международной сталелитейной компании с активами в России, США и странах Европы, с развитыми корпоративными ценностями и стандартами;
• Оформление по ТК РФ, ежегодная индексация заработной платы, прозрачная система премирования;
• Высокие стандарты безопасности труда и культуры производства;
• Корпоративные льготы: корпоративная сотовая связь, летние путёвки для детей, новогодние детские подарки, программы лояльности от партнеров, корпоративная дотация на питание, материальная поддержка сотрудников в различных жизненных ситуациях;
• График Работы: 5/2, удаленный формат работы
• Релокационный пакет с нашей поддержкой;
• Программы заботы о здоровье: (ДМС, страхование от НС и профессиональных заболеваний, диспансеризация, вакцинация).
• Возможность принять участие в интересных и сложных проектах с лучшими специалистами индустрии.