Ведущий Data Engineer

Компания «Северсталь-инфоком» — это центр информационных и коммуникационных технологий крупнейшего горнодобывающего и сталелитейного холдинга «Северсталь». Кроме того, мы являемся аккредитованной Минцифры IT-компанией, что позволяет нашим сотрудникам пользоваться дополнительными льготами.

«Северсталь-инфоком» сегодня это:

• 33 года опыта IT экспертизы;
• 20 городов присутствия по России;
• более 2200 сотрудников;
• более 200 предоставляемых сервисов.

Мы ищем кандидатов, которые получают удовольствие от эффективной командной работы, которые не боятся новых технологий и готовы делиться своими идеями и навыками. Нам нравится, что использование наших решений не только эффективно, но и доставляет удовольствие пользователям. Мы не боимся амбициозных целей и верим, что каждое наше действие должно приносить результат.

Чем Вы будете заниматься:

• разрабатывать архитектуру взаимодействия систем в платформе (экосистеме) обработки данных;
• проектировать распределённые потоки данных в экосистеме Kafka (топики, партиции);
• анализировать требования (взаимодействовать с архитекторами направлений, владельцами продуктов, функциональными командами смежных интегрируемых систем);
• проектировать, разрабатывать и поддерживать ETL-процессов (Apache NiFi, Apache Airflow, Потоковые данные);
• реализовывать алгоритмы преобразования данных;
• интегрировать данные между внешними системами;
• формировать и обрабатывать большие наборы данных, streaming данных (потоковых);
• загружать данные из различных источников и организовывать хранение данных в Apache Kafka (потоковая и пакетная);
• сопровождать системы ETL-окружения.

Мы ожидаем, что Вы:

• имеете опыт от 3-х лет проектного опыта в области инженерии данных;

• имеете опыт разработки на Python или Scala или Java;
• знаете архитектуру данных, особенности и проблемы реализации различных алгоритмов обработки данных;
• имеете опыт работы от 2-х лет с Apache Spark, Apache Flink, Apache Airflow, Kafka Streaming, Java, Groovy;
• имеете опыт работы с распределенными БД PostgreSQL, Oracle;
• понимаете архитектуру стека Apache Spark, Apache Flink, Apache Nifi, Apache Airflow, Apache Kafka.

Мы предлагаем:

• трудоустройство в аккредитованной IT-компании и возможность пользоваться соответствующими льготами:

  1. льготная ипотека;

  2. отсрочка от призыва на военную службу для военнообязанных.

• медицинскую помощь сотрудников: ДМС (включая стоматологию), доплату по больничному листу (с 1 по 10 день – 100% до оклада, с 11 по 20 день – 50%);
• опции для родителей: материальную помощь за рождение ребёнка, доплату до 100% за отпуск по беременности и родам;
• корпоративную мобильную связь и скидки от наших партнёров.