Инженер данных / Data Engineer

Наши партнеры - крупнейшая компания FMCG в поиске Data Engineer

Инженер по обработке данных будет отвечать за прием, обработку и распространение данных, используемых бизнес-системами, управляемыми данными. Кроме того, инженер по данным будет обеспечивать разработку программного обеспечения и поддержку доставки продуктов для продуктов данных и групп продуктов.

Одним из направлений деятельности на этой должности будет проектирование, разработка и поддержка платформы производственных данных и домена данных как централизованного пространства для работы с данными (включая потоковую передачу) на основе облачных технологий на заводах.

Основные требования:

• Обширный опыт предоставления решений по обработке данных для облачных приложений.

• Понимание работы базы данных и принципов разработки DWH;

• Понимание хранилищ данных, очистки данных, конвейеров данных и других аналитических методов, необходимых для использования данных.

• Опыт работы с технологиями Hadoop (HDInsight, Spark, Hive, Scala и т. д.);

• Хорошее знание SQL, Python/Scala или Java;

• Опыт работы с Nifi, Kafka, Airflow, InfluxDB/Flux.

• Опыт разработки потоковой передачи данных

• Понимание технологии серверов ретрансляции KEP/OPC (OPC UA/DA, теги, именование, публикация) как плюс.

• Опыт работы со стеком Yandex Cloud Platform/ Azure от 1 года;

• инициативный человек, который приветствует ответственность, а также способность преуспевать в развивающейся организации и способность привносить структуру в неструктурированные ситуации.

• Уровень английского языка – средний или выше

Основные навыки:

• Проектирование и разработка витрин данных;

• Проектирование, разработка и поддержка процессов ETL для загрузки данных в/из Data Lake/Factory Data Platform;

• Интегрировать новые источники в DataLake/DWH/Factory Data Platform;

• Настройка и поддержка фильтрации, маршрутизации и очередей данных на платформе Factory Data Platform.

• Настройка и поддержка пост-обогащения, преобразования и контекстуализации данных в Factory Data Platform.

• Определение и поддержка политики хранения тегов/данных.

• Контроль качества загружаемых данных (ручные и автоматические тесты DQ);

• Написание документации;

• Сотрудничайте с экспертами по данным и аналитике, чтобы улучшить функциональность наших продуктов для обработки данных.

Личностные характеристики:

• Аналитическое мышление
• Обучение на лету
• Может структурировать работу и расставлять приоритеты
• Увлечение бизнес-аналитикой и анализом данных.
• Самоорганизованная
• Открытость, умение работать в команде
• Умение видеть альтернативы
• Многозадачность
• Умение четко объяснять и отстаивать мнение

Мы предлагаем:

• Официальное трудоустройство в it-аккредитованную компанию;
• График работы 5/2;

• Работа в команде профессионалов в одной из крупнейших FMCG компаний;
• Полностью белая заработная плата;
• Удаленная работа.