ETL-разработчик

Ищем ETL-разработчика на крупный банковский проект. Проект по разработке централизованного сервиса для всего Банка, обеспечивающего передачу огромных объемов данных в пакетном и потоковом режиме между кластерами Hadoop, GreenPlum, PostgreSQL, Kafka. Сервис построен на микросервисах Java и лучших ETL-инструментах.

Твои задачи:

• Разработка informatica - система, основной движок которой - informatica (настройка web service hub, правка существующих/создание новых workflow, интеграция с backend частью системы, проработка новых/внесение изменений в существующие тракты поставки данных)
• Разработка java/spark - система, которая является java-приложением в экосистеме Hadoop, использует spark, Kafka, hdfs, служит для перемещения данных между системами
• Задачи третьей линии сопровождения

Что мы ждем от тебя:

• Знание Java, Python
• Опыт работы с движками Spark
• Опыт работы с informatica
• Основы проектирования и разработки распределенных систем
• Понимание работы инфраструктуры (хранилище, сеть, операционные системы и т. д.)

Будет плюсом:

• Понимание работы алгоритмов работы БД
• Опыт работы с Kafka
• Опыт работы с СУБД

Что мы обеспечим:

• ​​​​​Поездки на конференции и тренинги за счет компании, внутренние семинары, внутренние митапы, мы очень любим учиться новому
• Технику для комфортной работы
• Сессия профессионального развития персонала дважды в год, результатом которой является план индивидуального развития каждого сотрудника
• Сообщества по интересам: Лига Спорта, Лига Экспертов, Cyber Лига , а также возможность организовать свое сообщество и получить поддержку от компании
• Корпоративная культура со своими ценностями и традициями, в которой каждый чувствует себя частью команды