Data Engineer

Сегодня билайн — компания изменений, чутко реагирующая на потребности рынка и людей. А ещё билайн — это команда, объединённая общими ценностями и общей целью — быть лидером телеком и digital рынков, предоставляя нашим клиентам новейшие продукты и услуги, а также сервис самого высокого уровня.

Сейчас у вас есть возможность присоединиться в качестве Инженера данных к команде развития платформы 1С.

Стек: Scala, Spark, Airflow, Python, Git, hdfs, bash, SQL.

Итак, вам предстоит:

• Поддержка процессов репликации домена 1C retail на платформу DMP.
• Развитие мониторинга и алертов процесса репликации.
• Создание аналогичных процессов в новых доменах: разворачивание пространства gitlab, airflow, настройка spark загрузчика.
• Разбор возникающих инцидентов и проблем на ежедневной основе.
• Анализ логов spark-приложений, исправление ошибок, правки репозиториев и проектов, актуализация метаданных.
• Поддержка функционала выгрузки из SQL Server -> Hive, проверка качества данных, проведение сверок, оперативное устранение ошибок для своевременной выгрузки.
• Оптимизации запросов, приложений, рефакторинг кода с целью соблюдения стандартов.
• Разработка сложных оптимальных SQL-запросов на высоконагруженных БД.
• Развитие и доработка spark-загрузчика (SQL Server->Hive), настройка оптимальной конфигурации на spark для ускорения загрузки.

Мы будем рады рассмотреть вашу кандидатуру, если у вас есть:

• Понимание принципов и технологий построения хранилищ данных. Опыт проектирования баз данных, разработки сложных и оптимальных SQL-запросов (SQL SERVER/Oracle/PostgreSQL/др.) в высоконагруженных системах от 3-х лет.
• Разработка скриптов/систем по копированию больших объемов данных между базами.
• Опыт программирования (ООП), разработки алгоритмов и структур данных. Разработка проектов (Java/C#/Scala/SQL).
• Уверенное знание Linux, опыт разработки cmd- и bash-скриптов от 1-го года.
• Наличие практического опыта работы с Hadoop (Hive, Spark, Airflow, HDFS, YARN, опционально Kafka), понимание парадигмы map-reduce и алгоритмов работы Spark. Разработка приложений на Spark от 1-го года.
• Фундаментальные знания принципов построения распределенных систем хранения и обработки данных.
• Понимание принципов проектирования многопоточных приложений, включая отказоустойчивость, безопасность и производительность.
• Уметь сокращать трудозатраты на выполнение монотонных работ, автоматизация процессов в высоконагруженных системах. Стремление оптимизировать процессы.
• Оперативное решение задач в сложных/аварийных ситуациях.

Что мы предлагаем:

• Трудоустройство в аккредитованную ИТ-компанию;
• Сплоченную команду профессионалов, в которой можно не только успешно реализовывать проекты, но и перенимать опыт и развиваться;
• Удобные инструменты разработки — компания предоставит тебе необходимое ПО и мощный ноутбук;
• Обучение, участие в интересных проектах и расширение профессиональной экспертизы;
• Конструктивную и открытую рабочую атмосферу;
• Полис добровольного медицинского страхования, обслуживаемый в лучших клиниках;
• Корпоративные скидки на фитнес, обучение, путешествия и т.п.;
• Служебную сотовую связь.