Data Engineer/Старший инженер данных

Обязанности:

• Разрабатывать платформу данных (Spark на Kubernetes c хранением в S3-совместимое хранилище, Clickhouse, Postgres) с использованием Spark/PySpark, Kafka, Airflow, SQL, Python, Scala/Java;
• Организовывать конвейеры потоков данных для ML, сервисов data-продуктов (включая Near Real-time режим);
• Строить витрину событий для сервисов целевого маркетинга и для ML;
• Работать с различными базами, API и платформами данных;
• Парсить JSON-файлы, работать с гео-слоями;
• Развиваться в части архитектуры и разработки для тестирования и выбора оптимальной реализации дата-продуктов;
• Участвовать в разработке процесса управления релизными циклами;
• Профилировать данные, проводить очистку от дублей и ошибок, разрабатывать контроли по интеграциям;
• Разрабатывает детальный слой данных для витрин оптимальную с точки зрения быстродействия и комбинируемости с другими сущностями детального слоя с использованием Spark/PySpark, Kafka, Airflow, SQL, Python;
• Интегрировать платформу данных с источниками данных (Kafka, СУБД, файлы) по регламенту;
• Участвовать в разработке процесса управления релизными циклами.

Требования:

• Хорошее знание Spark, желание работать со Scala и какой-либо промышленной СУБД, профессиональное владение SQL;

• Опыт в проектах построения корпоративных хранилищ данных;

• Умение писать и разбираться в коде Python/Java/Scala/Spark/PySpark/Airflow;

• Умение работать с Flink будет твоим преимуществом;

• Знакомство с NoSQL базами данных.

Условия:

• Много сложных и интересных задач, решение которых приносит пользу миллионам:
  40% рынка пользуются нашими кассами, 50% — облачными технологиями, 20% — софтом
• Работу в яркой команде, в которой каждый может влиять на процесс и результат
• Рост и развитие в среде профессионалов, опыт которых бесценен, и индивидуальные программы обучения от лучших провайдеров рынка
• Классный, современный и уютный офис в шаговой доступности от метро «Алексеевская», в котором есть место и для работы, и для отдыха
• Удобный график работы: время начала и окончания рабочего дня, возможность удалённой работы вы обсудите с руководителем
• В наш пакет ДМС включена стоматология, вызов врача на дом, консультации психолога и полис путешественника, также можно застраховать родственников (и взрослых, и детей) по льготному тарифу компании, а ещё мы страхуем жизни сотрудников от несчастного случая
• Корпоративная скидка на спорт и изучение английского языка
• Предоставляем материальную помощь в трудных жизненных ситуациях
• 3 day off, выходные дни по случаю (1 сентября, регистрация брака и пр.)
• Доплата по больничному листу до 100% оклада согласно внутренней политике компании
• Обеспечиваем необходимой техникой для работы (ноутбук, монитор и пр.)
  
  Более подробную информацию о компании и корпоративной культуре вы можете найти на нашем карьерном сайте career.atol.ru