Senior Data engineer

Ищем в одну из крупнейших в рф компаний по разработке и внедрению дата - решений на внутренний продукт.
Наши продукты - AI/ML-решения для крупных банков, ритейла и промышленности: системы предсказания спроса, сервисы персонализации и рекомендательные системы, поисковые системы для крупных ритейлеров и банков.

Задачи:

• Разработка и поддержка пайплайнов обработки данных и машинного обучения на Python и Spark;

• Работа c системами хранения такими как Clickhouse и PostgreSQL;Поддержка существующих и написание новых Airflow Pipelines;

• Переработка существующих пайплайнов “from scratch”;

• Решение ad-hoc задач от аналитиков и датасаентистов;

• Рефакторинг легаси кода;

• Ревью кода других дата-инженеров;

• Оптимизация сложных SQL-запросов.

• Участие в реализации CI/CD;

• Решение инфраструктурных проблем в зоне отвественности DE.

Наши ожидания:

• Опыт промышленной разработки на Python от 4х лет;

• Опыт работы с различными cloud-сервисами: Yandex, Google, AWS и прочие;

• Сильные софт скиллы и умение коммуницировать между командами;

• Опыт работы с Apache Spark;

• Опыт работы с Airflow;

• Опыт работы с k8s;

• Экспертное знание SQL;

• Уверенная работа с командной строкой Linux/MacOS;

• Умение вести проекты в Git;

• Умение писать pytest и понимание TDD методологии разработки;

• Опыт с CI/CD.

У нас:

• Работа в одной из самых сильных ML-команд в России;

• Гибкий формат работы: полная удаленка/гибрид/офис в Мск.

• Поддержка в профессиональном и карьерном росте, оплата профильного обучения, конференций и книг.

• Совместная работа с опытными разработчиками, аналитиками данных, менеджерами, продуктологами;

• ДМС со стоматологией после испытательного срока (3 месяца) по всей России;

• ИТ-аккредитацию со всеми вытекающими льготами.