Team Lead Data engineer /Feature store

У меня есть вакансия в одну из крупнейших компаний в России.

Проект:

Команда:

Team Lead, data engineers, back and front developers, QA.

Чем предстоит заниматься:

• Управлять командой;

• Разработка архитектуры хранилища признаков для моделей машинного обучения;

• Разработка ETL\ELT на Apache Spark, Apache Spark Structured streaming\Flink;

• Оптимизировать процессы хранения и обработки данных с использованием современных технологий и подходов;

• Транслировать бизнес требования\задачи на технические задачи, распределять их в команде.

Что ожидаем от тебя:

1. Опыт коммерческой разработки от 5 лет, опыт управления командой от 2-х лет;

2. Опыт работы с Feast, Hopsworks, Tecton или аналогичные (Feature Store);

Машинное обучение:
- Понимание принципов работы моделей машинного обучения: работа с признаками (feature engineering), валидация данных, подготовка и трансформация данных.

3. Опыт работы с Big Data технологиями:
- Уверенное владение инструментами обработки больших данных: Apache Spark, Hadoop, Apache Kafka, HDFS;
- Знание фреймворков и библиотек для работы с распределенными вычислениями (Spark MLlib, Dask, Ray);
- Опыт с системами потоковой обработки данных\streaming (Apache Flink, Kafka Streams, Flink SQL).

База данных:
- Глубокие знания работы с NoSQL базами данных (Redis, Taranatool);
- Знания реляционных баз данных на больших объемах данных (PostgreSQL).

Инженерия данных и API:
- Опыт создания API для интеграции Feature Store с другими системами и ML платформами;
- Понимание архитектуры распределенных систем и микросервисов.

Язык:
- Python, Scala.

Что готовы предложить:

• Оформление по ТК РФ: оклад (готовы обсуждать)+ годовой бонус;

• Компания входит в реестр ИТ компаний;

• Удаленный формат работы. При желании можно работать в офисе класса А

• ДМС со стоматологией (с 1 рабочего дня + полис путешественника);

• Частичная компенсация фитнеса / обучения / доп. мед. услуг (лимит-25 тыс. рублей в год).

Как мы проводим собеседования:

1. 15-20 минут - общение с рекрутером (tg аудио);

2. 90 минут - техническое интервью;

3. 45 минут - финальная встреча;

4. СБ, 1-3 дня;

5. Оффер, обсуждение даты выхода на работу.