Senior Data Engineer (SberDevices)

SberDevices - новое направление компании, которое занимается созданием девайсов для массового пользователя и продуктов на основе речевых и голосовых технологий и многими другими интересными проектами.

Наша команда занимается развитием Data Platform (платформы данных).

Сейчас у нас есть три основных направления:

1. Управление данными Умных устройств (телеметрия, пользовательские действия, системные логи и тп), собираем >1 млрд событий в сутки и обеспечиваем аналитику в реальном времени:

- Один из лидеров рынка по размеру собственной сети Умных устройств.

2. Управление данными по взаимодействию пользователей с Виртуальным Ассистентом:

- Один из лидеров рынка по аудитории Виртуального Ассистента.

3. Управление данными для обучения LLM (Больших языковых моделей), собираем и обрабатываем >5ПБ в месяц различных типов данных (текст, изображения, видео, звук):

- Один из лидеров LLM в стране.

Чем предстоит заниматься:

• Развивать платформу как self-service для аналитиков – разрабатывать новые сервисы и фичи для удобства пользователей.
• Участвовать в проектировании и модернизации инфраструктуры.
• Поддерживать существующий функционал.
• Внедрять процедуры контроля качества данных.
• Оптимизировать и автоматизировать существующие процессы – никакого массового ручного клепания витрин и написания одинаковых ETL.
• Генерировать идеи, как сделать еще круче, чем уже есть :)

Профессиональные навыки :

• Практический опыт работы с Python 3, базовый опыт с GoLang приветствуется.
• Опыт оптимизации SQL запросов, понимание внутреннего устройства БД (у нас ClickHouse и GaussDB - аналог GreenPlum).
• Базовый опыт администрирования БД.
• Навыки работы с unix-подобными системами, знание базовых команд.
• Базовые навыки DevOps (Docker, Kubernetes, Ansible, Terraform).

Будет плюсом:

• Практический опыт работы с облачными платформами управления данными (у нас SberCloud / Huawei Cloud).
• Практический опыт работы со стеком технологий Big Data (особо интересует Kafka и Spark).
• Практический опыт участия в проектах по созданию DWH, Data lake, Data management platforms, опыт построения и развития высоконагруженных систем приветствуется.

Что предлагаем:

• Гибкий стек инструментов и технологий – можно пробовать новое, если точно знаете, зачем.
• Адекватный подход к управлению – мы не ставим нереальных сроков и не предлагаем поработать в выходной ради высшего блага.
• Работа с крупнейшими массивами данных на рынке России.
• Гибкий график для оптимального баланса работы и личной жизни, возможна удалёнка.
• Дружный коллектив и здоровая атмосфера взаимопомощи.
• Амбициозные задачи.
• Профессиональное обучение, семинары, тренинги, конференции, корпоративная библиотека.
• ДМС, страхование жизни.
• Свободный дресс-код.
• Льготные кредиты и корпоративные скидки