Ведущий аналитик-разработчик YandexGPT в Браузер

Чтобы не терять в качестве, нам очень важно быстро и правильно анализировать поток задач пользователей, понимать качество всех процессов и моделей и готовить редакторские датасеты с командами Крауда. Ищем аналитика-разработчика, который выстроит эти процессы и соберёт небольшую команду специалистов.

Мы внедряем ML в Яндекс Браузер и создаём новые технологические продукты, в том числе для B2B-рынка. Вот что мы запустили в последний год:

• Нейробраузер
• Пересказ статей в Браузере
• Пересказ видео в Браузере
• Небольшое выступление

Какие задачи вас ждут

Создавать метрики качества и датасеты для обучения ML-моделей
Мы дообучаем большую LLM YandexGPT-3 под целый ряд задач. По нашему опыту, чтобы получить качественную модель — важнее всего иметь хороший бенчмарк качества и чистый датасет. Именно возможность быстро оценивать качество модели позволяет ML-команде много экспериментировать и двигаться в нужном направлении. Эти разметки используются не только для оценки качества, но и для получения датасетов, в том числе для обучения в режимах reinforcement learning. Так что любое изменение в этих процессах может влиять на то, как модель отвечает пользователям.

Проверять гипотезы, проводить А/В-эксперименты и офлайн-замеры качества
У нас много идей, как улучшить наши процессы. Кроме этого, надо быстро докатывать улучшения до пользователей. Очень важно выстроить процесс качественного тестирования перед продакшеном и при этом сохранить темп.

Анализировать точки роста
Изучать онлайн-сигналы и аспекты качества и на их основе определять точки роста моделей. Превращать эту аналитику в задачи и направления улучшения в ML и продуктовой команде.

Мы ждём, что вы

• Готовы не только быть лидом, но и самостоятельно работать руками
• Знаете теорию вероятностей и математическую статистику
• Глубоко владеете SQL, Python, умеете в логи и процессы работы с данными
• Работали в ML-проектах: с NLP, crowdsource-разметками и ML
• Умеете писать аналитический продакшен-код и создавать сложные метрики на основе разметок
• Можете превратить видение продукта или проекта в иерархию метрик
• Способны управлять командой аналитиков, поддержки разметок, редакторов, асессоров для контроля качества данных
• Умеете анализировать данные, строили эффективные процессы их обработки
• Интересуетесь развитием LLM и их продакшен-применением

Что мы предлагаем

• Работу в сильной команде, с которой можно расти
• Сложные задачи для сервисов с миллионами пользователей
• Возможность влиять на процесс и результат
• Зарплату на уровне рынка и выше
• Премии каждые полгода для всех, кто успешно прошёл ревью
• Расширенную программу ДМС, оплату 80% стоимости ДМС для супругов и детей
• Гибкий график работы