Senior AQA Engineer (LLM/NLP)

Циан — публичная, аккредитованная IT-компания, крупнейший в России сервис для поиска недвижимости, входит в мировой топ-10.

Больше 20 лет мы помогаем быстрее решать вопросы с жилой и коммерческой недвижимостью: найти, оценить, купить, снять, продать, сдать и оформить сделку без рисков. Мы делаем сервисы, которые помогают владельцам недвижимости, застройщикам, агентам и обычным людям оптимизировать рутину поиска и продаж.

Ежемесячная аудитория превышает 18,7 млн человек. Растить число пользователей и решать их проблемы помогают уже больше 1000 человек.

Задачи, которые нужно решать:

• Тестирование ML-моделей в домене LLM/NLP

• Внедрение процессов обеспечения качества в сфере разработки ML продуктов команды

• Формирование необходимого набора метрик качества для ML моделей команды, развитие этих метрик и контроль за ними

• Формирование датасетов, подготовка заданий и контроль работы команд разметки данных

• Проведение ручного тестирования веб-сайта (Frontend/Backend)

• Разработка тест планов и ручных тест кейсов

• Разработка автотестов (Selenium+Python)

• Участие в груммингах новых фич, способность комплексно смотреть на тестируемый продукт, видеть узкие места в реализации функционала, предлагать улучшения

• Контроль соответствия качества релизов принятым в компании критериям

• Контроль метрик команды, связанных с качеством, выработка инструментов для их контроля

• Тестирование требований

• Анализ и оптимизация тестового покрытия на проекте

• Взаимодействие с разработчиками, продакт менеджерами, проджект менеджерами, отделом дизайна и клиентской службой

• Разбор входящих обращений от Клиентской службы

Что мы ищем в нашем кандидате:

• Опыт ручного тестирования web-приложений от 3 лет

• Опыт в тестировании моделей машинного обучения от 1 года

• Опыт в составлении тест планов и тестовой стратегии

• Опыт разработки скриптов на Python

• Опыт работы с баг-трекинговыми системами и системами менеджмента тест-кейсов (Jira, Testrail и т.п.);

• Знание методологий тестирования и разработки ПО

• Понимание какие подходы в обеспечении качества дадут лучший эффект для различных ML моделей

• Понимание особенностей тестирования web на различных платформах/браузерах

Будет плюсом, если имеете:

• Опыт автоматизированного тестирования от 1 года

• Опыт тестирования мобильных приложений

• знание методов машинного обучения, статистического анализа и алгоритмов

• опыт работы с инструментами для визуализации данных и аналитики

Что мы предлагаем:

• Удаленную работу в аккредитованной IT компании и возможность приходить в офис в Москве, Санкт-Петербурге и Новосибирске. В офисе — кухни, оборудованные всем необходимым, где всегда доступно много разнообразной еды, снеки, фрукты, кофе и чай. Тихие комнаты, где можно сосредоточиться над задачей или просто отдохнуть в тишине, массажное кресло и массажный шлем, «мягкая зона» с Play Station. Бесплатная авто- и велопарковки
• Рост и развитие: в первые месяцы у каждого сотрудника есть наставник, после появляется личный план развития и возможность прокачивать soft/ hard skills на практике, обучении, конференциях
• Плюшки: ДМС с первого дня (стоматология, госпитализация, полис туриста), ежегодная компенсация спорта, 5 day off в год, помимо основного отпуска.