Senior Data Engineer

О нас

Мы работаем в сегменте RegTech. Это новый рынок, активно развивающийся во всем мире. Большинство игроков — SaaS сервисы, позволяющие компаниям выполнять требования регулирующих органов, анализировать партнеров и клиентов, наблюдать и анализировать конкурентов, совершать M&A сделки, отслеживать связи между компаниями и многое другое. Это быстро развивающаяся отрасль на пересечении финансов, аналитики, технологий обработки данных, включая AI, нормативных и регуляторных требований.

Rusprofile — быстрорастущая частная компания, один из лидеров российского рынка RegTech. Сервис помогает компаниям быстро и эффективно принимать критические для бизнеса решения на основе данных, собираемых ежедневно из десятков источников. Аудитория Rusprofile — это около 10 млн пользователей в месяц и десятков тысяч платящих клиентов, от малого бизнеса до крупных корпораций. Наша миссия — помогать бизнесам в их развитии, делая данные простыми и полезными для принятия решений.

За последние 3 года мы выросли по выручке в 5 раз, в 10 раз по базе клиентов и мы не планируем останавливаться. Мы больше не стартап, но и не корпорация. Мы принимаем решения быстро, у нас нет сложной иерархии и бюрократии. Мы постоянно развиваемся и адаптируемся, чтобы иметь возможность создавать действительно ценные продукты для наших клиентов и развивать бизнес.

Как построена работа

Мы выстроили инженерную культуру, где ценится качественный код и техническая экспертиза команды. Разработчики активно участвуют в проектировании решений, а время на работу с техническим долгом и рефакторинг — это часть нашего процесса, а не "когда-нибудь потом". У нас опытная команда, готовая делиться знаниями, и мы открыты к новым технологиям, если они решают реальные проблемы.

Процессы у нас построены на принципах agile и постоянно оптимизируются под потребности команды. Работаем итерациями, проводим короткие и полезные синки, уделяем внимание проектированию и code review. При этом у нас нет лишней бюрократии — мы берем лучшее из гибких подходов и адаптируем процессы так, чтобы они помогали команде, а не создавали препятствия.

О команде

Команда Rusprofile — это 40+ человек:

• основатели Илья и Дима, которые когда-то вместе заканчивали факультет вычислительной математики и кибернетики МГУ. Спустя 8 лет активного развития Rusprofile, основатели все также управляют бизнесом;

• наша команда разработки состоит из 19 человек: двух инженеров по инфраструктуре, 13 разработчиков, а также 4 тестировщиков;

• бизнес-ориентированная команда продукта: продакт-менеджеры, аналитики и дизайнеры продукта.

Цель команды — создать надежную и масштабируемую инфраструктуру данных, которая поддерживает бизнес-решения и аналитические задачи компании. Ты будешь работать в составе инженерной команды вместе с разработчиками и DevOps.

Про наш стэк: ClickHouse, Airflow, Kafka, Superset, Mysql, Python, PHP, Docker, Git.

Что ты будешь делать

Твоим руководителем будет СTO, твоя команда — разработчики и DevOps, а основным стейкхолдерами — продуктовый аналитик и продуктовая команда.

Твой фокус будет на улучшении существующей инфраструктуры данных для поддержки растущих потребностей бизнеса:

1. Необходимо оптимизировать существующие процессы обработки данных, разрабатывать новые эффективные пайплайны и обеспечить надежность и доступность данных для аналитических нужд компании;

2. Также предстоит работать над внедрением современных практик обеспечения качества данных;

3. Вся наша инфраструктура данных сейчас работает на bare metal и требует от инженерной команды внимания и времени на сопровождение. Мы планируем переезд всего дата стека на управляемую (managed) инфраструктуру в облаке.

Твои задачи будут включать:

• Погружение в текущую инфраструктуру данных:

  • Изучение существующего хранилища данных, структуры и настройки (ClickHouse, MySQL), пайплайнов данных и инструментов (Airflow, Superset, Kafka);

  • Погружение в текущие процессы и практики команды.

• Планирование и определение приоритетов:

  • Выявление возможностей для быстрых оптимизаций в текущей инфраструктуре и процессах;

  • Разработку плана тактических улучшений текущей инфраструктуры данных на ближайшие 3-4 месяца, совместно с CTO;

  • Определение топ приоритетных задач, которые должны быть обязательно закрыты в течение испытательного срока.

• Перенос инфраструктуры данных на IaC:

  • Поиск, выбор внешнего партнера (вероятно flant или express42) и запуск пилотного проекта по переходу на IaC в первые 3 месяца;

  • Планирование и начало реализации полного перехода с bare metal на IaC в течение полугода.

• Взятие на себя ответственности за инфраструктуру данных:

  • Стать владельцем текущего стека данных и процессов;

  • Обеспечение поддержки и стабильной работы существующей инфраструктуры.

• Сотрудничество с командами:

  • Налаживание эффективного взаимодействия с продуктовой командой, разработчиками и командой инфраструктуры;

  • Обеспечение коммуникации и совместной работы над проектами по развитию инфраструктуры данных.

Как понять что ты подойдешь

• Опыт работы от 3 лет в роли Data Engineer;

• Глубокое знание SQL и понимание методик оптимизации запросов;

• Уверенное владение Python;

• Опыт работы с Airflow, Superset, ClickHouse;

• Понимание устройства реляционных и нереляционных баз данных;

• Умение разрабатывать ETL/ELT пайплайны на базе Airflow;

• Навыки мониторинга и отладки пайплайнов обработки данных;

• Умение проектировать архитектуру данных в том числе индексы, партиционирование, шардирование;

• Понимание принципов data quality и data lineage;

• Опыт работы с Docker и контейнеризацией;

• Знание Linux на уровне базового администрирования;

• Опыт работы с Git;

• Умение самостоятельно развертывать и поддерживать сервисы обработки данных;

• Опыт настройки и оптимизации производительности СУБД;

• Базовые навыки практик DevOps;

• Опыт работы с CI/CD.

Мы предлагаем

• Свободу действий в принятии решений и высокий уровень ответственности - у тебя будет возможность влиять на продукт и строить процессы так, чтобы они помогали бизнесу достигать своих целей;

• Интересный продукт в одном из самых быстрорастущих сегментов рынка во всем мире. У нас большие стратегические планы по развитию стека обработки данных и сейчас очень ранний этап работы с этими планами, есть возможность сразу сделать хорошо почти с нуля;

• Основной бизнес компании - данные. Лучшего применения своим знаниям трудно представить, так как от эффективности и скорости работы с данными напрямую зависит успех;

• Гибкий график и возможность удаленной работы (можно также работать в нашем офисе в Москва-Сити с потрясающим видом на столицу);

• Работу в аккредитованной ИТ компании с полным соблюдением ТК РФ;

• Любую технику для работы;

• ДМС, 7 Day Off, оплату обучения, семинаров и конференций.