Data Engineer

Sibedge — международная IT-компания с 18-ти летней историей, специализирующаяся на разработке программного обеспечения на заказ на российском и международном рынке, а также мы занимаемся продуктовой разработкой. За нашими плечами более 350+ счастливых клиентов, которым мы помогли достичь лучших результатов в бизнесе. Наш фокус в части разрабатываемых продуктов: финансовый сектор, медицина, системы управления обучением, безопасность.

Проект:

Совместно с компанией заказчика разрабатываем инновационный и полезный для потребителей продукт по цифровизации в сфере производства и реализации товаров. Продукт высоконагруженной и масштабной системы, где действительно можно поработать с большими объёмами данных и крутыми технологиями. Уже сейчас система обрабатывает миллиарды транзакций ежедневно и оперирует петабайтами данных на скоростях десятки тысяч запросов в секунду.  Наши данные в цифрах: поток > 20k RPS, > 900 млрд. фактов, > 10Пб данных в HDFS.

Система построена на микросервисной архитектуре и работает в кластерах Kuber, расположенных в собственных дата-центрах. Для хранения петабайт данных о товарах и их перемещении по стране используются HBase и Cassandra. Обмен сообщениями осуществляется через Kafka, а интерфейс для работы с данными создан на базе ELK. Аналитические функции реализованы с помощью Spark и Clickhouse. Также в работе применяются Prometheus, Grafana, Kibana и Graylog, Rancher, Helm и GitLab.

Стек:

Хранение данных: Hbase, YTsaurus, Clickhouse, PostgreSQL;

ETL: Airflow, Python/Java, YQL, Spark;

BI: Apache Superset, Jasper Report server.

Чем предстоит заниматься:

• Разработкой архитектуры доставки, хранения и обработки данных;

• Проектированием модели данных, построением аналитических витрин для операционной аналитики и интерактивных дашбордов;

• Оптимизацией существующих процессов обработки данных, решением проблем, связанных с задержками доставки данных.

Что ожидаем от кандидата:

• 2+ года опыта работы в сфере BigData на позиции Data Engineer;

• 3+ лет опыта работы с Python или Java;

• Опыт разработки процессов загрузки и обработки данных из распределённых хранилищ с использованием Apache Airflow;

• Уверенные знания SQL: агрегации, джойны, вложенные запросы, оптимизация запросов, а также знание NoSQL;

• Опыт работы с различными моделями хранилищ данных, таких как Data Vault, Anchor или hNhM;

• Понимание принципов CI/CD, опыт работы с Kubernetes, Docker, GitLab;

• Опыт проектирования аналитических моделей, дашбордов и отчетов в BI системах;

• Практический опыт использования одного из фреймворков Apache Spark(Streaming)/ Apache Flink/ Apache Beam.