DevOps-инженер

Задачи, которые мы предлагаем:

Spark:

• Развертывание, настройка кластеров Spark и управление ими
• Оптимизация производительности кластера и использования ресурсов
• Общение с командой разработки ML
• Внедрение решений для мониторинга и ведения логов для кластера Spark
• Оптимизации Spark и настройки производительности

API Gateway:

• Установка и настройка API Gateway (например, NGINX, Kong, Apigee)
• Настройка маршрутизации, балансировки нагрузки и управления API

Развертывание БД:

• Развертывание и настройка реляционных (например, PostgreSQL, MySQL) или NoSQL баз данных (например, MongoDB, Cassandra)
• Обеспечение резервного копирования, восстановления и репликации данных

Kafka:

• Установка и настройка Apache Kafka
• Настройка кластеров Kafka, брокеров, тем и клиентов
• Обеспечение отказоустойчивости и мониторинга Kafka

Модули мониторинга и логирования:

• Внедрение и настройка инструментов мониторинга (например, Prometheus, Grafana, ELK Stack)
• Настройка алертинга и мониторинга производительности систем и приложений

Знания и навыки, которые для нас важны:

• Опыт развертывания и управления кластерами Spark.
• Уверенные знания одного из менеджеров кластеров Spark (YARN, Mesos).
• Автоматизация процесса развертывания и оптимизация CI/CD.
• Знание одного из инструментов создания сценариев и автоматизации (Ansible, Terraform, Jenkins).
• Опыт работы с технологиями контейнеризации (Docker, Kubernetes).

Будет плюсом:

• Опыт работы с PySpark, Scala.
• Понимание принципов сетевой безопасности и лучших практик.
• Опыт работы в Agile/Scrum командах.
• Способность решать сложные технические задачи и быстро осваивать новые технологии.
• Опыт работы в области инфраструктуры ML и инженерии данных.