Java-разработчик

Команда SberInfra ищет Java разработчиков для наших продуктов - сервисов федеративного доступа. Мы разрабатываем инфраструктурные компоненты на основе open source кода для дата центра с объемом 10+ петабайт данных и десятками тысяч ядер, с фокусом на защиту данных и реализацию алгоритмов безопасности.

Waggle-Danсе: Обеспечивает возможность работы с HMS нескольких кластеров Hadoop (SDP/Cloudera) при условии наличия федерации между кластерами. Фактически представляет собой proxy сервис, который онлайн запрашивает данные из внешнихHMS. Технически это Java процесс который запускается отдельно от Cloudera и реализует Thrift интерфейс Hive Meta store.

Sentry-proxy: Обеспечивает авторизация операций для Hive и Impala. Является proxy сервисов, который для настроенных федераций получает авторизационную информацию из внешних сервисов Sentry и Hadoop использует эту информацию для авторизации операция пользователя в Hive и Impala. Сервис собой представляет реализацию интерфейса Sentry и может запускаться как в случае наличия Sentryсервиса на локальном кластере, так и в случае его отсутствия. В случае отсутствия создаются синтетические права пользователям кластера.

HDFS Gateway: Представляет собой proxy cервис (шлюз), реализующий Hadoop Data protocol. Для внешних пользователей представляет собой HDFS, к которому можно настраивать федерацию и подключатcя как Hadoop client. В процесс запроса данных компонент может трансформировать данные отдаваемые клиенту HDFS любым образом. В текущей момент планируется использовать как компонент Сервиса защиты данных для применения политик доступа к данным подписок. Потенциально может работать с любыми данными хранящимися в HDFS, сейчас реализована поддержка Apache parquet.

Обязанности

• Исследовать OSS библиотеки и фреймворки для Hadoop, проводить их анализ и доработку
• Дорабатывать сервисы для Hadoop

Требования

• Уверенное владение Java SE
• Уверенные навыки кодирования
• Желателен опыт разработки библиотек и фреймворков
• Желателен опыт работы с авторизацией и ауфенктикацией в Java
• Будет плюсом опыт разработки ETL или инструментов для аналитики

Условия

• работа в офисе БЦ «Даниловский Форт»
• график гибридный, либо удаленный, 5/2
• стабильный оклад и социальную поддержку сотрудников
• расширенный ДМС с первого дня работы для сотрудников и льготная медицинская страховка для близких
• ипотека выгоднее на 4 п.п. и льготные условия кредитования для каждого сотрудника
• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров: Сбер Маркет, Delivery Club, Самокат, Сбер Еаптека и других;
• корпоративная пенсионная программа
• корпоративное обучение за счет компании
• реферальная программа для сотрудников: можно пригласить в команду знакомых профессионалов и получить вознаграждение до 100 тыс. рублей
• официальное оформление с первого дня
• корпоративный спортзал и скидки в спортзалы-партнеры