Data-инженер DWH в Маркет
Яндекс Маркет — один из крупнейших мультикатегорийных маркетплейсов, которым ежедневно пользуются миллионы людей. Наши команды помогают покупателям приобретать товары не выходя из дома и получать заказы по всей стране, а партнёрам — развивать свой бизнес, повышая продажи и привлекая новых клиентов.
Мы команда инженеров данных, и продукт нашей команды — Data WareHouse (хранилище данных), которое мы строим для нужд бизнес-подразделений. Нашими пользователями являются как руководители Маркета, которым нужна отчётность для принятия решений, так и эксперты в области глубокого анализа данных. Можно утверждать, что все бизнес-подразделения Маркета являются потребителями поставляемых нами данных.
Технологически ядро хранилища построено на системах хранения данных YTsaurus и СlickHouse. Разработка процессов ETL идёт на собственном фреймворке, который создан внутри Яндекса.
Наше хранилище данных сейчас одно из самых крупных в России — порядка 30 петабайт — и с учётом темпов роста бизнеса оно будет самым большим. Стоит отметить, что к нему предъявляются высокие требования по надёжности, что ставит перед нашей командой далеко не тривиальные задачи, для которых нет готовых решений.
Какие задачи вас ждут
- вести разработку ETL-процессов поставки данных;
- выявлять неэффективность в существующих процессах и оптимизировать их;
- проектировать структуру хранения данных;
- участвовать в развитии фреймворка поставки данных;
- погружаться в данные одной из прикладных бизнес-областей и становиться в них экспертом;
- сопровождать разработанные процессы ETL.
Мы ждём, что вы
- уверенно знаете Python на уровне написания собственного фреймворка и SQL на уровне оптимизации запросов;
- знаете основные алгоритмы и структуры данных, особенно используемые в области работы с большими данными.
Будет плюсом, если вы
- проектировали DWH: слои, модели хранения данных, процессы ETL;
- понимаете принципы работы хотя бы одной технологии распределенной обработки данных: Hadoop, ClickHouse;
- имеете опыт промышленной разработки на одном из языков высокого уровня: Java или C++;
- умеете работать в командной строке систем Unix-like: Linux, macOS.
Разработчик программного обеспечения
очень хорошая социалка
есть возможности ротироваться в другую команду или сменить роль если с первого раза попал не туда, благо компания занимается буквально всем
Программист
Условия очень сильно зависят от команды. В целом за деньгами и карьерным ростом сюда идти не стоит
Стажер-разработчик
Инфраструктура - огромное количество "плюшек" сотрудникам, автоматизация бюрократии
Очень умные люди - приятно общаться в таком окружении
Общий уровень(профессиональный) тянет вверх, действительно best practices
Хорошая зарплата, ДМС и очень крутой офис
"Велосипеды" - что, кажется, неизбежно для таких масштабов, но хотелось бы меньше своих аналогов вместо работающего софта со стороны