Data Engineer

Разрабатывать лучшие инструменты для того, чтобы каждый человек был на своем месте - главная миссия нашей команды! За годы работы мы выполнили более 200 проектов всех уровней сложности и наработали огромный опыт в сфере веб-разработки, поэтому реализация самых амбициозных it-проектов для нас представляет особенный интерес.

В рамках направления Decart-outstaffing у нас открыто несколько вакансий на позиции Data engineer для наших клиентов в сфере Финтех для усиления команд клиентов в рамках реализации и развития новых продуктов в финансовом секторе.

Мы подберем проект под твои навыки и опыт, ведь у тебя уже может быть основной проект и ты ищешь подработку, или ты в поиске основного проекта для себя - ниже общие примеры требований на проектах, поэтому даже если не подходишь по всем пунктам, но готов присоединится к нашим командам - смело откликайся!

Что нужно будет делать?

Зависит от проекта, но в целом:

• интеграция с внешними и внутренними источниками;
• построение ETL пайплайнов;
• проверка качества данных;
• регистрация происхождения данных;
• настройка систем мониторинга;
Что нужно уметь, знать, какими навыками обладать:

• опыт работы с Apache Airflow;
• опыт работы с pySpark;
• знание SQL;
• опыт работы с OLAP СУБД;
• понимание принципов и основных методов построения архитектуры хранилищ данных;
• опыт работы в Linux (командная строка);
• опыт работы с Docker или Kubernetes;
• опыт работы с Apache Nifi;
• опыт работы с Apache Kafka;
• опыт работы с OLTP СУБД;
• опыт работы с Git;
• понимание принципов и основных методов построения архитектуры платформ данных;
• понимание подходов к обработке данных;

Будет плюсом:
• знание Python; знание JAVA;
• опыт работы с Apache Spark;
• опыт написания коннекторов Kafka Connect;
• опыт написания процессоров Nifi;
• опыт построения CI/CD пайплайнов в GitLab;

Что предлагаем:

• Оформление по удобному для тебя формату (ИП, самозанятость);

• График 5/2, фуллтайм/ парттайм; гибкое утро;

• Рабочее место там, где вам удобно и есть интернет;

• Интересные проекты с серьезными задачами в разных областях;

• Возможность перемещаться между проектами;

Мы любим проактивность и инициативность, слушаем и слышим каждого;)