Data Engineer
На данный момент мы ищем Data Engineer в "ДатаЛаб".
Направление «ДатаЛаб» специализируется на Big Data, машинном и глубоком обучении и искусственном интеллекте с 2021 года. В составе направления более 30 специалистов. Гордимся тем, что создали для «ВкусВилл» предиктивную модель по прогнозированию сроков доставки, а также систему, которая рекомендует покупателям товары в мобильном приложении, что улучшает лояльность клиентов.
Что предстоит делать:
- Разработка NRT ETL процессов используя Spark Streaming и Clickhouse
- Разработка батчевых ETL процессов с использованием Apache Spark и Airflow
- Мониторинг и обеспечение качества данных поступающих в хранилище
- Оптимизация текущих решений
Мы ждем от вас:
- Опыт работы с Clickhouse - понимание архитектуры и особенностей СУБД, умение читать план запроса, обладать навыками оптимизации.
- Опыт работы с Apache Spark (Pyspark 3.4.1 и более актуальными версиями). Понимание архитектуры Spark, навык отладки и отимизации кода.
- Опыт работы с Apache Airflow.
- Продвинутый уровень sql
- Python на среднем уровне
Обслуживать клиентов: работать со счетами, пластиковыми картами и денежными переводами. Продавать банковские и страховые продукты (кредитные продукты, карты, вклады).
Обслуживать клиентов: работать со счетами, пластиковыми картами и денежными переводами. Продавать банковские и страховые продукты (кредитные продукты, карты, вклады).