Data Engineer (DWH)

Если вы в поиске работы в стабильной компании с духом стартапа, приглашаем в нашу команду!

Чем предстоит заниматься:

Разработка, тестирование и оптимизация ETL процессов для загрузки данных в DWH.

• Интеграция данных из различных источников (ERP, Web API) с использованием Apache Airflow.
• Разработка и поддержка потоков данных с использованием Kafka.
• Парсинг данных из интернета, их очистка и нормализация для использования в DWH.
• Работа с PostgreSQL и ClickHouse для хранения и обработки данных.
• Автоматизация процессов обработки данных и обеспечение их надежности.
• Участие в проектировании архитектуры DWH и поддержка существующих решений.
• Взаимодействие с командами аналитиков и BI для обеспечения корректности данных.
• Наши ожидания от кандидата:

Высшее математическое или техническое образование;

• Минимум 3 года опыта работы в управлении данными, инжиниринге данных или анализе данных в сфере веб и/или мобильных продуктов;
• Опыт разработки ETL процессов и работы с инструментами ETL (например, Apache Airflow).
• Глубокие знания SQL и опыт работы с реляционными базами данных (PostgreSQL).
• Опыт работы с ClickHouse и понимание его архитектуры.
• Опыт работы с Apache Kafka для интеграции и передачи данных.
• Навыки парсинга данных из интернета (например, с использованием Python, BeautifulSoup,Scrapy).
• Знание принципов и практик управления данными и архитектуры DWH.
• Опыт работы с большими данными и понимание их особенностей.
• Навыки оптимизации производительности запросов и процессов.
• Будет огромным плюсом:

Опыт работы с инструментами BI (Superset, Power BI, Tableau).

• Опыт работы с Python и знание его экосистемы для работы с данными.
• Опыт работы в среде DevOps и облачных технологиях (AWS, GCP, Azure).
• Условия:

удаленный формат работы,5/2 с 10.00 до 19.00 по московскому времени;

• возможность работать из любого города или из любой страны;