Data Engineer
Требования
- Опыт работы в качестве инженера данных от 3 лет;
- Опыт работы с Airflow, NiFi или др. оркестраторами ETL процессов;
- Уверенное владение SQL и использование его в работе ;
- Уверенное знание Clickhouse или глубойкий опыт с Greenplum или Postgre (не просто "написать запрос");
- Знание Hadoop и Spark - желательно (нужно знать инфраструктуру, т.к. идет переход с Hive на Spark);
- Уверенное знание Python (pandas обязательно и др.) ;
- Знание основ ООП, теории алгоритмов, структур данных;
- Знание теории построения хранилищ данных;
- Любознательность, широкий кругозор, желание изучать новые технологии, исследовательский склад ума.
Дополнительные требования (будет плюсом)
- Опыт в Unix shell: базовые команды для работы с файлами и процессами;
- Опыт работы с брокерами сообщений;
- Опыт работы с Docker, Kubernetes.
Обязанности
- Участие в разработке ядра системы анализа процессов;
- Разработка переиспользуемых трансформаций данных и пайплайнов;
- Разработка self-service инструментов обработки данных для пользователей;
- Разработка и проектирование модели данных.
Похожие вакансии
Смотреть всеОтклик на вакансию
Медиацентр
Смотреть все
Старт 29.06.2023
Орион
Цифровой проектный офис: критический путь PMO