Data Engineer Senior
Обязанности:
- Участвовать в проектировании архитектуры фреймоврка;
- Разрабатывать новый/дорабатывать текущий функционал и тестировать его;
- Оптимизировать и масштабировать системы.
Требования:
- Уверенное знание SQL;
- Уверенное знание языков scala/java, bash;
- Опыт работы с базами данных (SQL/NoSQL);
- Понимание концепции хранилищ данных (DWH, Data Lake): слои, витрины, агрегаты, Data Quality, полная-инкрементальная загрузки;
- Знание типов медленно меняющихся измерений;
- Знание основных компонент инфраструктуры Hadoop, понимание принципов их работы (HDFS, YARN, HIVE, Oozie);
- Уверенное знание архитектуры, принципов работы и API инструментов Apache Spark, Apache Flink, Apache Kafka, Apache Iceberg, Trino, Velox;
- Понимание основных принципов RESTful API;
- Хорошее понимание архитектуры микросервисов;
- Понимание принципов SOLID и умение соблюдать их на практике;
- Опыт написания тестов (unit, integration, acceptance);
- Опыт работы с git и прочими системами контроля версий;
- Умение работать в команде и принимать ответственные решения;
- Готовность обучаться новым технологиям.
Плюсом будет:
- Навыки программирование на python;
- Опыт работы с ClickHouse;
- Опыт работы с S3 и Kubernetes.
Похожие вакансии
Смотреть всеОтклик на вакансию
Медиацентр
Смотреть все
Старт 29.06.2023
Орион
Цифровой проектный офис: критический путь PMO