Senior python разработчик (техлид)
Обязанности
- Разработка и оптимизация DAGs для высоких нагрузок;
- Настройка и мониторинг Celery + Redis кластера;
- Создание API для управления DAGs и мониторинга (Flask/FastAPI);
- Реализация механизмов rate limiting и приоритизации задач;
- Настройка пулов и слотов для управления ресурсами;
- Оптимизация параллельного выполнения тысяч задач.
Требования
- Проектный коммерческий опыт от 4.5 лет;
- Практический опыт работы с Apache Airflow/или другими оркестраторами в production с высокими нагрузками ≥3 лет;
- Глубокое знание Celery Executor + Redis/RabbitMQ;
- Опыт масштабирования Airflow (workers, pools, slots);
- Навыки создания кастомных компонентов для распределенной обработки;
- Опыт кастомизации ядра оркестратора;
- Интеграция/Разработка API на Flask/FastAPI для управления Airflow или других оркестраторов;
- Опыт оптимизации параллельного выполнения задач.
Похожие вакансии
Смотреть всеОтклик на вакансию
Выбранное направление:
Разработка
Медиацентр
Смотреть все
Старт 29.06.2023
Орион
Цифровой проектный офис: критический путь PMO