Apache Airflow

Apache Airflow est une plate-forme de gestion de flux de travail (workflow) open source. Initialement, c’est Airbnb qui démarre ce projet en octobre 2014 afin de gérer les flux de travail de plus en plus complexes au sein de l'entreprise. La création d'Airflow a permis à Airbnb de créer et de planifier ses flux de travail par programmation et de les surveiller via l'interface utilisateur intégrée d'Airflow. Dès le début, le projet a été rendu open source, devenant un projet d'incubateur Apache en mars 2016 puis un top level project (projet de haut niveau) de la Apache Software Foundation en janvier 2019. Airflow est écrit en Python et les workflows sont créés via des scripts Python. Airflow est conçu selon le principe de la configuration as code (configuration comme code). Alors que d'autres plates-formes de workflow de configuration as code existent et utilisent des langages de balisage comme XML, l'utilisation de Python permet aux développeurs d'importer des bibliothèques et des classes pour les aider à créer leurs workflows.