Apache Flink

Apache Flink est un framework open source de traitement flux développé par la Apache Software Foundation. Le noyau d'Apache Flink est un moteur distribué de flux écrit en Java et en Scala. Flink exécute des programmes de flux de données arbitraires de manière parallèle et en pipeline. Le système d'exécution en pipeline de Flink permet l'exécution de programmes de traitement en bloc / par lots et de flux. En outre, le runtime de Flink prend en charge l'exécution d'algorithmes itératifs de manière native. Flink fournit un moteur de diffusion en continu à haut débit et à faible temps de latence , ainsi qu'un support pour le traitement des événements et la gestion de l'état. Les applications Flink sont tolérantes aux pannes en cas de défaillance de la machine et prennent en charge une sémantique exacte. Les programmes peuvent être écrits en Java , Scala, Python, et SQL . Ils sont automatiquement compilés et optimisés dans des programmes de flux de données exécutés dans un cluster ou un environnement en nuage. Flink ne fournit pas son propre système de stockage de données, mais fournit des connecteurs de source et de données aux systèmes tels que Amazon Kinesis , Apache Kafka , Alluxio , HDFS , Apache Cassandra et Elasticsearch.