共计 3148 个字符，预计需要花费 8 分钟才能阅读完成。
Flink 是一个开源流处理框架，注意它是一个处理计算框架，类似 Spark 框架，Flink 在数据摄取方面非常准确，在保持状态的同时能轻松地从故障中恢复。
Flink 内置引擎是一个分布式流数据流引擎，支持 流处理和批处理，支持和使用现有存储和部署基础架构的能力，它支持多个特定于域的库，如用于机器学习的 FLinkML、用于图形分析的 Gelly、用于复杂事件处理的 SQL 和 FlinkCEP。Flink 的另一个有趣的方面是现有的大数据作业（Hadoop M / R，Cascading，Storm）可以 通过适配器在 Flink 的引擎上执行，因此这种灵活性使 Flink 成为 Streaming 基础设施处理的中心。
它支持所有下面 关键功能:
处理引擎，支持实时 Streaming 和批处理 Batch
支持各种窗口范例
支持有状态流
Faul Tolerant 和高吞吐量
复杂事件处理（CEP）
背压处理
与现有 Hadoop 堆栈轻松集成
用于进行机器学习和图形处理的库。
核心 API 功能：
每个 Flink 程序都对分布式数据集合执行转换。提供了用于转换数据的各种功能，包括过滤，映射，加入，分组和聚合。
Flink 中的接收 器 操作用于接受触发流的执行以产生所需的程序结果，例如将结果保存到文件系统或将其打印到标准输出
Flink 转换是惰性的，这意味着它们在调用接收 器 操作之前不会执行
Apache Flink API 支持两种操作模式 – 批量操作和实时操作。如果正在处理可以批处理模式处理的有限数据源，则将使用 DataSet API。如果您想要实时处理无限数据流，您需要使用 DataStream API
擅长批处理的现有 Hadoop 堆栈已经有 很多组件，但是试图将其配置为流处理是一项艰巨的任务，因为各种组件如 Oozi（作业调度程序），HDFS（和用于数据加载的存储），ML 和图形库和批处理工作都必须完美协调。最重要的是，Hadoop 具有较差的 Stream 支持，并且没有简单的方法来处理背压峰值。这使得流数据处理中的 Hadoop 堆栈更难以使用。让我们来看看 Flink 架构的高级视图：
对于每个提交的程序，创建一个客户端，该客户端执行所需的预处理并将程序转换为并行数据流形式，然后由 TaskManagers 和 JobManager 执行。JobManager 是整个执行周期的主要协调者，负责将任务分配给 TaskManager 以及资源管理。
它的组件图如下：
Flink 支持的流的两个重要方面是窗口化和有状态流。窗口化基本上是在流上执行聚合的技术。窗口可以大致分为
翻滚的窗户（没有重叠）
滑动窗（带重叠）
支持基本过滤或简单转换的流处理不需要状态流，但是当涉及到诸如流上的聚合（窗口化）、复杂转换、复杂事件处理等更高级的概念时，则必须支持 有状态流。
使用 Kafka 和 Flink 的 Streaming 架构如下
以下是各个流处理框架和 Kafka 结合的基准测试，来自 Yahoo：
该架构由中 Kafka 集群是为流处理器提供数据，流变换后的结果在 Redis 中发布，可用于架构之外的应用程序。正如你所看到的，即使在高吞吐量的情况下，Storm 和 Flink 还能保持低延迟，而 Spark 要差多了。继续增加数据量 Flink 不仅跑赢了 Storm，而且还以大约 300 万次 / 秒的速度使 Kafka 链接饱和。
案例源码
Flink 程序的入口点是 ExecutionEnvironment 类的实例 - 它定义了执行程序的上下文。
让我们创建一个 ExecutionEnvironment 来开始我们的处理：
ExecutionEnvironment env
= ExecutionEnvironment.getExecutionEnvironment();
请注意，在本地计算机上启动应用程序时，它将在本地 JVM 上执行处理。如果要在一组计算机上开始处理，则需要在这些计算机上安装 Apache Flink 并相应地配置 ExecutionEnvironment。
我们将创建两个作业:
生产者 WriteToKafka：生成随机字符串并使用 Kafka Flink Connector 及其 Producer API 将它们发布到 MapR Streams 主题。
消费者 ReadFromKafka：读取相同主题并使用 Kafka Flink Connector 及其 Consumer 消息在标准输出中打印消息。
下面是 Kafka 的生产者代码，使用 SimpleStringGenerator()类生成消息并将字符串发送到 kafka 的 flink-demo 主题。
public static void main(String[] args) throws Exception {
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
Properties properties = new Properties();
properties.setProperty(“bootstrap.servers”,“localhost:9092″);
DataStream<String> stream = env.addSource(new SimpleStringGenerator());
stream.addSink(new FlinkKafkaProducer09<>(“flink-demo”, new SimpleStringSchema(), properties));
env.execute();
}
创建一个新 StreamExecutionEnvironment 对象，这是使用 Flink 应用程序的起点
DataStream 在应用程序环境中创建一个新的 SimpleStringGenerator，该类实现 SourceFunction Flink 中所有流数据源的基本接口。
将 FlinkKafkaProducer09 添加到主题中。
消费者只需从 flink-demo 主题中读取消息，然后将其打印到控制台中。
public static void main(String[] args) throws Exception {
// create execution environment
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
Properties properties = new Properties();
properties.setProperty(“bootstrap.servers”,“localhost:9092″);
properties.setProperty(“group.id”, “flink_consumer”);
DataStream<String> stream = env.addSource(new FlinkKafkaConsumer09<>(
“flink-demo”, new SimpleStringSchema(), properties) );
stream.map(new MapFunction<String, String>() {
private static final long serialVersionUID = -6867736771747690202L;
@Override
public String map(String value) throws Exception {
return “Stream Value: ” + value;
}}).print();
env.execute();
}
用消费者信息创建一组属性，在这个应用程序中我们只能设置消费者 group.id。使用 FlinkKafkaConsumer09 来获取主题中的消息 flink-demo。
：
