Flink 工作原理
什么是parallelism？
一个Flink程序是由多个任务组成（source、transformation和sink）。
一个任务由多个并行的实例（线程）来执行，一个任务的并行实例（线程）数目就被称为该任务的并行度。
并行的意思，在Flink中代表每个任务的并行度，适当的提高并行度可以大大提高job的执行效率，比如当你的job消费kafka的速度过慢，适当调大就消费正常了。
flink配置文件中可以查看到默认并行度是1。
任务的并行度可以从多个层次指定
Operator Level（算子层次）
Execution Environment Level（执行环境层次）
Client Level（客户端层次）
1 | ./bin/flink run -p 10 ../examples/*WordCount-java*.jar |
System Level（系统层次）
在系统级可以通过设置flink-conf.yaml文件中的parallelism.default属性来指定所有执行环境的默认并行度
operator subtask
在程序执行期间，一个流会生成一个或者多个stream的partition，并且一个operator会生成一个或者多个operator subtask。operator的subtask彼此之间是独立的，分别在不同的线程里去执行并且可能分布在不同的机器上或者containers上。
operator的subtasks的数量等于该操作算子的并行度的数量。
流的并行度有总是取决于产生它的操作算子的并行度决定的。同一个flink程序中的不同的operators可能有不同的并行度。
Slot
①每一个Worker(TaskManager)都是一个JVM进程，他可能会在独立的线程中执行一个或者多个subtask。为了控制worker能够接收多个task，worker通过task slot来进行控制（一个worker至少有一个task slot）。
②每个task slot表示TaskManager拥有资源的一个固定大小的子集。假如一个TaskManager有三个slot,那么它会将其管理的内存分成三份给各个slot。slot的资源化意味着一个job的subtask将不需要跟来自其它job的subtask竞争被管理的内存。
③通过调整task slots的数量，用户可以定义subtasks它们之间如何互相隔离。如果一个TaskManager一个slot,那将意味着每个task group独立的运行在JVM中。而一个TaskManager多个slot意味着更多的subtask可以共享一个JVM。而在同一个JVM进程中的task将共享TCP连接和心跳消息。它们也可能共享数据集和数据结构，这样可以减少每个task的负载
默认，如果subtask是来自相同的job，但不是相同的task，Flink允许subtask共享slot。这样就会出现一个slot可能容纳一个job中的整个pipeline。允许slot共享有以下两个好处：
① Flink集群需要的task slots的数量和作业中的最高并行度的一致。不需要计算一个程序总共包含多少个task。
②更好的利用资源。如果没有slot共享，非密集型source/map()子任务将阻塞与资源密集型窗口子任务一样多的资源；在slot共享的话，将我们图6的示例中的基本并行度从2提高到6，可以充分利用slot资源，同时确保繁重的subtasks在Taskmanager中公平分配。
注意：这里的job就是一个flink任务，task就是该任务里面的source,map,sink等，而subtask就是每个task的多个并行实例（实例个数就是并行度的大小），如果并行度为2，那么source[1]，source[2]就是两个属于source的subtask。
TaskManager的运行个数
Job的最大并行度除以每个TaskManager分配的任务槽数。
yn：TaskManager的实际个数 ；ys：每个TaskManager分配的slot数；
p：最大并行度
TaskManager的任务槽个数在使用flink run脚本提交on YARN作业时用-ys/–yarnslots参数来指定，另外在flink-conf.yaml文件中也有默认值taskManager.numberOfTaskSlots
即yn(实际)=Math.ceil(p/ys)
ys(总共)=yn(实际)*ys(指定)
实际需要的slot数目=p
