您的位置 首页 > 德语常识

blink德语?有哪些公司在使用Flink

大家好,关于blink德语很多朋友都还不太明白,不过没关系,因为今天小编就来为大家分享关于有哪些公司在使用Flink的知识点,相信应该可以解决大家的一些困惑和问题,如果碰巧可以解决您的问题,还望关注下本站哦,希望对各位有所帮助!

1、这几年大数据的飞速发展,出现了很多热门的开源社区,其中著名的有Hadoop、Storm,以及后来的Spark,他们都有着各自专注的应用场景。Spark掀开了内存计算的先河,也以内存为赌注,赢得了内存计算的飞速发展。Spark的火热或多或少的掩盖了其他分布式计算的系统身影。就像Flink,也就在这个时候默默的发展着。

2、在国外一些社区,有很多人将大数据的计算引擎分成了4代,当然,也有很多人不会认同。我们先姑且这么认为和讨论。

3、第1代——HadoopMapReduce

4、首先第一代的计算引擎,无疑就是Hadoop承载的MapReduce。它将计算分为两个阶段,分别为Map和Reduce。对于上层应用来说,就不得不想方设法去拆分算法,甚至于不得不在上层应用实现多个Job的串联,以完成一个完整的算法,例如迭代计算。

5、第2代——DAG框架(Tez)+MapReduce

6、由于这样的弊端,催生了支持DAG框架的产生。因此,支持DAG的框架被划分为第二代计算引擎。如Tez以及更上层的Oozie。这里我们不去细究各种DAG实现之间的区别,不过对于当时的Tez和Oozie来说,大多还是批处理的任务。

7、第3代——Spark

8、接下来就是以Spark为代表的第三代的计算引擎。第三代计算引擎的特点主要是Job内部的DAG支持(不跨越Job),以及强调的实时计算。在这里,很多人也会认为第三代计算引擎也能够很好的运行批处理的Job。

9、第4代——Flink

10、随着第三代计算引擎的出现,促进了上层应用快速发展,例如各种迭代计算的性能以及对流计算和SQL等的支持。Flink的诞生就被归在了第四代。这应该主要表现在Flink对流计算的支持,以及更一步的实时性上面。当然Flink也可以支持Batch的任务,以及DAG的运算。

11、Flink诞生背景

12、Flink起源于Stratosphere项目,Stratosphere是在2010~2014年由地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目

13、2014年4月捐赠给了Apache软件基金会

14、2014年12月成为Apache软件基金会的顶级项目。

15、在德语中,Flink一词表示快速和灵巧,项目采用松鼠的彩色图案作为logo,Flink的松鼠logo尾巴的颜色与Apache软件基金会的logo颜色相呼应,也就是说,这是一只Apache风格的松鼠。

16、官网地址:https://flink.apache.org/

17、Flink主页在其顶部展示了该项目的理念:“ApacheFlink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架”。

18、Flink是一款分布式的计算引擎,它可以用来做流处理;也可以用来做批处理

19、哪些公司在使用Flink

20、https://blog.csdn.net/dQCFKyQDXYm3F8rB0/article/details/86117374

21、随着人工智能时代的降临,数据量的爆发,在典型的大数据的业务场景下数据业务最通用的做法是:选用批处理的技术处理全量数据,采用流式计算处理实时增量数据。

22、在绝大多数的业务场景之下,用户的业务逻辑在批处理和流处理之中往往是相同的。但是,用户用于批处理和流处理的两套计算引擎是不同的。因此,用户通常需要写两套代码。

23、毫无疑问,这带来了一些额外的负担和成本。

24、阿里巴巴的商品数据处理就经常需要面对增量和全量两套不同的业务流程问题,所以阿里就在想,我们能不能有一套统一的大数据引擎技术,用户只需要根据自己的业务逻辑开发一套代码。这样在各种不同的场景下,不管是全量数据还是增量数据,亦或者实时处理,一套方案即可全部支持,这就是阿里选择Flink的背景和初衷。

25、2015年阿里巴巴开始使用Flink并持续贡献社区(阿里内部还基于Flink做了一套Blink),2019年1月8日,阿里巴巴以9000万欧元(7亿元人民币)收购了创业公司DataArtisans。从此Flink开始了新一轮的乘风破浪!

好了,关于blink德语和有哪些公司在使用Flink的问题到这里结束啦,希望可以解决您的问题哈!

本站涵盖的内容、图片、视频等数据,部分未能与原作者取得联系。若涉及版权问题,请及时通知我们并提供相关证明材料,我们将及时予以删除!谢谢大家的理解与支持!

Copyright © 2023