您的位置 首页 > 德语词汇

standalone是什么意思、读音?Standalone是什么?Standalone集群的三类进程

老铁们,大家好,相信还有很多朋友对于standalone是什么意思、读音和Standalone是什么?Standalone集群的三类进程的相关问题不太懂,没关系,今天就由我来为大家分享分享standalone是什么意思、读音以及Standalone是什么?Standalone集群的三类进程的问题,文章篇幅可能偏长,希望可以帮助到大家,下面一起来看看吧!

1、Standalone模式是Spark自带的一种集群模式,不同于前面本地模式启动多个进程来模拟集群的环境,Standalone模式是真实地在多个机器之间搭建Spark集群的环境,完全可以利用该模式搭建多机器集群,用于实际的大数据处理。

standalone是什么意思、读音?Standalone是什么?Standalone集群的三类进程

2、StandAlone是完整的Spark运行环境,其中:Master角色以Master进程存在,Worker角色以Worker进程存在Driver和Executor运行于Worker进程内,由Worker提供资源供给它们运行。

3、StandAlone集群在进程上主要有3类进程:

4、Master角色,管理整个集群资源,并托管运行各个任务的Driver

5、Worker角色,管理每个机器的资源,分配对应的资源来运行Executor(Task);每个从节点分配资源信息给Worker管理,资源信息包含内存Memory和CPUCores核数。

6、SparkApplication运行完成以后,保存事件日志数据至HDFS,启动HistoryServer可以查看应用运行相关信息。Spark的历史服务器,功能:将Spark运行的程序的历史日志记录下来,通过历史服务器方便用户查看程序运行的历史信息。

END,本文到此结束,如果可以帮助到大家,还望关注本站哦!

本站涵盖的内容、图片、视频等数据,部分未能与原作者取得联系。若涉及版权问题,请及时通知我们并提供相关证明材料,我们将及时予以删除!谢谢大家的理解与支持!

Copyright © 2023