首页 文章推荐 家电百科 实时讯息 常识
您的位置: 首页 > 常识 >

standalone什么意思(Standalone集群的三类进程)

100次浏览     发布时间:2024-12-04 08:51:47    

Standalone是什么

Standalone模式是Spark自带的一种集群模式,不同于前面本地模式启动多个进程来模拟集群的环境,Standalone模式是真实地在多个机器之间搭建Spark集群的环境,完全可以利用该模式搭建多机器集群,用于实际的大数据处理。

StandAlone 是完整的Spark运行环境,其中: Master角色以Master进程存在, Worker角色以Worker进程存在 Driver和Executor运行于Worker进程内, 由Worker提供资源供给它们运行。

StandAlone集群在进程上主要有3类进程:

(1)主节点Master进程:

Master角色, 管理整个集群资源,并托管运行各个任务的Driver

(2)从节点Workers:

Worker角色, 管理每个机器的资源,分配对应的资源来运行Executor(Task); 每个从节点分配资源信息给Worker管理,资源信息包含内存Memory和CPU Cores核数。

(3)历史服务器HistoryServer(可选):

Spark Application运行完成以后,保存事件日志数据至HDFS,启动HistoryServer可以查看应用运行相关信息。Spark的历史服务器, 功能: 将Spark运行的程序的历史日志记录下来, 通过历史服务器方便用户查看程序运行的历史信息。

相关文章
得宝保险柜售后维修网点热线查询(得宝保险柜保险柜怎么做)
2025-09-14 09:47:34
品昱保险柜售后服务号码24小时实时反馈-今-日-更-新(品昱保险柜老保险柜打不开怎么办)
2025-09-14 09:46:08
罗森保险柜用户售后服务中心实时反馈全+境+到+达(罗森保险柜保险柜打不开怎么弄)
2025-09-14 09:44:56
杨导保险柜服务号码24小时-售后号码实时反馈-今-日-更-新(杨导保险柜电子保险柜怎么重置密码)
2025-09-14 09:43:42
朝友保险柜售后24小时热线维修服务(朝友保险柜保险柜第一次怎么打开)
2025-09-14 09:42:42