spark debug远程调试

1.修改spark-env.sh

export SPARK_MASTER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10000"

插入以上代码

2.启动spark集群,此时输入jps会出现

[[email protected] sbin]# jps

17394 Jps

16956 -- main class information unavailable

这是正常的

3.配置idea远程调试

由于配置文件中配置的10000端口,所以这里也是10000端口

4.double click shift

搜索Master(spark包中)类,在Master类中打断点,然后debug spark,

就自动到断点处,此时jps在服务器上的显示为

[[email protected] ~]# jps

17962 Jps

16956 Master

 

 

以上是master调试过程,worker调试过程类似