TDC上YARN Web-UI 查看application日志方法

发布于:2024-10-18 ⋅ 阅读:(12) ⋅ 点赞:(0)

方法一

image-20241012204422461

image-20241012204514581

#通过浏览器访问tdc,访问的工作节点对于TDC都是外部节点。在提交给yarn任务后,YarnRM的Web UI 可以展示yarnnm上运行的application日志,但是由于跳转的svc地址,无法直接访问。
#在tdc界面上找到yarn实例,进入yarn找到yarnhs服务的19888对应的nodeport端口

image-20241012204937741

#浏览器输入  ip:nodeport端口即可,即可自动跳转(类似于跳转到 http://172.18.132.44:30331/jobhistory)
#根据application_id找到对应job_id,即可查看日志
例如: yarnrm页面上的【application_1720516259117_0003】对应 jobhistory页面的【 job_1720516259117_0003】

image-20241012205757261

image-20241012205835973

方案二:通过VIP或Haproxy方案暴露Yarnnm服务,主机hosts强制跳转

通过vip或haproxy代理yarnnm的8042web端口
8042端口需要改成自定义端口进行配置,预定义端口没有

image-20241012212343177

image-20241012212400525

PS:haproxy工具暂不支持,但可以手动配置
找到yarnnm所在节点修改节点上/etc/haproxy/haproxy-hdfs.cfg,手动添加模板

image-20241012212456296

#修改完成后重启所有节点
kubectl -n kube-system get pod |grep haproxy-1.8 |awk '{print $1}' |xargs kubectl -n kube-system delete pod --force
浏览器访问节点hosts做svc和vip的映射
例如修改windows的C:\Windows\System32\drivers\etc\hosts
#格式为参照如下模板,可以替换下vip和install_id以及namespace
172.18.132.141 yarnnm-hmrh8-0.vnafeox.pod.transwarp.local. yarnnm-hmrh8-0.yarnnm-hmrh8.vnafeox.svc.transwarp.local. yarnnm-hmrh8-0.yarnnm-hmrh8.vnafeox.svc.transwarp.local
172.18.132.142 yarnnm-hmrh8-1.vnafeox.pod.transwarp.local. yarnnm-hmrh8-1.yarnnm-hmrh8.vnafeox.svc.transwarp.local. yarnnm-hmrh8-1.yarnnm-hmrh8.vnafeox.svc.transwarp.local
172.18.132.143 yarnnm-hmrh8-2.vnafeox.pod.transwarp.local. yarnnm-hmrh8-2.yarnnm-hmrh8.vnafeox.svc.transwarp.local. yarnnm-hmrh8-2.yarnnm-hmrh8.vnafeox.svc.transwarp.local

image-20241012212737766

在yarnrm的web-ui页面直接跳转访问
由于配置了hosts映射关系,浏览器可以直接访问yarnnm的svc:8042的url

直接跳转访问
由于配置了hosts映射关系,浏览器可以直接访问yarnnm的svc:8042的url


![image-20241012212830309](https://img-blog.csdnimg.cn/img_convert/ce2e60337abdec5f9b6d661b8d7df2c7.png)