Spark，hadoop 集群的常用命令

HDFS 常用命令

• 文件和目录操作

  • hdfs dfs -ls <路径>：查看指定路径下的文件和目录列表。
  • hdfs dfs -mkdir <路径>：在 HDFS 上创建新目录。
  • hdfs dfs -rm <路径>：删除指定路径下的文件或目录，若要删除目录，需使用-r选项，如hdfs dfs -rm -r <目录路径>。
  • hdfs dfs -cp <源路径> <目标路径>：将文件或目录从源路径复制到目标路径。
  • hdfs dfs -mv <源路径> <目标路径>：将文件或目录从源路径移动到目标路径。

• 数据传输

  • hdfs dfs -put <本地路径> <HDFS路径>：把本地文件或目录上传到 HDFS。
  • hdfs dfs -get <HDFS路径> <本地路径>：从 HDFS 下载文件或目录到本地。

• 集群状态查看

  • hdfs dfsadmin -report：查看 HDFS 集群的状态报告，包含容量、使用情况、节点信息等。
  • hdfs fsck <路径>：检查指定路径下文件的健康状况。

YARN 常用命令

• 应用程序管理

  • yarn application -list：列出所有正在运行或已完成的 YARN 应用程序。
  • yarn application -kill <应用程序ID>：终止指定 ID 的 YARN 应用程序。
  • yarn application -status <应用程序ID>：查看指定 ID 的 YARN 应用程序的状态。

• 节点管理

  • yarn node -list：列出所有 YARN 节点及其状态。
  • yarn node -status <节点ID>：查看指定 ID 的 YARN 节点的状态。

MapReduce 常用命令

• hadoop jar <JAR文件路径> <主类名> <输入路径> <输出路径>：提交一个 MapReduce 作业。例如，若要运行一个 WordCount 程序，可使用如下命令：

        hadoop jar /path/to/wordcount.jar org.apache.hadoop.examples.WordCount /input /output

HBase 常用命令（如果集群集成了 HBase）

• 表操作

  • create '<表名>', '<列族名>'：在 HBase 中创建一个新表。
  • list：列出 HBase 中的所有表。
  • disable '<表名>'：禁用指定的表。
  • enable '<表名>'：启用指定的表。
  • drop '<表名>'：删除指定的表（需先禁用）。

• 数据操作

  • put '<表名>', '<行键>', '<列族:列限定符>', '<值>'：向指定表的指定行键插入数据。
  • get '<表名>', '<行键>'：获取指定表中指定行键的数据。
  • scan '<表名>'：扫描指定表中的所有数