目录
方法2：rclone(速度很快，100G只花了大约20min)
方法一：在阿里云中连接超算，然后使用rsync/scp（速度慢）
1.在阿里云中制作密钥
[root@host ~]$ ssh-keygen <== 制作密钥
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): <== 按 Enter
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase): <== 密钥密码，或者按Enter设为空
Enter same passphrase again: <== 再次输入密钥密码
Your identification has been saved in /root/.ssh/id_rsa. <== 私钥
Your public key has been saved in /root/.ssh/id_rsa.pub. <== 公钥
公钥/root/.ssh/id_rsa.pub 私钥/root/.ssh/id_rsa
2.将公钥内容复制添加到超算用户目录下.ssh/authorized_keys文件（可使用ssh-copy-id user@hostname ，未验证）后，
保证文件权限
chmod 600 authorized_keys
chmod 700 ~/.ssh
3.测试是否能够通过SHH密钥认证登录到远程服务器
ssh user@remote_server_ip
#例如ssh scxlab0069@BSCC-N32-H@ssh.cn-zhongwei-1.paracloud.com
#scxlab0069@BSCC-N32-H是超算user名
#ssh.cn-zhongwei-1.paracloud.com是超算服务器ip
4.在阿里云中传输数据
rsync -avz --partial /mnt/data/oss_beijing/wzf/ scxlab0069@BSCC-N32-H@ssh.cn-zhongwei-1.paracloud.com:/home/bingxing2/ailab/group/ai4agr/wzf/
#其中/mnt/data/oss_beijing/wzf/是阿里云中数据路径
#scxlab0069@BSCC-N32-H是超算user名
#ssh.cn-zhongwei-1.paracloud.com是超算服务器ip
#/home/bingxing2/ailab/group/ai4agr/wzf/是数据要复制到的路径注：也可以采用scp
scp local_file user@hostname:remote_location #将本地文件复制到远程服务器
scp user@hostname:remote_file local_location #将远程服务器上的文件复制到本地计算机
方法2：rclone(速度很快，100G只花了大约20min)
类似于阿里云OSS->单机
1.先在官网Rclone downloads上下载合适版本的rclone包到超算平台
例如我的超算服务器是CPU是 aarch64 架构 linux环境
2.配置rclone config
创建rclone.conf文件 与下载的rclone-v1.66.0-linux-arm64文件位于同一目录下
内容模板为
[Aliyun]
type=s3
provider=Alibaba
access_key_id=xxxxxxxxxxxxxxxxxxx
secret_access_key=xxxxxxxxxxxxxxxxxxxxx
endpoint=oss-cn-beijing.aliyuncs.com
acl=private
bucket_acl=private注意！！！
OSS 的 access key 和在阿里云上面用的个人的 access key 不是一个东西
OSS 的 access key 问你的 leader
3.传输文件指令
rclone copy --progress --transfers 200 --checkers 200 Aliyun:pjlab-3090-ai4bio/wzf/ 服务器目标目录
# Aliyun为config文件中配置名 pjlab-3090-ai4bio为oss桶名
#--transfers 200 --checkers 200 这两个参数为传输时的并发数和校验文件数
#如果找不到config文件 加上参数 --config rcloneconfig文件路径
#./rclone ls Aliyun:pjlab-3090-ai4bio/ 可以查看链接oss是否成功
#如果数据量大则可以使用nohup命令放在后台执行，通过tail -f logs-.log 来查看迁移进度
#例如 nohup rclone copy --progress --transfers 200 --checkers 200 Aliyun:pjlab-3090-ai4bio/wzf/ 服务器目标目录 >> logs-Mytest.log 2>&1 &rclone补充
阿里云oss->集群ceph桶（Ceph分布式存储系统）
rclone.conf文件配置模板
[cephhdd]
type = s3
provider = Ceph
access_key_id = xxxxxxx
secret_access_key = xxxxxx
endpoint = http://10.140.2.231:80
acl = private
[Aliyun]
type=s3
provider=Alibaba
access_key_id=xxxxxxxxxxxxxxxxxxx
secret_access_key=xxxxxxxxxxxxxxxxxxxxx
endpoint=oss-cn-beijing.aliyuncs.com
acl=private
bucket_acl=private注：阿里云OSS的access_key和 集群ceph桶的access_key不是同一个
传输文件指令（例如传输到s集群ceph的Mytest桶中）
rclone copy --progress --transfers 200 --checkers 200 Aliyun:pjlab-3090-ai4bio/wzf/ cephhdd:Mytest/ 参考：