OSS不同账号之间Bucket的数据迁移

当我们需要将一个Bucket的数据迁移到另外一个Bucket时,可以利用OssImport工具完成.OssImport工具可以将本地、其它云存储的数据迁移到OSS。

#### 特点：

- 支持的丰富的数据源,有本地、七牛、百度BOS、AWS S3、Azure Blob、又拍云、腾讯云COS、金山KS3、HTTP、OSS等,并可根据需要扩展;
- 支持断点续传; 支持流量控制; 支持迁移指定时间后的文件、特定前缀的文件;
- 支持并行数据下载、上传;
- 支持单机模式和分布式模式,单机模式部署简单使用方便,分布式模式适合大规模数据迁移;

**OssImport有单机模式和分布式模式两种部署方式**：

- 对于小于30TB的小规模数据迁移,单机模式即可完成.
- 对于大规模的数据迁移,请使用分布式模式.

#### 运行环境：
单机部署支持Linux、Windows。
Java1.7及以上.可以直接去java官网下载。

**windows环境下单机模式的数据迁移：**

1. 单机版本下载地址**ossimport**,下载到本地后,解压至根目录。
2. **import.bat**为一键导入脚本,对于初级用户强烈建议使用一键导入.Windows在**cmd.exe**(建议管理员模式)中**ossimport**目录下执行**import.bat**。
3. 单机模式下有两个配置文件**sys.properties**、**local_job.cfg**,数据迁移前请按照实际需求修改任务参数.默认任务名称**local_test**,请不要修改。
4. 如果之前执行过程序,会提示有是否从上次的断点处继续执行,或者重新执行同步任务.对新的数据迁移任务,或者修改了同步的源端/目的端,请选择重新执行。
5. Windows下任务开始后,会打开一个新的cmd窗口执行同步任务并显示日志,旧窗口会每隔10秒打一次任务状态,数据迁移期间不要关闭两个窗口。
6. 上传过程中不建议更改数据.当Job完成后,如果发现有任务失败了,会提示是否重试,输入y重试,输入n则跳过退出。

#### 配置文件：

**sys.properties**
OSS不同账号之间Bucket的数据迁移，不需要修改sys.properties,建议默认。

**local_job.cfg**

- 单机模式jobName不要修改,不建议开启增量模式。
- jobType默认import。
- isIncremental默认值false。
- importSince默认为0,表示迁移全部数据。
- srcType=oss,从一个 bucket 迁移到另一个 bucket。
- srcAccessKey填写数据源的AccessKeyID。
- srcSecretKey填写数据源的的AccessKeySecret。
- srcDomain填写从控制台获取的域名,非带bucket前缀的二级域名,列表请参看域名列表。
- srcBucket填写源bucket名字。
- srcPrefix为待同步object的前缀,不包括bucket名称,同步所有文件srcPrefix设置为空。
- destAccessKey填写目标OSS的AccessKeyID。
- destSecretKey填写目标OSS的AccessKeySecret。
- destBucket填写目标OSS的bucket名称,不需要以/结尾。
- destPrefix填写目标前缀,默认为空,直接放在目标bucket下.如果要将数据同步到oss的某个目录下,请以/结尾。
- 在配置迁移服务时,将srcDomain设为带internal的内网域名,同时destDomain也设为带internal的内网域名,只有请求和存储费用,可以省下流量费。
- 其他参数不建议修改。

OSS不同账号之间Bucket的数据迁移

添加新评论

最新文章

分类