亚洲综合在线一区二区三区-日韩超碰人人爽人人做人人添-麻豆国产精品久久人妻-无码人妻丰满熟妇啪啪-天堂精品一区二区三区-99久久综合狠狠综合久久aⅴ

×

幫助中心

常見問題
資料下載
新手上路

US3SYNC 遷移工具

  • 作者:
  • 文章來源:新網
  • 點擊數:0
  • 更新時間:2024-03-27 10:52:13

US3SYNC 是一款將不同源的數據同步到 S3 的遷移工具。通過將 US3SYNC 部署在本地或者云主機中,可以便捷地從本地或者其他云環境中將數據遷移到 S3 存儲空間。US3SYNC工具可以創建兩種模式的任務:

普通模式: 普通同步任務可以將源端某個指定前綴或文件夾的文件批量的同步到US3上。

fetch模式: fetch模式的同步任務是通過POST請求(描述需要同步的文件URL和目的位置)將文件同步到指定的位置上。可以指明文件同步成功和失敗后的回調接口,US3SYNC會在同步任務完成后,發送相應的通知。


普通任務工作原理

圖中master節點與worker節點功能:


master節點:

單點部署,負責遷移任務的管理。其主要邏輯是從源端拉取文件列表,然后將需要遷移的文件派發給worker進程遷移。


worker節點:

支持節點擴展,負責遷移文件。其主要邏輯是從源端下載文件,然后將文件上傳到目的端。


master節點與worker節點可以部署在同一臺機器,也可以部署在多臺機器上,用戶可以根據需要自行擴展worker節點,下面分別介紹:

部署在同一臺機器:

master節點和worker節點通過啟動時配置的內部通信監聽地址進行通信。用戶需要確保配置給worker節點的路徑是單獨的路徑,不可與master路徑以及其他worker路徑重復。

部署在不同機器:

master節點和worker節點通過啟動時配置的內部通信監聽地址進行通信,確保該地址在worker機器上可以訪問。用戶需要確保配置給worker節點的路徑是單獨的路徑,不可與master路徑以及其他worker路徑重復。



Fetch任務工作原理

Fetch類型的任務跟普通任務工作原理大致類似,不同的是同步任務的源端需要發送POST請求來指定,而不是根據配置的源端的位置自動拉取。


POST請求語法

POST /fetch/ HTTP 1.1Authorization: AuthContent-Type:application/jsonCopy


請求頭部
ErrorSuccess請求頭部

Authorization為必選項,content-type, date等都是可選項

例如: Authorization: UCloud xxxx-xxxx-xxxx-xxxx-xxxx:xxxxxxxxxxxxx 計算方法偽碼如下:

method := "POST" md5 := xxxxxxcontentType := xxxxxxdate := xxxxxprivateKey = xxxxx-xxxx-xxxxx-xxxxpublicKey = xxxx-xxxx-xxxx-xxxxstrToSign = method + "\n" + md5 + "\n" + contentType + "\n" + date + "\n" signature = HmacSHA1(strToSign, privateKey) signature = Base64(signature) Authorization: "UCloud " + publicKey + ":" + signatureCopyErrorSuccess


請求內容
名稱描述類型必選
Url源站資源地址,需要url encodeString
Key桶內文件路徑,不需要url encodeString
Bucket桶名String
JobIdFetch任務IdString
SuccessCallbackUrl回源拉取成功的回調地址String
FailureCallbackUrl回源拉取失敗的回調地址String

此處的JobId可以在界面中獲取


返回內容
名稱描述類型
RetCode請求狀態碼Int
ErrMsg請求信息String
TaskId任務的唯一idString
{ "RetCode":, "ErrMsg":, "TaskId": }CopyErrorSuccess

示例請求
POST /fetch/ HTTP/1.1Authorization:Authorization: UCloud this-is-my-public-key:AAAArandomsignature=Content-Type:application/jsonContent-Length: 159{ "Url": "http://xxx.xxx.xxx/xxx/movie.mp4", "Bucket": "example_bucket", "Key":"movie.mp4", "JobId": "xxxxxxxxxxxxxxxxxxxx", "SuccessCallbackUrl":"http://xxx.xxx.xxx/xxx", "FailureCallbackUrl":"http://xxx.xxx.xxx/xxx"}CopyErrorSuccess

返回
HTTP/1.1 200 OKContent-Type: application/json; charset=utf-8Content-Length: 122Connection: keep-alive{ "RetCode":0, "ErrMsg":"success", "TaskId": "d4d62b79-b292-411a-a1f2-47369e2b532f"}CopyErrorSuccess


回調內容

您可以在請求中指定任務完成后的回調地址,US3SYNC會依照任務執行結果給相應的地址放松POST請求,請求內容示例如下:


Failure callback
{ "Code":1, "TaskId": "d4d62b79-b292-411a-a1f2-47369e2b532f", "Message":"We encountered an internal error.", "Resource":"http://xxx.xxx.xxx/xxx/movie.mp4",}CopyErrorSuccess

Success callback
{ "Code": 0, "TaskId": "d4d62b79-b292-411a-a1f2-47369e2b532f", "ETag":"xxxxxxxx", "Key":"xxxxxxxxxxxxxxx.mp4", "SHA1":"0bc51013e87869137a432200f57daf6affdd3d0c", "Size":638304718}CopyErrorSuccess


主要功能

  1. 支持從 s3,oss,qiniu,youpai,S3 云存儲遷移數據到 S3 中。
  2. 支持從 NAS 存儲或者本地目錄將數據遷移到 S3 中。
  3. 支持指定 URL 資源列表將數據遷移到 S3 中。
  4. 支持 web 管理,通過 web 管理遷移任務,遷移節點。
  5. 支持源端管理
  6. 支持配置任務定期執行
  7. 支持失敗文件列表導出

注:暫不支持源端為歸檔類型的文件遷移到 S3。

文件結構

US3SYNC├── bin│ |── master # master 可執行程序│ └── worker # worker 可執行程序├── conf│ └── config.toml # 配置文件├── cert # https證書├── log # master日志文件存放路徑├── pika # 依賴pika└── console.sh # 啟動腳本CopyErrorSuccess





當前版本:1.10.4


運行環境:


Linux:

    CentOS 7.0 及以上 (可通過cat /etc/redhat-release查看)

    Ubuntu 16.04 及以上 (可通過cat /etc/issue查看)


US3SYNC 依賴 telnet,expect,rsync 命令,確保預裝這些命令,使用 yum 源做包管理可以使用以下命令安裝:

yum install -y telnet expect rsyncCopyErrorSuccess


下載并解壓

wget -O US3SYNC.tgz "https://ufile-release.cn-bj.ufileos.com/US3SYNC/v1.10.4/US3SYNC.tgz"tar xzf US3SYNC.tgzcd ./US3SYNCCopyErrorSuccess


啟動master服務


./console.sh start請設置緩存服務監聽端口[9000]:請設置緩存服務密碼[user-passwd]:# 云主機一般綁定EIP,建議ip地址使用0.0.0.0請設置web 服務監聽地址[0.0.0.0:443]:# 內部通信地址不提供外網服務,建議ip地址使用機器內網ip請設置內部通信監聽地址[x.x.x.x:8080]:請設置報錯重試次數[10]:請設置web 登錄使用的用戶名[root]: 請設置web 登錄使用的密碼[passwd]: US3SYNC start success!# 查看master服務./console.sh show# 結束master服務./console.sh stop# 驗證# 查看進程是否正常啟動./console.sh showCopyErrorSuccess


添加worker節點

服務啟動后,在瀏覽器中打開:https://<web服務監聽IP>:<web服務監聽端口>/

注:使用云主機部署遷移服務時,這里需要使用EIP,而不是0.0.0.0。

頁面登錄,使用啟動時設置的用戶名和密碼。

添加工作節點,參考 創建節點界面說明,需要為每個節點提供唯一工作路徑。 每個工作節點需要提供唯一工作路徑,如果路徑不存在會自動創建對應目錄。

注:建議使用內網ip。



對象存儲 S3

免費咨詢獲取折扣

Loading
主站蜘蛛池模板: 欧美性欧美巨大黑白大战| 人妻熟妇乱又伦精品无码专区 | 欧美黑人巨大xxxxx| 摸丰满大乳奶水www免费| 国模冰莲极品自慰人体| 最新精品国偷自产在线婷婷| 亚洲中文字幕无码av| 亚洲成综合人在线播放| 人妻少妇偷人无码视频| 精品亚洲不卡一区二区三区四区 | 国产麻豆精品福利在线| 777yyy亚洲精品久久久| 国产亚洲精品自在久久| 亚洲精品不卡无码福利在线观看| 18禁黄网站禁片免费观看国产 | 精品无码一区在线观看| 中文字幕一区二区精品区| 亚洲乱亚洲乱妇小说网| 日本熟妇人妻xxxxx-欢迎您| 久久99精品久久久久久齐齐| 国产av成人精品播放| 国产成人精品一区二区三区| 精品无人区乱码1区2区3区在线 | 精品一区二区三区无码视频 | 久久精品亚洲男人的天堂 | 久久久久黑人强伦姧人妻| 综合图区亚洲另类偷窥| 亚洲国产美女久久久久| 欧美大片一区二区三区视频| 国产午夜亚洲精品不卡网站| 日韩大片看一区二区三区| 久久国产亚洲精品赲碰热| 国产成人精品无缓存在线播放| 宅宅少妇无码| 亚洲av无码之日韩精品| 三叶草欧洲码在线| 99久久婷婷国产综合精品电影| 亚洲乱码卡一卡二卡新区中国| 奇米影视国产一区二区| 国产精品自产拍在线18禁| 色妺妺av爽爽影院|