2022
03
03

Amazon S3新增4種適合不同用途的校驗和演算法[轉載於iThome]

關鍵字:專案開發

AWS物件儲存服務Amazon S3,現在除了原本的MD5校驗和(Checksum)演算法之外,額外添加4種校驗和演算法,供用戶根據需求,選擇計算和儲存物件的校驗和,並且以校驗和檢查上傳與下載請求的完整性。目前新的4種校驗和演算法,包括SHA-1、SHA-256、CRC-32和CRC-32C,已經在所有商業AWS地區提供,用戶不需要支付額外費用就可以使用。

Amazon S3為了確認物件正確地來回傳輸,會使用校驗和,也就是一種數位指紋,來驗證傳輸資料的正確性。S3的PutObject函式讓用戶能夠傳遞物件的MD5校驗和,並且只在用戶提供的值,和S3所計算出來的值相符合時,S3才會接受該操作。

雖然S3能夠使用MD5校驗和來偵測資料傳輸錯誤,但這也代表用戶在呼叫PutObject函式之前,或是呼叫GetObject函式之後,必須計算校驗和,官方提到,計算數GB甚至是數TB容量物件的校驗和,是一項運算密集的工作,可能導致作業上出現運算瓶頸,許多大型的S3用戶,甚至需要建構專門的EC2機隊,來計算和驗證校驗和。

而AWS新提供的4種校驗和演算法,將有助於緩解這樣的狀況,因為用戶將可以根據需求,選擇不同複雜度的演算法,更快速地計算和儲存在S3中物件的校驗和,並使用校驗和高效率檢查上傳和下載請求,以實作特定產業數位保存的最佳實踐。當用戶將物件上傳至S3時,便可選擇SHA-1、SHA-256、CRC-32和CRC-32C任一種校驗和演算法。

由於最新版本的AWS SDK運算,需要在上傳的時候進行校驗和計算,並在上傳結束時,將其包含在HTTP Trailer中,用戶可以提供預先計算好的校驗和,AWS提到,結合校驗和與HTTP Trailer,可以大幅加速客戶端完整性檢查。

新的校驗和演算法也可以用於多段物件上傳,AWS SDK現在支援平行處理,並在多段上傳中計算每段物件的校驗和,完整物件的校驗和,將會是所有部分校驗和的加總,而這個校驗和的校驗和,將會在物件傳輸完成時一併被上傳至S3。

經驗證的校驗和以及指定使用的演算法,都是物件後設資料的一部分,當物件請求使用KMS金鑰進行伺服器端加密,則校驗和也會以加密的形式儲存,即便是物件更換了儲存類別,或是被更新版本取代,演算法和校驗和會在整個生命周期中,和物件形影不離,同時校驗和也會在S3物件複製時一起被傳輸。用戶現在可以使用新的GetObjectAttributes函式,以取得物件和每一部分的校驗和。

傑立資訊傑立資訊事業有限公司
Powered by AWS Cloud Computing

電話:(02)2739-9096 | 傳真:(02)2739-6637 | 客服:[email protected] | 臺北市信義區和平東路3段257號6樓map

© 2019 傑立資訊 All rights reserved.| 網站隱私政策