??數(shù)據(jù)遷移是一種將離線存儲與在線存儲融合的技術(shù)。它將高速、高容量的非在線存儲設(shè)備作為磁盤設(shè)備的下一級設(shè)備，然后將磁盤中常用的 數(shù)據(jù)按指定的策略自動遷移到磁帶庫（簡稱帶庫）等二級大容量存儲設(shè)備上。當(dāng)需要使用這些數(shù)據(jù)時，分級存儲系統(tǒng)會自動將這些數(shù)據(jù)從下一級存儲設(shè)備調(diào)回到上一 級磁盤上。那么下面就由新網(wǎng)小編和大家講一講數(shù)據(jù)遷移平臺的特點有哪些。

??一、直接映射

??原來是什么就是什么，原封不動照搬過來，對這樣的規(guī)則，如果數(shù)據(jù)源字段和目標字段長度或精度不符，需要特別注意看是否真的可以直接映射還是需要做一些簡單運算。

??二、字段運算

??數(shù)據(jù)源的一個或多個字段進行數(shù)學(xué)運算得到的目標字段，這種規(guī)則一般對數(shù)值型字段而言。

??三、參照轉(zhuǎn)換

??在轉(zhuǎn)換中通常要用數(shù)據(jù)源的一個或多個字段作為Key，去一個關(guān)聯(lián)數(shù)組中去搜索特定值，而且應(yīng)該只能得到唯一值。這個關(guān)聯(lián)數(shù)組使用Hash算法實現(xiàn)是比較合適也是最常見的，在整個ETL開始之前，它就裝入內(nèi)存，對性能提高的幫助非常大。

??四、字符串處理

??從數(shù)據(jù)源某個字符串字段中經(jīng)常可以獲取特定信息，例如身份證號。而且，經(jīng)常會有數(shù)值型值以字符串形式體現(xiàn)。對字符串的操作通常有類型轉(zhuǎn)換、字符串截取等。但是由于字符類型字段的隨意性也造成了臟數(shù)據(jù)的隱患，所以在處理這種規(guī)則的時候，一定要加上異常處理。

??五、空值判斷

??對于空值的處理是數(shù)據(jù)倉庫中一個常見問題，是將它作為臟數(shù)據(jù)還是作為特定一種維成員？這恐怕還要看應(yīng)用的情況，也是需要進一步探求的。但是無論怎樣，對于可能有NULL值的字段，不要采用“直接映射”的規(guī)則類型，必須對空值進行判斷，我們的建議是將它轉(zhuǎn)換成特定的值。

??六、日期轉(zhuǎn)換

??在數(shù)據(jù)倉庫中日期值一般都會有特定的，不同于日期類型值的表示方法，例如使用8位整型20040801表示日期。而在數(shù)據(jù)源中，這種字段基本都是日期類型的，所以對于這樣的規(guī)則，需要一些共通函數(shù)來處理將日期轉(zhuǎn)換為8位日期值、6位月份值等。

??七、日期運算

??基于日期，我們通常會計算日差、月差、時長等。一般數(shù)據(jù)庫提供的日期運算函數(shù)都是基于日期型的，而在數(shù)據(jù)倉庫中采用特定類型來表示日期的話，必須有一套自己的日期運算函數(shù)集。

??八、聚集運算

??對于事實表中的度量字段，他們通常是通過數(shù)據(jù)源一個或多個字段運用聚集函數(shù)得來的，這些聚集函數(shù)為SQL標準中，包括sum,count,avg,min,max。

??九、既定取值

??這種規(guī)則和以上各種類型規(guī)則的差別就在于它不依賴于數(shù)據(jù)源字段，對目標字段取一個固定的或是依賴系統(tǒng)的值。

??通俗地講，數(shù)據(jù)遷移 是一種可以把大量不經(jīng)常訪問的數(shù)據(jù)存放在帶庫、盤庫等離線介質(zhì)上，只在盤陣上保存少量訪問頻率高的數(shù)據(jù)的技術(shù)。當(dāng)那些磁帶等介質(zhì)上數(shù)據(jù)被訪問時，系統(tǒng)自動 的把這些數(shù)據(jù)回遷到盤陣中；同樣，盤陣中很久未訪問的數(shù)據(jù)被自動遷移到磁帶介質(zhì)上，從而大大降低投入和管理成本。小伙伴們要想獲得更多數(shù)據(jù)遷移平臺的內(nèi)容，請關(guān)注新網(wǎng)。