數(shù)據(jù)遷移的需求背景

公司內(nèi)部出現(xiàn)業(yè)務(wù)先合并、新舊系統(tǒng)替換、業(yè)務(wù)擴(kuò)大需要進(jìn)行數(shù)據(jù)庫(kù)分表等情況下，就需要涉及到數(shù)據(jù)遷移。對(duì)應(yīng)的常見(jiàn)的遷移場(chǎng)景有：

1、需要將兩個(gè)系統(tǒng)的部分?jǐn)?shù)據(jù)統(tǒng)一從A數(shù)據(jù)庫(kù)讀取，a數(shù)據(jù)庫(kù)和b數(shù)據(jù)庫(kù)通過(guò)指定字段進(jìn)行關(guān)聯(lián)的情況。

2、直接廢棄舊的系統(tǒng)，將舊系統(tǒng)的數(shù)據(jù)遷移到新系統(tǒng)，后續(xù)僅維護(hù)新系統(tǒng)。

本文主要總結(jié)分享比較場(chǎng)景的數(shù)據(jù)遷移場(chǎng)景，業(yè)務(wù)線合并，2個(gè)系統(tǒng)的用戶數(shù)據(jù)進(jìn)行關(guān)聯(lián)的場(chǎng)景。

測(cè)試分析

正式環(huán)境用戶數(shù)據(jù)分析

在進(jìn)行數(shù)據(jù)正式遷移之前，產(chǎn)品/開(kāi)發(fā)/測(cè)試均需要參與對(duì)線上已有的用戶數(shù)據(jù)進(jìn)行分析，分析線上大量用戶的數(shù)據(jù)特征，從而進(jìn)行歸納分類，對(duì)不同的分類數(shù)據(jù)進(jìn)行遷移策略設(shè)計(jì)。

以用戶賬號(hào)為例，可能存在：用戶使用手機(jī)號(hào)注冊(cè)、用戶未使用手機(jī)號(hào)注冊(cè)等情況，在進(jìn)行分析時(shí)需要考慮到對(duì)這兩種的用戶數(shù)據(jù)進(jìn)行遷移的策略。

假設(shè)遷移的目標(biāo)庫(kù)存在該用戶數(shù)據(jù)，則根據(jù)基礎(chǔ)信息以目標(biāo)庫(kù)為準(zhǔn)，并建立源庫(kù)和目標(biāo)庫(kù)的關(guān)聯(lián)關(guān)系。

假設(shè)遷移的目標(biāo)庫(kù)內(nèi)不存在該用戶數(shù)據(jù)，則直接將源庫(kù)的用戶信息同步在目標(biāo)庫(kù)內(nèi)進(jìn)行創(chuàng)建。

數(shù)據(jù)遷移測(cè)試分析

數(shù)據(jù)遷移目標(biāo)是什么

在進(jìn)行數(shù)據(jù)遷移測(cè)試之前，需要了解到對(duì)應(yīng)的遷移策略，了解兩個(gè)系統(tǒng)的數(shù)據(jù)如何關(guān)聯(lián)，以及對(duì)應(yīng)的目標(biāo)數(shù)據(jù)庫(kù)和源數(shù)據(jù)庫(kù)，通過(guò)兩個(gè)數(shù)據(jù)庫(kù)數(shù)據(jù)創(chuàng)建關(guān)聯(lián)：以源數(shù)據(jù)庫(kù)b為基礎(chǔ)在目標(biāo)數(shù)據(jù)庫(kù)a中創(chuàng)建關(guān)聯(lián)，且將b中的相同的基礎(chǔ)字段數(shù)據(jù)直接選擇性的覆蓋填充到目標(biāo)庫(kù)a中。

在遷移過(guò)程中，關(guān)聯(lián)數(shù)據(jù)部分基礎(chǔ)字段沖突的處理邏輯。

若兩個(gè)數(shù)據(jù)庫(kù)相同字段同時(shí)存在數(shù)據(jù)：

選擇行覆蓋：b內(nèi)的數(shù)據(jù)覆蓋a內(nèi)的數(shù)據(jù)；

選擇性丟棄：按照優(yōu)先級(jí)，直接丟棄b內(nèi)的數(shù)據(jù)，以a的數(shù)據(jù)為準(zhǔn)（或者丟棄a數(shù)據(jù)，以b數(shù)據(jù)為準(zhǔn)）。

源數(shù)據(jù)庫(kù)和目標(biāo)數(shù)據(jù)庫(kù)的同一個(gè)字段的規(guī)則差異。

除了數(shù)據(jù)兼容沖突兼容外，還需要考慮數(shù)據(jù)庫(kù)兼容，所謂的數(shù)據(jù)庫(kù)兼容就是字段的長(zhǎng)度、類型等。例如：

1、字段長(zhǎng)度限制。

2、字段區(qū)分大小寫(xiě)：例如：用戶郵箱，在源數(shù)據(jù)庫(kù)內(nèi)支持大小區(qū)分，但是在目標(biāo)庫(kù)內(nèi)不支持。

3、字段支持特殊字符：例如用戶昵稱在目標(biāo)數(shù)據(jù)庫(kù)內(nèi)不支持特殊字符，但是在源數(shù)據(jù)庫(kù)內(nèi)支持。

4、字段格式不合法：例如手機(jī)號(hào)格式、郵箱格式。

遷移方案

在評(píng)審階段，與開(kāi)發(fā)產(chǎn)品確認(rèn)對(duì)應(yīng)的遷移方案：

1、正式遷移時(shí)，是否需要停機(jī)。

2、評(píng)估遷移失敗產(chǎn)生的風(fēng)險(xiǎn)以及對(duì)應(yīng)的解決措施。

3、在測(cè)試階段進(jìn)行遷移：

a)是否允許針對(duì)指定的數(shù)據(jù)進(jìn)行遷移測(cè)試。

b)測(cè)試期間未停機(jī)導(dǎo)致的臟數(shù)據(jù)如何處理。

c)評(píng)估遷移失敗可能產(chǎn)生的風(fēng)險(xiǎn)，是否可進(jìn)行數(shù)據(jù)恢復(fù)。

4、遷移準(zhǔn)備：提前根據(jù)測(cè)試分析的各個(gè)遷移場(chǎng)景，準(zhǔn)備對(duì)應(yīng)的“待遷移”數(shù)據(jù)，數(shù)據(jù)要盡可能的模擬線上用戶真實(shí)數(shù)據(jù)。

遷移驗(yàn)收

數(shù)據(jù)遷移成功后驗(yàn)收，需要基于業(yè)務(wù)場(chǎng)景的角度進(jìn)行數(shù)據(jù)對(duì)應(yīng)的功能場(chǎng)景驗(yàn)收，必須要覆蓋「增」、「刪」、「改」、「查」。

【新增】：遷移后往新的數(shù)據(jù)庫(kù)內(nèi)添加數(shù)據(jù)后，在軟件內(nèi)訪問(wèn)個(gè)人中心查看用戶信息獲取正確。

【查詢】：對(duì)用戶的基本信息進(jìn)行遷移后，需要在軟件內(nèi)訪問(wèn)個(gè)人中心查看用戶的信息是否獲取成功，是否有異常報(bào)錯(cuò)。

【修改】：對(duì)用戶的基本信息進(jìn)行修改，修改后數(shù)據(jù)存儲(chǔ)成功，再次訪問(wèn)個(gè)人中心可展示最新的用戶數(shù)據(jù)。

【刪除】：刪除用戶數(shù)據(jù)后，該用戶無(wú)法訪問(wèn)。

發(fā)布留觀

由于遷移數(shù)據(jù)版本發(fā)布后，勢(shì)必會(huì)影響到用戶的數(shù)據(jù)，所以在分析階段對(duì)用戶可能出現(xiàn)的反饋制定出對(duì)應(yīng)的應(yīng)答策略，提前進(jìn)行人員分工。同時(shí)關(guān)注由于發(fā)布后的功能使用情況。

用戶反饋

發(fā)布后對(duì)用戶反饋及時(shí)響應(yīng)，快速定位用戶的數(shù)據(jù)出現(xiàn)變更是否由數(shù)據(jù)遷移引起，以及如何引導(dǎo)用戶正常繼續(xù)使用，提高用戶的滿意度。

留觀數(shù)據(jù)

重點(diǎn)梳理關(guān)于遷移數(shù)據(jù)涉及到的相關(guān)的核心接口數(shù)據(jù)，在發(fā)布后進(jìn)行定時(shí)監(jiān)測(cè)：

1、相關(guān)接口調(diào)用量：關(guān)注數(shù)據(jù)遷移后，接口的調(diào)用量是否暴漲。

2、相關(guān)接口錯(cuò)誤率：關(guān)注數(shù)據(jù)遷移后，接口的錯(cuò)誤率是否異常上漲。

3、相關(guān)接口告警率：關(guān)注數(shù)據(jù)遷移后，接口的告警率是否異常上漲。

小案例

以上是個(gè)人對(duì)于小部分?jǐn)?shù)據(jù)遷移測(cè)試后的總結(jié)反思。一個(gè)人必須不停地總結(jié)歸納，才能不被茫茫人海淹沒(méi)～

最后：在我的V ：atstudy-js，可以免費(fèi)領(lǐng)取一份10G軟件測(cè)試工程師面試寶典文檔資料。以及相對(duì)應(yīng)的視頻學(xué)習(xí)教程免費(fèi)分享！其中包括了有基礎(chǔ)知識(shí)、Linux必備、Shell、互聯(lián)網(wǎng)程序原理、Mysql數(shù)據(jù)庫(kù)、抓包工具專題、接口測(cè)試工具、測(cè)試進(jìn)階-Python編程、Web自動(dòng)化測(cè)試、APP自動(dòng)化測(cè)試、接口自動(dòng)化測(cè)試、測(cè)試高級(jí)持續(xù)集成、測(cè)試架構(gòu)開(kāi)發(fā)測(cè)試框架、性能測(cè)試、安全測(cè)試等。