固態(tài)存儲設備的容量正在飆升，32TB已成為常見規(guī)格，預計256TB型號將于明年初開始出貨。然而，所有這些容量增長也帶來了一個問題：在將驅動器投入運行之前進行測試所需的時間大幅增加。

現在，SanDisk公司已將一項可將預處理時間減少多達90%的技術開源。這種名為"SanDisk偽隨機"（SanDisk Pseudo-Random，簡稱SPRandom）的方法，將曾經的多階段流程壓縮為單次精心設計的寫入過程。

預處理是磁盤驅動器制造商和企業(yè)使用的標準程序，用于確保在實際穩(wěn)態(tài)使用中獲得可接受的性能。從歷史上看，該過程依賴于兩階段方法：首先在驅動器上進行完整的順序寫入，然后進行長時間的隨機寫入，以重新分配設備內的預留空間。第二階段迫使驅動器使用垃圾回收和內部數據移動，這會降低性能但反映了最壞情況的運行狀況。

瓶頸難題

傳統方法在SSD相對較小時運行良好，但SanDisk工程師表示，隨著容量激增，這種方法已開始失效。大于32TB的驅動器可能需要數天甚至數周才能達到穩(wěn)態(tài)，使預處理成為開發(fā)周期、資格認證時間表和客戶測試的主要拖累。

"每次運行-中斷-修復循環(huán)都需要預處理，"SanDisk企業(yè)SSD架構組的杰出工程師史蒂文·斯普勞斯說。"你可能只運行半小時的測試，但必須花費兩到三天時間對驅動器進行預處理。"

斯普勞斯開發(fā)的解決方案不是先順序寫入驅動器然后用隨機I/O進行沖擊，而是在重疊區(qū)域中寫入數據，故意在物理介質上創(chuàng)建"無效"數據。

該技術利用了SSD內部預留空間的工作方式。驅動器包含的物理閃存存儲多于向用戶公開的容量，額外容量保留用于后臺任務（如垃圾回收）。在穩(wěn)態(tài)運行中，隨著時間推移，這些預留空間會在物理塊之間不均勻分布。SPRandom通過寫入重疊范圍的邏輯塊地址來數學方式重建這種分布，從而在新數據寫入其他位置時使某些數據失效。

"重疊迫使驅動器使某些數據失效，"斯普勞斯解釋道。"這相當于將預留空間放入這些塊中。"

通過控制驅動器不同位置的重疊量，SPRandom可以近似傳統隨機預處理最終產生的相同內部狀態(tài)，但只需一小部分時間。根據SanDisk的數據，在32TB級驅動器上曾經需要超過160小時的過程現在可以在大約6小時內完成。

這種影響在測試和資格認證期間最為明顯，因為漫長的預處理周期會阻礙工程進度。SanDisk表示，工程師的目標是將運行-中斷-修復循環(huán)控制在一天之內，以便快速識別和解決問題。隨著容量的增加，這個目標已變得無法實現。

突破瓶頸

"如果某件事需要三天時間，你實際上就會延誤整個驅動器隊列的部署，"SanDisk企業(yè)SSD產品營銷負責人杰夫·福赫特曼說。

磁盤制造商通常不會在出貨前對每個驅動器進行預處理，因此客戶經常在部署前運行自己的預處理周期。在悲觀的最壞情況下測量性能可避免驅動器投入生產后出現意外情況。

SanDisk選擇將SPRandom作為開源發(fā)布，并將其直接集成到廣泛使用的Flexible I/O Tester基準測試工具中。福赫特曼表示，這一決定是由公司長期參與開放計算項目（OCP）和存儲網絡行業(yè)協會（SNIA）等行業(yè)生態(tài)系統推動的。

"OCP旨在讓所有船只一起上升，"他說。"因為這是一個適用于任何驅動器類型的通用解決方案，它似乎應該成為行業(yè)推進的一部分，而不是商業(yè)化方法。"

福赫特曼表示，開源許可還允許創(chuàng)新蓬勃發(fā)展。早期采用者已在探索如何將該方法從單個驅動器擴展到整個機架和存儲系統。

SanDisk高管表示，他們還預計開源將通過消除測試和部署的實際障礙來加速超大容量SSD的采用。隨著人工智能、分析和超大規(guī)模工作負載推動存儲容量增長，他們認為更快、更真實的預處理對供應商和客戶都有利。

"如果預處理和測試更大容量的驅動器變得更容易，"斯普勞斯說，"這將有助于我們和整個行業(yè)。"

Q&A

Q1：SanDisk偽隨機（SPRandom）技術是什么？

A：SPRandom是SanDisk公司開發(fā)的一項開源技術，用于加速超大容量SSD的預處理測試。它將傳統的多階段預處理流程壓縮為單次精心設計的寫入過程，通過在重疊區(qū)域寫入數據來故意創(chuàng)建"無效"數據，從而在物理介質上模擬穩(wěn)態(tài)運行狀態(tài)，可將預處理時間減少多達90%。

Q2：為什么超大容量SSD需要更快的預處理方法？

A：隨著SSD容量激增至32TB甚至更高，傳統預處理方法需要數天甚至數周才能完成，嚴重拖累了開發(fā)周期和測試進度。例如，在32TB級驅動器上傳統方法需要超過160小時，而使用SPRandom技術只需約6小時。這種瓶頸會延誤整個驅動器隊列的部署，影響工程師快速識別和解決問題的能力。

Q3：SanDisk為什么選擇將SPRandom技術開源？

A：SanDisk選擇開源是因為這是一個適用于任何驅動器類型的通用解決方案，符合開放計算項目（OCP）讓整個行業(yè)共同進步的理念。開源許可允許創(chuàng)新蓬勃發(fā)展，早期采用者已在探索如何將該方法擴展到整個機架和存儲系統。同時，開源有助于加速超大容量SSD的采用，消除測試和部署的實際障礙。