先進格式化硬碟

• 512e 模擬傳統格式硬碟
  由於傳統上硬碟一個磁區(sector)是 512 Byte ,這種傳統 512B sector 硬碟叫〝512n〞(512B native),故 BIOS,作業系統,工具程式等自古以來都〝以為〞硬碟一個磁區 512B 是定律,並以此來設計,所以激進的直接推出先進格式化硬碟一定會造成相容問題。
  
  變通的方法是,表面上假裝自己是 512 byte 磁區(Logical Sector)但骨子裡卻是 4k Sector (Physical Sector)的先進格式化硬碟來克服相容問題。此種〝 512 B 皮 4K 骨〞先進格式化的硬碟技術叫〝 512e〞或〝512 emulation〞也就是 512 Byte/Sector 模擬硬碟。
  
  目前(2014) 以後買的先進格式化硬碟為避免有相容問題大多數是 512e 硬碟。
  
  由於 OS / filesystem 把 AF 512e 當傳統硬碟,故以下圖為例,如 OS/filesystem 只要讀 Logical Block #5 實際上 AF 512e 硬碟內部會讀整個 4K 的 Physical Sector,但只取相對應 Logical Block #5 部分,其餘丟掉 。
  
  
  寫的部分比較複雜些,且 filesystem 規劃不良時會影響效能,尤甚是修改檔案。修改檔案動作為先讀後寫(Read-Modify-Write),以一樣只修改 Logical Block #5 為例,讀同上,但寫入時只改變 Logical Block #5 其餘( Logical Block #0/1/2/3/4/6/7)保留,再把整個 4K 的 Physical Sector 寫入,因需如上額外的計算所以有點影響到 512e 硬碟的速度,但只要把 block 設為 4K 的倍數和 partition 對齊就可解決此問題。
  

  ^ back on top ^

• 4Kn 原生 4K 磁區硬碟
  〝4Kn 〞為 4K native 的縮寫,為原生 4K sector 先進格式化硬碟。不再像 512e 還要模擬 512 Byte/Sector 的傳統硬碟。
  
  但原生 4Kn 硬碟可能會碰到許多舊的 OS 和 BIOS 相容問題(尤甚當開機碟) [註 1.0],OS /主機版隨著時代的更新,不相容問題應會慢慢解決,過渡期的 512e 未來就不再需要,故原生 4Kn 硬碟應會慢慢普及。
  
  Last updated : July 12 2021
  部份硬碟廠商,為避免相容問題,同時有 512n、512e 、或 4Kn 的產品選擇,下圖為某硬碟廠的產品目錄:
  
  
  <圖片來源:Toshiba>
  
  
  
• 先進格式化硬碟的 partition 對齊
  由於目前買得到的先進格式化硬碟幾乎都是 512e,而 partition 沒對齊先進格式化硬碟 sector 引起硬碟效能下降問題也只發生在 AF 512e 的硬碟。罪魁禍首就是 512e 為了相容而把 4K Physical Sector 的先進格式化硬碟回報為傳統 512Byte/Sector 硬碟。還好此為了容量而犧牲效能的必要之惡可透過調整 partition 的起始點來解決。
  
  回到事件惡夢的開始,為什原本我的 Windows 7 在 512 磁區(sector)的傳統硬碟用 GHOST 複製到先進格式化的新硬碟會變龜速?? 原因是當 partition 的起始點若沒落在先進格式化硬碟 4K-Physical Sector 的起始點會嚴重拖累硬碟速度,如是 SSD 硬碟還會影響壽命。
  
  假設 Windows 的 filesystem NTFS 的 block 設為 4K,表面上符合先進格式化硬碟一個 sector =4K 應很完美吧?但如下圖如果此 4K block 剛好落在兩個 Physical Sector 間就會發生未對齊( mis-aligned 或叫 unaligned )情形。
  
  此時讀的時候要讀起二個 Physical Sector 才能得到想要的資料,而修改資料的讀後再寫要讀/寫各兩個 Physical Sector,這還只是讀/寫一個 block 的情形,實際應用每個檔案都是無數的 block 組成故對硬碟速度產生劇烈的影響, 變慢就算了最糟糕的情形是如果此 AF 512e 硬碟是 SSD,因 NAND-FLASH 寫入的次數有一定的天命,更會使 SSD 固態硬碟提早陣亡。
  
  下圖為 partition 未對齊 AF 硬碟時執行寫入的動作對不同的 filesystem 的效能比對,皆會不同程度的拖累硬碟速度 。
  
  
  1.00 means no penalty; higher values mean worse performance
  
  (資料來源 IBM :http://www.ibm.com/developerworks/library/l-4kb-sector-disks/ )
  
  如果規劃 partition 時每一 partition 的 Sector 起始點設為 8 的倍數 (4K/512 byte=8) 再 offset 硬碟所提供的位移值(alignment_offset )就會使 partition 對齊,如下圖就不會有每讀/寫一個 4K 的資料要動到二個 Physical Sector 情形。
  
  
  

  ^ back on top ^

• 識別先進格式化硬碟
  我怎知我的硬碟是先進格式化硬碟呢?最簡單的方法當然去硬碟的官網查一下規格,再不然看一下硬碟上面的標籤如果有如下圖示就是先進格式化硬碟(有些先進格式化硬碟不一定有如下標籤)。
  
  

  Advanced Format (512 e)	Advanced Format (4K native )

  
  如不想拆 PC 看硬碟而 Linux kernel 版本大於 v2.6.31 ,可用 parted DEVICE print 查看。
  
  例:

  # parted /dev/sdb print Model:ATA TOSHIBA DT01ACA0 (scsi) Disk /dev/sdb: 976773168s Sector size (logical/physical): 512B/4096B ←此行可識別是否為先進格式化硬碟

  
  上例中根據〝 logical/physical 〞 的輸出即可輕易識別是否為 Advnaced Fomrat 硬碟,可能的情形如下:
  
  

  logical/physical: 512B/512B	傳統 512n (512B 磁區)硬碟
  logical/physical: 512B/4096B	先進格式化 512e 硬碟
  logical/physica: 4096B/4096B	先進格式化 4Kn 硬碟

  
  特別注意 Linux Kernel 版本 v2.6.31 且 parted 版本 2.1 以上才能正確識別先進格式化硬碟,且硬碟不能透過橋接 (如 SATA 轉 USB 或其他轉換)才能正確識別。

^ back on top ^

• parted 自動對齊分割
  如 Linux Kernel (v2.6.31 以上)和 parted (v2.1)有支援先進格式化硬碟,會自動對齊 partition ,且 partition 分割不當沒對齊還會有警告。
  
  下面的例子為用 CentOS 6.6 來完成,此 Linux 發行版完全支援先進格式化硬碟 。
  
  如下例當規劃一個 partition,如偵測到沒對齊 AF 硬碟的 Physical Sector會有警告。
  
  例:

  # parted /dev/sdb mkpart p1 777s 100000s Warning: The resulting partition is not properly aligned for best performance. Ignor/Cancel?

  
  有支援 AF 硬碟的 parted 會自動對齊 partition 只要直接用容量或 % 來分割即可。
  
  例:

  # parted /dev/sdb mklabel gpt ←設分割表為 GPT # parted /dev/sdb mkpart p1 0% 100G ←第一個 partition 為 100G # parted /dev/sdb mkpart p2 100G 300G ←第二個 partition 為 200G (從 100G-300G) # parted /dev/sdb mkpart p3 300G 100% ←第三個 partition 為 300G 到最後 # parted /dev/sdb unit s print ←檢查一下起始 sector Model: ATA TOSHIBA DT01ACA0 (scsi) Disk /dev/sdb: 976773168s Sector size (logical/physical): 512B/4096B ←可正確識別先進格式化硬碟 Partition Table: gpt Number  Start       End         Size        Type  File system  Name Flags 1       2048s       195311615s  195309568s                     p1 2       195311616s  585936895s  390625280s                     p2 3       585936896s  976773119s  390836224s                     p3

  
  下例用百分比來分割 。
  例:

  # parted /dev/sdb mklabel loop ←把 partition 都清空 # parted /dev/sdb mklabel gpt ←設分割表為 GPT # parted /dev/sdb mkpart p1 0% 30% ←整個硬碟的 30% 分割為第一個 partition # parted /dev/sdb mkpart p2 30% 100% ←整個硬碟的後 70% 分割為第二個 partition

  
  如想更了解 parted 對齊的規則/原理可參考如下額外的說明(如不想花時間了解原理,下面內容可略)。
  
  Linux Kernel (v2.6.31 以上) 會拫據硬碟提供的資訊來供 parted 或 RAID/ LVM 來當 partition 對齊的參考和依據,這些資訊放在目錄〝/sys/block/<disk>/queue/〞和〝/sys/block/<disk>/〞。
  
  此目錄內主要的檔案如下:
  • alignment_offset:
    硬碟必需的對齊位移值(單位為 Byte)。
    (檔案在〝/sys/block/<disk>/alignment_offset〞)
    
    
  • logical_block_size
    除 4Kn 的硬碟為 4096 外一般為 512 (Byte)。
    (檔案在〝/sys/block/<disk>/queue/logical_block_size〞 )
    
    
  • physical_block_size
    傳統硬碟一般為 512 ,先進格式化硬碟大多為 4096 (Byte)。
    (檔案在〝/sys/block/<disk>/queue/physicall_block_size〞 )
    
    
  • minimum_io_size
    不影響硬碟效能最小的檔案,一般就是 Physical block 的大小,而 filesystem block 大小或 LVM 的 stripe-size 或 RAID 的 chunk size 最好為此大小的倍數才有最佳的效率。
    (檔案在〝/sys/block/<disk>/queue/minimum_io_size〞 )
    
    
  • optimal_io_size
    連續 I/O (大檔案)最佳大小,如果內容為 0,表示硬碟沒提供此參數(大部分不提供)。
    (檔案在〝/sys/block/<disk>/queue/ optimal_io_size〞 )
    
  例:

  # cat /sys/block/sdb/alignment_offset ←查詢硬碟〝/dev/sdb〞的對齊位移值。 0 # cat /sys/block/sdb/queue/minimum_io_size ←查硬碟提供的不影響效能最小的檔案大小 4096

  
  也可要求 parted 根據硬碟所提供的 optimal_io_size 或 minimum_io_size 來對齊,用法為 parted -a [optimal|minimal] DEVICE(〝optimal〞會參考 optimal_io_size 而〝minimal〞參考 minimum_io_size)。
  
  一般來說用 parted -a minimal DEVICE 較適合硬碟內小於 4k 的檔案比較多或要求浪費的空間較少(如 SSD 對硬碟空間錙銖),而 parted -a optimal DEVICE 用較適合硬碟內大檔案較多(此為預設值)。如沒任何概念建議就用〝optimal〞因和 Windows 規劃 AF 硬碟方式類似但會比較浪費硬碟空間(此時第一個 partition 從 2048 sector 開始,會浪費 1MiB 左右的空間,Microsoft 叫〝 1MiB alignment boundary〞)。
  
  例:

  # parted -a optimal /dev/sdb mkpart p1 0% 40% ←參考〝optimal_io_size〞來對齊

  
  也可用 parted DEVICE align-check [optimal|minimal] PARTITION # 來檢查規劃的 partition 對齊時是否符合硬碟所提供的 optimal_io_size 或 minimum_io_size。
  
  例:

  # parted /dev/sdb align-check optimal 2 ←檢查 partition 2 是否符合〝optimal〞對齊

  
  因不是每個硬碟都會提供硬碟資訊(或僅部分)供 parted 作對齊參考,有時可能會不管怎麼用都會出現〝The resulting partition is not properly aligned for best performance〞警告,遇到這種情形或不想 parted 的黑箱作業就手動對齊吧![註 1.1]
  

  ^ back on top ^

• 手動 parted 對齊分割
  手動對齊為用人工計算來讓 partition 對齊先進格式化硬碟的 4k physical sector, 個人是習慣把單位都轉為 sector 。
  
  網路上有許多似是而非的文章說: 「partition 起始 sector 只要是 8 的倍數就會對齊先進格式化硬碟...」圇吞棗亂抄一通是不正確的!因都沒考慮到 alignment_offset 。(雖大部分先進格式化硬碟的 aligment_offset= 0,但並非絶對 )
  
  由於傳統硬碟 8 個 sector 等於先進格式化硬碟一個 sector,所以手動設定 partition 起始 sector 要是 8 的倍數但還要加上 alignment_offset/512(除 512 為把 byte 轉 sector)此時 partition 基本上就對齊先進格式化硬碟了。
  
  步驟如下:(Kernel 版本要 v2.6.31 以上 且 parted 版本也要 v2.1 以上才可正確執行)
  
  1. 第一步驟是詢問硬碟的〝alignment_offset〞。
     
     例:

     # cat /sys/block/sdb/alignment_offset ←查詢硬碟〝/dev/sdb〞的對齊位移值。 3584

     
     上例中我的 2.5" Seagate〝ST9640322AS〞AF 硬碟 alignment_offset=3584 (byte),也就是 7 個 sector (3584/512=7)。
     
     
  2. 第二步驟是分割 partition 時起始 sector 最好從 2048 sector 開始且要為 8 的倍數然後 + alignment_offset/512 (除 512 為把 byte 轉 sector)。
     
     為什麼起始 sector 最好從 2048 開始? 除 2048 可被八整除外另原因為因 Windows vista 以後的版本遇到先進格式化硬碟,第一個 partition 的 sector 是從 2048 開始,Microsoft 叫〝 1MiB alignment boundary〞(,因 2048 sector x 512B=1MiB), Microsoft 有說明此目的[註 1.1a],各大硬碟製造商知道微軟有此〝癖好〞會最佳化自家的硬碟第一個 partition 從 2048 sector + aligment_offset /512 起始保證有最好的效率,包括 SSD 也是, 蕭規曹隨吧!
     
     另外如是 MBR, Microsoft 會在硬碟最後也保留 1MiB 的空間偷偷放自家的 Dynamic Disk Metadata ( (動態磁碟中介資料), 故如 partition 要規劃給 Windows 使用記得預留此空間, Microsoft 的 partition 規劃建議圖如下。
     
     
     例:

     # parted /dev/sdb unit s print free ←列出硬碟共多少sector(得知硬碟容量用) Model:ATA ST9640322A (scsi) Disk /dev/sdB: 1250263728S ←此硬碟容量為 1250263728(sector) x 512(Byte)=640MB (以下略) # parted /dev/sdb mklabel loop ←清空硬碟〝/dev/sdb〞的所有 partition(重分割用) # parted /dev/sdb mklabel gpt ←設硬碟分割表為〝gpt〞 # parted /dev/sdb mkpart p1 2055s 838860793s ←分割第一個 partition 起始 sector=2055 ,此 partition 大小為 400MB [(838860793s-2055s) x 512b] # parted /dev/sdb mkpart p2 838862855s 100% ←再分割一 partition,起始 sector=838862855 到最後

     
     上例中第一個 partition 的 sector 也從 2048 開始, 2048 再加上 aligment_offset /512 =2055。
     
     第二個 partition 找一個沒用到的 sector 但要是 8 倍數的 + aligment_offset/512 (轉為 sector)當起始。如要再分割更多的 partition 原理是一樣。
     
     最後在最後的 partiton 的結束位置直接輸入 100% 即可,Parted 會自動判斷如規劃的為 GPT 會自動預留 Backup GPT 的空間,如規劃的為 MBR 且要給 Windows 使用則不可輸入 100% 而要手動計算此 partition 結束的 sector 至少要留 2048 sector (1MiB)未使用的空間給 Dynamic Metadata。
     
     
  3. 最後可用 print 混用不同單位來驗証一下剛才的分割情形 。
     
     例:

     # parted /dev/sdb unit GB print ←單位為 GB 驗証 partition 容量是否正碓 # parted /dev/sdb unit s print ←單位為 sector 看有無對齊(起始 sector 要為八的倍數+ aligment_offset /512 ) # parted /dev/sdb unit s print free ←看有無空間沒分割到

     
     
  4. 如不放心.用 align-check [optimal|minimal]| 檢查看 partition 有無對齊 AF 硬碟 。
     
     例:

     # parted /dev/sdb align-check optimal 1 ←檢查 partition 1 是否對齊 AF 硬碟 1 aligned # parted /dev/sdb align-check optimal 2 ←檢查 partition 2 對齊否 2 aligned

     
     
     

     ^ back on top ^

• 用 Windows 分割 partition
  Windows vista 以上的版本,如碰到先進格式化硬碟,分割 partition 時會自動對齊先進格式化硬碟的 Physical Sector ,如果 Linux 的 kernal 版本太舊或 Windows XP 使用者可利用 Windows vista 以上版本的 Windows 來分割 partition 後拿到 Linux/Windows XP 使用。
  
  Windows vista 以上的版本雖有支援先進格式化硬碟且分割 partition  時會自動對齊先進格式化硬碟的 4k physical sector,但部分工具軟體則不一定 (如 GHOST),故千萬不要用〝鬼軟體〞 從傳統硬碟複製 partition 到先進格式化硬碟 ,因 partition 可能沒對齊 4k physical sector,硬碟會慢的像蝸牛,如是 SSD 更慘!還會加速磨損 NAND-Flash 壽命(商業軟體〝Acronis True Image〞有支援複製硬碟時 partition 會對齊先進格式化硬碟的 4k physical sector)。
  
  

^ back on top ^