ในบทความนี้ทดสอบการเพิ่มดิสก์ก้อนใหม่ 1 ก้อน บน Solaris 10 (x86)

ใช้คำสั่ง format เพื่อดูว่า Solaris มองเห็นดิสก์อะไรบ้าง

# format
Searching for disks...done

AVAILABLE DISK SELECTIONS:
       0. c1t0d0 <DEFAULT cyl 4866 alt 2 hd 255 sec 63>
          /pci@0,0/pci1000,30@10/sd@0,0
       1. c1t1d0 <DEFAULT cyl 4867 alt 2 hd 255 sec 63>
          /pci@0,0/pci1000,30@10/sd@1,0
Specify disk (enter its number):

ดิสก์ก้อนใหม่ที่เพิ่มเข้ามาคือดิสก์หมายเลข 1 “c1t1d0″

พิมพ์หมายเลขของดิสก์แล้วกด [Enter] เพื่อเข้าสู่โหมดจัดการของดิสก์ก้อนที่ระบุ

Specify disk (enter its number): 1
selecting c1t1d0
[disk formatted]

FORMAT MENU:
        disk       - select a disk
        type       - select (define) a disk type
        partition  - select (define) a partition table
        current    - describe the current disk
        format     - format and analyze the disk
        fdisk      - run the fdisk program
        repair     - repair a defective sector
        label      - write label to the disk
        analyze    - surface analysis
        defect     - defect list management
        backup     - search for backup labels
        verify     - read and display labels
        save       - save new disk/partition definitions
        inquiry    - show vendor, product and revision
        volname    - set 8-character volume name
        !<cmd>     - execute <cmd>, then return
        quit

พิมพ์คำสั่ง partition เพื่อเข้าสู่โหมดการแบ่ง partition

format> partition
WARNING - This disk may be in use by an application that has
          modified the fdisk table. Ensure that this disk is
          not currently in use before proceeding to use fdisk.

หากเจอข้อความ WARNING แบบด้านบน ให้พิมพ์คำสั่ง fdisk เพื่อแก้ไข

format> fdisk
No fdisk table exists. The default partition for the disk is:

  a 100% "SOLARIS System" partition

Type "y" to accept the default partition,  otherwise type "n" to edit the
 partition table.
y
format>

พิมพ์คำสั่ง partition อีกครั้ง

format> partition

PARTITION MENU:
        0      - change `0' partition
        1      - change `1' partition
        2      - change `2' partition
        3      - change `3' partition
        4      - change `4' partition
        5      - change `5' partition
        6      - change `6' partition
        7      - change `7' partition
        select - select a predefined table
        modify - modify a predefined partition table
        name   - name the current table
        print  - display the current table
        label  - write partition map and label to the disk
        !<cmd> - execute <cmd>, then return
        quit
partition>

พิมพ์คำสั่ง print เพื่อแสดงการแบ่ง partition

partition> print
Current partition table (original):
Total disk cylinders available: 4866 + 2 (reserved cylinders)

Part      Tag    Flag     Cylinders        Size            Blocks
  0 unassigned    wm       0               0         (0/0/0)           0
  1 unassigned    wm       0               0         (0/0/0)           0
  2     backup    wu       0 - 4865       37.28GB    (4866/0/0) 78172290
  3 unassigned    wm       0               0         (0/0/0)           0
  4 unassigned    wm       0               0         (0/0/0)           0
  5 unassigned    wm       0               0         (0/0/0)           0
  6 unassigned    wm       0               0         (0/0/0)           0
  7 unassigned    wm       0               0         (0/0/0)           0
  8       boot    wu       0 -    0        7.84MB    (1/0/0)       16065
  9 unassigned    wm       0               0         (0/0/0)           0

partition>

เริ่มต้น ทดลองสร้าง partition 0 มีขนาด 10 GB

partition> 0
Part      Tag    Flag     Cylinders        Size            Blocks
  0 unassigned    wm       0               0         (0/0/0)           0

Enter partition id tag[unassigned]:
Enter partition permission flags[wm]:
Enter new starting cyl[0]:
Enter partition size[0b, 0c, 0e, 0.00mb, 0.00gb]: 10gb

ใช้คำสั่ง print เพื่อแสดง partition

partition> print
Current partition table (unnamed):
Total disk cylinders available: 4866 + 2 (reserved cylinders)

Part      Tag    Flag     Cylinders        Size            Blocks
  0 unassigned    wm       0 - 1305       10.00GB    (1306/0/0) 20980890
  1 unassigned    wm       0               0         (0/0/0)           0
  2     backup    wu       0 - 4865       37.28GB    (4866/0/0) 78172290
  3 unassigned    wm       0               0         (0/0/0)           0
  4 unassigned    wm       0               0         (0/0/0)           0
  5 unassigned    wm       0               0         (0/0/0)           0
  6 unassigned    wm       0               0         (0/0/0)           0
  7 unassigned    wm       0               0         (0/0/0)           0
  8       boot    wu       0 -    0        7.84MB    (1/0/0)       16065
  9 unassigned    wm       0               0         (0/0/0)           0

หลังจากแก้ไข partition พิมพ์คำสั่ง label เพื่อบันทึกข้อมูลลงดิสก์

partition> label
Ready to label disk, continue? y

partition> ^D

กดปุ่ม [Ctrl]+[D] เพื่อออกจากคำสั่ง format

ใช้คำสั่ง newfs เพื่อสร้าง filesystem บน partition ที่เพิ่งสร้างขึ้น

หมายเหตุ ชื่อไฟล์ device ของดิสก์ c1t1d0 – partition 0 คือ /dev/rdsk/c1t1d0s0

# newfs /dev/rdsk/c1t1d0s0
newfs: construct a new file system /dev/rdsk/c1t1d0s0: (y/n)? y
Warning: 870 sector(s) in last cylinder unallocated
/dev/rdsk/c1t1d0s0:     20980890 sectors in 3415 cylinders of 48 tracks, 128 sectors
        10244.6MB in 214 cyl groups (16 c/g, 48.00MB/g, 5824 i/g)
super-block backups (for fsck -F ufs -o b=#) at:
 32, 98464, 196896, 295328, 393760, 492192, 590624, 689056, 787488, 885920,
 20055584, 20154016, 20252448, 20350880, 20449312, 20547744, 20646176,
 20744608, 20843040, 20941472

แนะนำให้ใช้คำสั่ง fsck เพื่อตรวจสอบความถูกต้องของ filesystem ที่สร้างขึ้น ต้องไม่มีข้อความ error ใดๆ

# fsck -y /dev/rdsk/c1t1d0s0
** /dev/rdsk/c1t1d0s0
** Last Mounted on
** Phase 1 - Check Blocks and Sizes
** Phase 2 - Check Pathnames
** Phase 3a - Check Connectivity
** Phase 3b - Verify Shadows/ACLs
** Phase 4 - Check Reference Counts
** Phase 5 - Check Cylinder Groups
2 files, 9 used, 10331200 free (16 frags, 1291398 blocks, 0.0% fragmentation)

สร้าง mount point สำหรับ partition ใหม่

# mkdir /mnt/new-disk0
# mount /dev/rdsk/c1t1d0s0 /mnt/new-disk0
mount: /dev/rdsk/c1t1d0s0 not a block device

สำหรับ Solaris เวลาใช้คำสั่ง newfs หรือ fsck ชื่อ device ที่ระบุคือ /dev/rdsk/… แต่เวลาใช้คำสั่ง mount ต้องระบุชื่อ device เป็น /dev/dsk/…

# mount /dev/dsk/c1t1d0s0 /mnt/new-disk0

ใช้คำสั่ง df เพื่อตรวจสอบ mount point

# df -h
Filesystem             size   used  avail capacity  Mounted on
/dev/dsk/c1t0d0s0       34G   3.7G    30G    11%    /
/devices                 0K     0K     0K     0%    /devices
ctfs                     0K     0K     0K     0%    /system/contract
proc                     0K     0K     0K     0%    /proc
mnttab                   0K     0K     0K     0%    /etc/mnttab
swap                   1.6G   932K   1.6G     1%    /etc/svc/volatile
objfs                    0K     0K     0K     0%    /system/object
sharefs                  0K     0K     0K     0%    /etc/dfs/sharetab
/usr/lib/libc/libc_hwcap1.so.1
                        34G   3.7G    30G    11%    /lib/libc.so.1
fd                       0K     0K     0K     0%    /dev/fd
swap                   1.6G     8K   1.6G     1%    /tmp
swap                   1.6G    20K   1.6G     1%    /var/run
/dev/dsk/c1t0d0s7      1.9G   210M   1.6G    12%    /export/home
/dev/dsk/c1t1d0s0      9.9G    10M   9.7G     1%    /mnt/new-disk0

หากใช้งาน partition ใหม่ได้ถูกต้องเรียบร้อยแล้ว ต้องเพิ่มคอนฟิกเข้าไปในไฟล์ /etc/vfstab เพื่อให้เวลาบู๊ตเครื่องใหม่ มีการ mount partition ใหม่นี้โดยอัตโมมัติ

# cat /etc/vfstab
#device         device          mount           FS      fsck    mount   mount
#to mount       to fsck         point           type    pass    at boot options
#
fd      -       /dev/fd fd      -       no      -
/proc   -       /proc   proc    -       no      -
/dev/dsk/c1t0d0s1       -       -       swap    -       no      -
/dev/dsk/c1t0d0s0       /dev/rdsk/c1t0d0s0      /       ufs     1       no      -
/dev/dsk/c1t0d0s7       /dev/rdsk/c1t0d0s7      /export/home    ufs     2       yes     -
/devices        -       /devices        devfs   -       no      -
sharefs -       /etc/dfs/sharetab       sharefs -       no      -
ctfs    -       /system/contract        ctfs    -       no      -
objfs   -       /system/object  objfs   -       no      -
swap    -       /tmp    tmpfs   -       yes     -
# new disk
/dev/dsk/c1t1d0s0       /dev/rdsk/c1t1d0s0      /mnt/new-disk0  ufs     2       yes     -

ดังนั้นขณะที่เครื่องที่ 1 (centos54-a) ทำหน้าที่เป็น primary ของดิสก์ drbd0 อยู่  เครื่องที่ 2 (centos54-b) จะไม่สามารถ mount ดิสก์ drbd0 นี้ขึ้นมาใช้งานได้

ในบทความนี้จะแสดงการทดสอบใช้คำสั่งเพื่อเปลี่ยนโหมด Primary, Secondary ระหว่างเครื่องทั้งสอง

ตรวจสอบสถานะบนเครื่อง centos54-a

[root@centos54-a ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs         ro                 ds                 p  mounted  fstype
0:r0   Connected  Primary/Secondary  UpToDate/UpToDate  C  /export  ext3

[root@centos54-a ~]# df -h /export
Filesystem            Size  Used Avail Use% Mounted on
/dev/drbd0            950M   18M  885M   2% /export

ทดสอบ mount ดิสก์บนเครื่อง centos54-b

[root@centos54-b ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs         ro                 ds                 p  mounted  fstype
0:r0   Connected  Secondary/Primary  UpToDate/UpToDate  C

[root@centos54-b ~]# mount /dev/drbd0 /export
mount: block device /dev/drbd0 is write-protected, mounting read-only
mount: Wrong medium type

ในกรณีที่ต้องการเปลี่ยนให้เครื่องที่ 2 (centos54-b) ทำหน้าที่เป็น primary  เช่นในกรณีที่ต้องการซ่อมบำรุงเครื่องที่ 1 สามารถทำได้ดังนี้

บนเครื่องที่ 1 ปิดเซอร์วิส DRBD

[root@centos54-a ~]# service drbd stop
Stopping all DRBD resources:
.
[root@centos54-a ~]# service drbd status
drbd not loaded

ตรวจสอบสถานะบนเครื่องที่ 2 หลังจากปิดเซอร์วิสบนเครื่องที่ 1

[root@centos54-b ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs            ro                 ds                 p  mounted  fstype
0:r0   WFConnection  Secondary/Unknown  UpToDate/DUnknown  C

แม้เครื่อง Primary ปิดไปแล้ว บนเครื่องที่ 2 ที่ยังอยู่ในโหมด Secondary ก็ยัง mount ดิสก์ ไม่ได้

[root@centos54-b ~]# mount /dev/drbd0 /export
mount: block device /dev/drbd0 is write-protected, mounting read-only
mount: Wrong medium type

ต้องเปลี่ยนสถานะบนเครื่องที่ 2 ให้เป็น primary ด้วยคำสั่ง drbdadm primary

[root@centos54-b ~]# drbdadm primary all

ตรวจสอบสถานะบนเครื่องที่ 2

[root@centos54-b ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs            ro               ds                 p  mounted  fstype
0:r0   WFConnection  Primary/Unknown  UpToDate/DUnknown  C

เมื่ออยู่ในโหมด primary แล้ว ก็สามารถ mount ดิสก์ขึ้นมาใช้งานได้

[root@centos54-b ~]# mount /dev/drbd0 /export
[root@centos54-b ~]# df -h /export
Filesystem            Size  Used Avail Use% Mounted on
/dev/drbd0            950M   18M  885M   2% /export

ทดลองสร้างไฟล์ในดิสก์ drbd0

[root@centos54-b ~]# cd /export/
[root@centos54-b export]# ls
lost+found
[root@centos54-b export]# echo "hello world from node 2" > test-file-on-node-2.txt
[root@centos54-b export]# ls -l
total 20
drwx------ 2 root root 16384 Feb  6 15:46 lost+found
-rw-r--r-- 1 root root    24 Feb  6 17:17 test-file-on-node-2.txt

รันเซอร์วิส DRBD บนเครื่องที่ 1 ขึ้นมาอีกครั้ง ตอนนี้เครื่องที่ 1 จะทำหน้าที่เป็น Secondary และจะทำการ replicate ข้อมูลมาจากเครื่องที่ 2 (Primary) โดยอัตโนมัติ

[root@centos54-a ~]# service drbd start
Starting DRBD resources: [ d(r0) s(r0) n(r0) ].

[root@centos54-a ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs         ro                 ds                 p  mounted  fstype
0:r0   Connected  Secondary/Primary  UpToDate/UpToDate  C

บนเครื่องที่ 2 เปลี่ยนให้เป็นโหมด Secondary

[root@centos54-b ~]# drbdadm secondary all
0: State change failed: (-12) Device is held open by someone
Command 'drbdsetup 0 secondary' terminated with exit code 11

หากมีการเรียกใช้ดิสก์ drbd อยู่ จะไม่สามารถเปลี่ยนโหมดจาก Primary ไปเป็น Secondary ได้ ต้อง umount ดิสก์ออกไปก่อนถึงจะเปลี่ยนโหมดได้

[root@centos54-b ~]# umount /export
[root@centos54-b ~]# drbdadm secondary all

ตรวจสอบสถานะบนเครื่องที่ 2

[root@centos54-b ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs         ro                   ds                 p  mounted  fstype
0:r0   Connected  Secondary/Secondary  UpToDate/UpToDate  C

เปลี่ยนโหมดบนเครื่องที่ 1 ให้เป็น Primary เพื่อเรียกใช้ดิสก์ได้

[root@centos54-a ~]# drbdadm primary all
[root@centos54-a ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs         ro                 ds                 p  mounted  fstype
0:r0   Connected  Primary/Secondary  UpToDate/UpToDate  C

mount ดิสก์ และตรวจสอบไฟล์ที่อยู่ใน drbd0 จะเห็นไฟล์ที่สร้างจากเครื่องที่ 2

[root@centos54-a ~]# mount /dev/drbd0 /export
[root@centos54-a ~]# cd /export/
[root@centos54-a export]# ls -l
total 20
drwx------ 2 root root 16384 Feb  6 15:46 lost+found
-rw-r--r-- 1 root root    24 Feb  6 17:17 test-file-on-node-2.txt
[root@centos54-a export]# cat test-file-on-node-2.txt
hello world from node 2

ตรวจสอบไฟล์ /var/log/messages

เมื่อมีปัญหาเกี่ยวกับการใช้ DBRD นอกจากการใช้คำสั่ง service เพื่อตรวจสอบสถานะแล้ว ไฟล์ /var/log/messages จะแสดงการเปลี่ยนแปลงทั้งหมดของ DRBD ที่เกิดขึ้น ซึ่งสามารถนำมาใช้ช่วยในการแก้ปัญหาได้

ตัวอย่างข้อความในไฟล์ /var/log/messages ที่เกิดขึ้น เมื่อมีการเปลี่ยนโหมด

[root@centos54-a ~]# tail /var/log/messages
...
Feb  6 17:19:38 centos54-a kernel: block drbd0: peer( Primary -> Secondary )
Feb  6 17:21:04 centos54-a kernel: block drbd0: role( Secondary -> Primary )
...

ข้อมูลอ้างอิง

• ติดตั้งและคอนฟิก DRBD

เมื่อมีการเปลี่ยนแปลงข้อมูลที่อยูในดิสก์เครื่องหนึ่ง (primary) การเปลี่ยนแปลงนั้นจะถูก replicate ไปยังอีกเครื่อง (secondary) โดยอัตโนมัติ

DRBD ประกอบด้วยสองส่วนคือ

1. Kernel module – DRBD ทำหน้าที่ใน kernel โดยจะสร้าง virtual block device คั่นกลางระหว่าง physical disk กับ filesystem ที่สร้างอยู่ ไม่ว่าจะเป็น ext3, ext4, xfs
2. User space administration tools – เป็นโปรแกรมที่ช่วยในการจัดการ DRBD ได้ง่ายขึ้น หลักๆ จะเป็น drbdadm

ในบทความนี้จะแสดงการติดตั้งโปรแกรม DRBD และคอนฟิกเป็นแบบ Single-primary mode คือ ณ เวลาใดเวลาหนึ่ง มีเครื่องเดียวเท่านั้นที่สามารถ อ่าน เขียน ข้อมูลได้

คำเตือน ติดตั้งและคอนฟิก DRBD บนเครื่องทดสอบให้เข้าใจก่อน เพราะบางคำสั่งอาจกระทบข้อมูลดิสก์หรือ partition ที่มีอยู่ในเครื่องได้ ทำให้ข้อมูลเสียหายได้

ระบบสำหรับการทดสอบ

ในที่นี้จะติดตั้ง CentOS 5.4 พร้อมคอนฟิกให้สองเครื่องติดต่อ ping กันได้ และปิดคุณสมบัติ firewall ทั้งหมด

เครื่องที่ 1

• Hostname:   centos54-a.spalinux.com
• IP Address: 10.3.3.51

เครื่องที่ 2

• Hostname:   centos54-b.spalinux.com
• IP Address: 10.3.3.52

แก้ไขไฟล์ /etc/hosts เพื่อให้ทั้งสองเครื่องอ้างอิงจากชื่อเครื่องได้

ตัวอย่างคอนฟิกของเครื่องที่ 1

[root@centos54-a ~]# hostname
centos54-a.spalinux.com

[root@centos54-a ~]# cat /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1       localhost.localdomain localhost
::1             localhost6.localdomain6 localhost6

10.3.3.51       centos54-a centos54-a.spalinux.com
10.3.3.52       centos54-b centos54-b.spalinux.com

ตัวอย่างคอนฟิกของเครื่องที่ 2

[root@centos54-b ~]# hostname
centos54-b.spalinux.com

[root@centos54-b ~]# cat /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1       localhost.localdomain localhost
::1             localhost6.localdomain6 localhost6

10.3.3.51       centos54-a centos54-a.spalinux.com
10.3.3.52       centos54-b centos54-b.spalinux.com

ทั้งสองเครื่อง ต้องสร้าง partition สำหรับใช้เป็นดิสก์ DRBD โดยไม่ต้องสร้าง filesystem ใดๆ ทั้งสิ้นบน partition นี้ สมมติว่าเป็น /dev/sda5 บนทั้งสองเครื่อง

หมายเหตุ

• แนะนำให้สร้าง partition ทั้งสองเครื่องให้เหมือนกัน ขนาดเท่ากัน จะได้ง่ายต่อการคอนฟิก
• สำหรับการทดสอบเริ่มต้น แนะนำให้สร้างขนาด partition เล็กๆ ก่อน จะได้ใช้เวลาในการ sync ข้อมูลไม่นานมากนัก ในบทความนี้สร้างประมาณ 1 GBytes

ติดตั้งโปรแกรม DRBD

ไฟล์ติดตั้ง DRBD ในรูปแบบ rpm ของ CentOS 5.4 นั้น ไม่อยู่ในแผ่นดีวีดีติดตั้ง แต่จะอยู่ในส่วนของ extras สำหรับในเมืองไทยสามารถดาวน์โหลดได้จาก http://www.mirror.in.th/osarchive/centos/5.4/extras/

ดาวน์โหล์ด และติดตั้งไฟล์ rpm สองไฟล์ บนเครื่องทั้งสอง

• drbd83-8.3.2-6.el5_3.x86_64.rpm  – “User space administration tools”
• kmod-drbd83-8.3.2-6.el5_3.x86_64.rpm  – “Kernel Module”

ใช้คำสั่ง rpm เพื่อติดตั้ง

[root@centos54-a ~]# rpm -ivh drbd83-8.3.2-6.el5_3.x86_64.rpm
Preparing...                ########################################### [100%]
   1:drbd83                 ########################################### [100%]
[root@centos54-a ~]# rpm -ivh kmod-drbd83-8.3.2-6.el5_3.x86_64.rpm
Preparing...                ########################################### [100%]
   1:kmod-drbd83            ########################################### [100%]

คอนฟิก DRBD บนเครื่องที่ 1 (primary)

ไฟล์คอนฟิกหลักของ DRBD คือไฟล์ /etc/drbd.conf ต้องมีการแก้ไขไฟล์นี้ก่อนถึงจะเริ่มใช้งานได้ โดยมีไฟล์ตัวอย่างคอนฟิกอยู่ใน /usr/share/doc/drbd83/drbd.conf

ไฟล์คอนฟิก /etc/drbd.conf จากการติดตั้ง

[root@centos54-a ~]# cat /etc/drbd.conf
#
# please have a a look at the example configuration file in
# /usr/share/doc/drbd83/drbd.conf
#

สร้างไฟล์คอนฟิก /etc/drbd.conf บนเครื่องที่ 1 “centos54-a.spalinux.com” ดังนี้

[root@centos54-a ~]# cat /etc/drbd.conf
global {
    usage-count no;
}

common {
    syncer { rate 10M; }
}

resource r0 {
    protocol C;

    net {
        cram-hmac-alg "sha1";
        shared-secret "test1234";
    }

    on centos54-a.spalinux.com {
        device /dev/drbd0;
        disk /dev/sda5;
        address 10.3.3.51:8888;
        meta-disk internal;
    }

    on centos54-b.spalinux.com {
        device /dev/drbd0;
        disk /dev/sda5;
        address 10.3.3.52:8888;
        meta-disk internal;
    }
}

คำอธิบายเบื้องต้น

• shared-secret เป็นการกำหนดรหัสของเครื่องที่สามารถ replicate ข้อมูลกันได้ 
• r0 เป็นชื่อ resource ของ DRBD สามารถตั้งเป็นชื่อใดๆ ก็ได้ เพื่อสื่อความหมาย
• on ตามด้วยชื่อ hostname ที่ต้องการ replicate ข้อมูลกัน ส่วนในวงเล็บ { เป็นการกำหนดคอนฟิกของแต่ละเครื่อง
• disk คือชื่อ partition ที่สร้างไว้สำหรับการทำ DRBD ในที่นี้คือ /dev/sda5

ใช้คำสั่ง drbadm create-md เพื่อสร้าง meta data บน partition ที่จะทำเป็น DRBD

[root@centos54-a ~]# drbdadm create-md all
Writing meta data...
initializing activity log
NOT initialized bitmap
New drbd meta data block successfully created.

หาก partition ที่คอนฟิกเป็น DRBD มี filesystem อยู่ก่อนแล้ว จะไม่สามารถสร้าง DRBD ได้

[root@centos54-a ~]# drbdadm create-md all
md_offset 1011671040
al_offset 1011638272
bm_offset 1011605504

Found ext3 filesystem which uses 987964 kB
current configuration leaves usable 987896 kB

Device size would be truncated, which
would corrupt data and result in
'access beyond end of device' errors.
You need to either
   * use external meta data (recommended)
   * shrink that filesystem first
   * zero out the device (destroy the filesystem)
Operation refused.

Command 'drbdmeta 0 v08 /dev/sda5 internal create-md' terminated with exit code 40
drbdadm create-md r0: exited with code 40

วิธีการแก้ไขคือต้องลบข้อมูลของ filesystem บน partition /dev/sda5 นี้ออก วิธีการง่ายสุดคือใช้คำสั่ง dd

คำเตือน คำสั่ง dd จะลบข้อมูลทั้งหมดบน partition ที่ระบุ

[root@centos54-a ~]# dd if=/dev/zero of=/dev/sda5
dd: writing to `/dev/sda5': No space left on device
1975933+0 records in
1975932+0 records out
1011677184 bytes (1.0 GB) copied, 87.2749 seconds, 11.6 MB/s

แล้วถึงสามารถสร้าง meta data ของ DRBD ได้

[root@centos54-a ~]# drbdadm create-md all
Writing meta data...
initializing activity log
NOT initialized bitmap
New drbd meta data block successfully created.

ใช้คำสั่ง service เพื่อรันเซอร์วิส DRBD

[root@centos54-a ~]# service drbd start
Starting DRBD resources: [ d(r0) s(r0) n(r0) ]..........
***************************************************************
 DRBD's startup script waits for the peer node(s) to appear.
 - In case this node was already a degraded cluster before the
   reboot the timeout is 0 seconds. [degr-wfc-timeout]
 - If the peer was available before the reboot the timeout will
   expire after 0 seconds. [wfc-timeout]
   (These values are for resource 'r0'; 0 sec -> wait forever)
 To abort waiting enter 'yes' [  20]:yes

ในครั้งแรกที่รันเซอร์วิส บนเครื่อง primary โปรแกรมจะรอให้เครื่อง peer (secondary) เข้ามาเชื่อมต่อ หากไม่ต้องการให้รอ ให้พิมพ์คำว่า “yes” แล้ว [Enter]

ใช้คำสั่ง service status เพื่อตรวจสอบสถานะของ DRBD

[root@centos54-a ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs            ro                 ds                     p  mounted  fstype
0:r0   WFConnection  Secondary/Unknown  Inconsistent/DUnknown  C

หรืออ่านจากไฟล์ /proc/drbd โดยตรง

[root@centos54-a ~]# cat /proc/drbd
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
 0: cs:WFConnection ro:Secondary/Unknown ds:Inconsistent/DUnknown C r----
    ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:987896

สร้างไดเรคทอรี /export สำหรับทดสอบ mount เพื่อใช้ดิสก์ drbd ที่สร้างขึ้น

[root@centos54-a ~]# mount /dev/drbd0 /export
mount: block device /dev/drbd0 is write-protected, mounting read-only
mount: Wrong medium type

ดิสก์นี้ยังไม่สามารถใช้ได้ ต้องใช้คำสั่ง drbdadm primary คอนฟิกให้ดิสก์ drbd บนเครื่องนี้ทำหน้าที่เป็น primary เพื่อให้สามารถ อ่าน เขียน ข้อมูลจากดิสก์ได้

[root@centos54-a ~]# drbdadm primary all
0: State change failed: (-2) Refusing to be Primary without at least one UpToDate disk
Command 'drbdsetup 0 primary' terminated with exit code 17

หากเป็นการเรียกใช้ครั้งแรก ต้องระบุออปชั่นดังนี้

[root@centos54-a ~]# drbdadm -- --overwrite-data-of-peer primary all
[root@centos54-a ~]#

ตรวจสอบสถานะ drbd อีกครั้ง สังเกตว่า ฟิลด์ ro จะเปลี่ยนจาก Seconday เป็น Primary และฟิลด์ ds จะเปลี่ยนจาก Inconsistent เป็น UpToDate

[root@centos54-a ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs            ro               ds                 p  mounted  fstype
0:r0   WFConnection  Primary/Unknown  UpToDate/DUnknown  C

ทดสอบการ mount ดิสก์อีกครั้ง

[root@centos54-a ~]# mount /dev/drbd0 /export
mount: you must specify the filesystem type

ก็ยังไม่สามารถ mount ได้ เพราะยังไม่มี filesystem บน /dev/drbd0

รันคำสั่ง mkfs.ext3 เพื่อสร้าง filesystem แบบ ext3

[root@centos54-a ~]# mkfs.ext3 /dev/drbd0
mke2fs 1.39 (29-May-2006)
Filesystem label=
OS type: Linux
Block size=4096 (log=2)
Fragment size=4096 (log=2)
123648 inodes, 246974 blocks
12348 blocks (5.00%) reserved for the super user
First data block=0
Maximum filesystem blocks=255852544
8 block groups
32768 blocks per group, 32768 fragments per group
15456 inodes per group
Superblock backups stored on blocks:
        32768, 98304, 163840, 229376

Writing inode tables: done
Creating journal (4096 blocks): done
Writing superblocks and filesystem accounting information: done

This filesystem will be automatically checked every 36 mounts or
180 days, whichever comes first.  Use tune2fs -c or -i to override.

ทดสอบการ mount อีกครั้ง จะสามารถใช้งานได้แล้ว

[root@centos54-a ~]# mount /dev/drbd0 /export

ตรวจสอบสถานะ DRBD

[root@centos54-a ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs            ro               ds                 p  mounted  fstype
0:r0   WFConnection  Primary/Unknown  UpToDate/DUnknown  C  /export  ext3

คอนฟิก DRBD บนเครื่องที่ 2 (secondary)

สร้างไฟล์คอนฟิก /etc/drbd.conf บนเครื่องที่ 2 เหมือนกับไฟล์ในเครื่องที่ 1

[root@centos54-b ~]# cat /etc/drbd.conf
global {
    usage-count no;
}

common {
    syncer { rate 10M; }
}

resource r0 {
    protocol C;

    net {
        cram-hmac-alg "sha1";
        shared-secret "test1234";
    }

    on centos54-a.spalinux.com {
        device /dev/drbd0;
        disk /dev/sda5;
        address 10.3.3.51:8888;
        meta-disk internal;
    }

    on centos54-b.spalinux.com {
        device /dev/drbd0;
        disk /dev/sda5;
        address 10.3.3.52:8888;
        meta-disk internal;
    }
}

ใช้คำสั่ง drbadm create-md เพื่อสร้าง meta data บน partition ที่จะทำเป็น DRBD

[root@centos54-b ~]# drbdadm create-md all
Writing meta data...
initializing activity log
NOT initialized bitmap
New drbd meta data block successfully created.

เช่นเดียวกัน หากมี filesystem อยู่บน partition ก่อนแล้ว ต้องใช้คำสั่ง dd เพื่อลบข้อมูลออก

ใช้คำสั่ง service เพื่อรันเซอร์วิส DRBD

[root@centos54-b ~]# service drbd start
Starting DRBD resources: [ d(r0) s(r0) n(r0) ].

เมื่อเริ่มต้นรันเซอร์วิส DRBD บนเครื่องที่ 2 จะเป็นการเริ่ม replicate ข้อมูลจากเครื่องที่ 1

ตรวจสอบสถานะ DRBD บนเครื่องที่ 2

[root@centos54-b ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs          ro                 ds                     p  mounted  fstype
...    sync'ed:    42.2%              (576248/987896)K
0:r0   SyncTarget  Secondary/Primary  Inconsistent/UpToDate  C

ตรวจสอบสถานะ DRBD บนเครื่องที่ 1

[root@centos54-a ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs          ro                 ds                     p  mounted  fstype
...    sync'ed:    43.0%              (567032/987896)K
0:r0   SyncSource  Primary/Secondary  UpToDate/Inconsistent  C  /export  ext3

เมื่อ replicate ข้อมูลเรียบร้อย (synced) ข้อมูลแล้ว สถานะจะเป็นดังนี้

ตรวจสอบสถานะ DRBD บนเครื่องที่ 2 เมื่อ synced ข้อมูลเรียบร้อย

[root@centos54-b ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs         ro                 ds                 p  mounted  fstype
0:r0   Connected  Secondary/Primary  UpToDate/UpToDate  C

ตรวจสอบสถานะ DRBD บนเครื่องที่ 1 เมื่อ synced ข้อมูลเรียบร้อย

[root@centos54-a ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs         ro                 ds                 p  mounted  fstype
0:r0   Connected  Primary/Secondary  UpToDate/UpToDate  C  /export  ext3

หลังจาก synced ข้อมูลระหว่างเครื่องเรียบร้อย เมื่อมีการเปลี่ยนแปลงข้อมูลในดิสก์บนเครื่องที่ 1 (primary) การเปลี่ยนแปลงนั้นจะถูก replicate ไปยังเครื่องที่ 2 (secondary) โดยอัตโนมัติ

ตัวอย่างการใช้คำสั่ง tcpdump  ตรวจสอบ packet ที่ส่งระหว่างเครื่องเพื่อการ replicate ข้อมูลของ DRBD

[root@centos54-b ~]# tcpdump -i eth0 -l -nn | grep 8888
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth0, link-type EN10MB (Ethernet), capture size 96 bytes
15:51:39.815802 IP 10.3.3.52.8888 > 10.3.3.51.42180: P 2834377596:2834377604(8) ack 2893184807 win 46 <nop,nop,timestamp 1772852 1818781>
15:51:39.816356 IP 10.3.3.51.42180 > 10.3.3.52.8888: P 1:9(8) ack 8 win 3216 <nop,nop,timestamp 1828655 1772852>
15:51:39.816394 IP 10.3.3.52.8888 > 10.3.3.51.42180: . ack 9 win 46 <nop,nop,timestamp 1772852 1828655>
15:51:44.888876 IP 10.3.3.1.4117 > 10.3.3.51.22: P 1560:1612(52) ack 1629 win 64271
15:51:49.815252 IP 10.3.3.51.42180 > 10.3.3.52.8888: P 9:17(8) ack 8 win 3216 <nop,nop,timestamp 1838655 1772852>
15:51:49.815330 IP 10.3.3.52.8888 > 10.3.3.51.42180: . ack 17 win 46 <nop,nop,timestamp 1782853 1838655>
15:51:49.815666 IP 10.3.3.52.8888 > 10.3.3.51.42180: P 8:16(8) ack 17 win 46 <nop,nop,timestamp 1782853 1838655>
15:51:49.847300 IP 10.3.3.51.42180 > 10.3.3.52.8888: . ack 16 win 3216 <nop,nop,timestamp 1838696 1782853>
15:51:50.937877 IP 10.3.3.51.8888 > 10.3.3.52.40284: . 3903780263:3903781711(1448) ack 2834246899 win 501 <nop,nop,timestamp 1839875 1683335>
...
[Ctrl-C]

ข้อมูลอ้างอิง

• DRBD
• CentOS 5.4 extras
• การใช้งาน DRBD เบื้องต้น

ติดตั้งไฟล์ rpm

ไฟล์ rpm ที่ต้องใช้ เพื่อคอนฟิกเครื่องให้ทำหน้าที่เป็น iSCSI target ได้ คือ “scsi-target-utils”

ตัวอย่างการติดตั้งไฟล์ rpm สำหรับ Fedora 11

[root@fc11-server ~]# rpm -i scsi-target-utils-0.9.5-1.fc11.x86_64.rpm
error: Failed dependencies:
        perl(Config::General) is needed by scsi-target-utils-0.9.5-1.fc11.x86_64

หากเจอ error แบบนี้ ต้องลงไฟล์ rpm ชื่อ perl-Config-General ก่อน

[root@fc11-server ~]# rpm -i perl-Config-General-2.42-2.fc11.noarch.rpm
[root@fc11-server ~]# rpm -i scsi-target-utils-0.9.5-1.fc11.x86_64.rpm

รันเซอร์วิส tgtd

รันเซอร์วิส tgtd (The Generic storage Target Daemon) ก่อน โดยใช้คำสั่ง service

[root@fc11-server ~]# /etc/init.d/tgtd start
Starting SCSI target daemon:                               [  OK  ]

สร้าง target ใหม่

ใช้คำสั่ง tgtadm เพื่อสร้าง target ใหม่ โดยพารามิเตอร์ที่ต้องระบุคือ target id (–tid) และชื่อ target (-T)

เราสามารถสร้างได้หลาย target ในเซิร์ฟเวอร์เครื่องหนึ่ง แต่ต้องมี id และชื่อแตกต่างกัน สำหรับ  id เราสามารถรันตัวเลขเริ่มจาก 1 ได้ ส่วนชื่อ target ที่นิยมกันจะตั้งชื่อในรูปแบบ iqn (iSCSI Qualified Name)

รูปแบบชื่อแบบ iqn

iqn.yyyy-mm.{reversed domain name}:resource_name

ในบทความนี้ตั้งชื่อเป็น iqn.2001-04.com.example:storage.test.disk-01

ตัวอย่างการสร้าง target ใหม่

[root@fc11-server ~]# tgtadm --lld iscsi --op new --mode target --tid 1 -T iqn.2001-04.com.example:storage.test.disk-01

หลังจากที่สร้างแล้ว สามารถใช้คำสั่ง tgtadm –op show เพื่อตรวจสอบคอนฟิก target ที่ทำงานอยู่ได้

[root@fc11-server ~]# tgtadm --lld iscsi --op show --mode target
Target 1: iqn.2001-04.com.example:storage.test.disk-01
    System information:
        Driver: iscsi
        State: ready
    I_T nexus information:
    LUN information:
        LUN: 0
            Type: controller
            SCSI ID: IET     00010000
            SCSI SN: beaf10
            Size: 0 MB
            Online: Yes
            Removable media: No
            Backing store: No backing store
    Account information:
    ACL information:

เพิ่ม logical unit เข้า target

เมื่อสร้าง target แล้ว จะยังไม่สามารถใช้งานได้ทันที ต้องเพิ่ม logical unit ที่จะทำหน้าที่เป็น storage ของ target นี้ก่อน

เราสามารถใช้ disk partition หรือ LVM logical volume เพื่อทำหน้าที่เป็น logical unit ได้ ในที่นี้จะใช้ disk partition /dev/sdb1

คำเตือน!!! ข้อมูลใน disk ที่จะใช้เป็น logical unit จะถูกทำลายทั้งหมด จาก initiator

ตัวอย่างการเพิ่ม logical unit เข้า target

[root@fc11-server ~]# tgtadm --lld iscsi --op new --mode logicalunit --tid 1 --lun 1 -b /dev/sdb1

ตรวจสอบหลังจากการเพิ่ม logical unit

[root@fc11-server ~]# tgtadm --lld iscsi --op show --mode target
Target 1: iqn.2001-04.com.example:storage.test.disk-01
    System information:
        Driver: iscsi
        State: ready
    I_T nexus information:
    LUN information:
        LUN: 0
            Type: controller
            SCSI ID: IET     00010000
            SCSI SN: beaf10
            Size: 0 MB
            Online: Yes
            Removable media: No
            Backing store: No backing store
        LUN: 1
            Type: disk
            SCSI ID: IET     00010001
            SCSI SN: beaf11
            Size: 40049 MB
            Online: Yes
            Removable media: No
            Backing store: /dev/sdb1
    Account information:
    ACL information:

คอนฟิก bind target

สุดท้ายต้องระบุการ bind เพื่อเป็นการอนุญาตให้เครื่อง client หรือ initiator สามารถเข้ามาใช้ (access) target ได้

เบื้องต้น เราจะอนุญาตทั้งหมดให้เข้ามาใช้ได้ ด้วยการระบบออปชั่น “-I ALL”

[root@fc11-server ~]# tgtadm --lld iscsi --op bind --mode target --tid 1 -I ALL

ตรวจสอบหลังจากคอนฟิก

[root@fc11-server ~]# tgtadm --lld iscsi --op show --mode target
Target 1: iqn.2001-04.com.example:storage.test.disk-01
    System information:
        Driver: iscsi
        State: ready
    I_T nexus information:
    LUN information:
        LUN: 0
            Type: controller
            SCSI ID: IET     00010000
            SCSI SN: beaf10
            Size: 0 MB
            Online: Yes
            Removable media: No
            Backing store: No backing store
        LUN: 1
            Type: disk
            SCSI ID: IET     00010001
            SCSI SN: beaf11
            Size: 40049 MB
            Online: Yes
            Removable media: No
            Backing store: /dev/sdb1
    Account information:
    ACL information:
        ALL

ทดสอบจาก iSCSI initiator

ทดสอบรันคำสั่ง iscsiadm -m discovery จากเครื่องอื่น เพื่อทดสอบการค้นหา target ที่เพิ่งสร้างขึ้น  สมมติว่าเคื่อง server ที่ทำหน้าที่ target มี ip address เป็น 192.168.1.1

[root@fc11-client ~]# iscsiadm -m discovery -t sendtargets -p 192.168.1.1
192.168.1.1:3260,1 iqn.2001-04.com.example:storage.test.disk-01

ข้อมูลอ้างอิง

• คอนฟิก iSCSI initiator บน Linux

iSCSI ทำงานในรูปแบบ Server-Client โดย ฝั่ง Client หรือเรียกว่า Initiator ทำหน้าที่ส่ง SCSI command ไปยัง storage ของ Server ปลายทาง ที่เรียกว่า Target

บทความนี้กล่าวถึงวิธีการติดตั้งโปรแกรมและคอนฟิก iSCSI ฝั่ง Client เพื่อให้สามารถเรียกใช้ดิสก์ (target) จาก server ได้ โดยฝั่ง server อาจเป็น Storage Array หรือ Server ที่ถูกคอนฟิกเพื่อทำหน้าที่เป็น target ได้

ตัวอย่างในบทความนี้ ถือว่าฝั่ง server คอนฟิกสร้าง volume ชื่อ “vol-01″ และอนุญาตให้เครื่องที่เราจะคอนฟิกสามารถใช้งานได้ (access)

ติดตั้งไฟล์ rpm

ตัวอย่างการติดตั้งไฟล์ rpm สำหรับ Fedora 11

[root@fc11-64a ~]# rpm -i iscsi-initiator-utils-6.2.0.870-8.fc11.x86_64.rpm

ค้นหา target

เริ่มต้น ต้องค้นหาชื่อ target ปลายทางจาก IP ที่ระบุ โดยใช้คำสั่ง iscsiadm โหมด discovery

[root@fc11-64a ~]# iscsiadm -m discovery -t sendtargets -p 192.168.1.1:3260
Starting iscsid:                                           [  OK  ]
192.168.1.1:3260,1 iqn.2000-10.com.example:0-999999-b8f877804-bfd0000000c13f3e-vss-control
192.168.1.1:3260,1 iqn.2000-10.com.example:0-999999-141376505-58c000000654afe7-vol-01

หากเป็นการเรียกใช้คำสั่ง iscsiadm ครั้งแรก เซอร์วิส iscsid จะถูกรันขึ้นมาโดยอัตโนมัติ

ตัวอย่างข้อความที่เกิดขึ้นในไฟล์ /var/log/messages ซึ่งไฟล์นี้จะมีประโยชน์มากในการตรวจสอบ และแก้ไขปัญหาที่อาจเกิดขึ้น

[root@fc11-64a ~]# tail -f /var/log/messages
...
Nov 14 16:24:31 fc11-64a kernel: Loading iSCSI transport class v2.0-870.
Nov 14 16:24:31 fc11-64a kernel: iscsi: registered transport (tcp)
Nov 14 16:24:31 fc11-64a kernel: iscsi: registered transport (iser)
Nov 14 16:24:31 fc11-64a iscsid: iSCSI logger with pid=6014 started!
Nov 14 16:24:32 fc11-64a iscsid: transport class version 2.0-870. iscsid version 2.0-870
Nov 14 16:24:32 fc11-64a iscsid: iSCSI daemon with pid=6016 started!

login เข้า target ที่ต้องการ

เมื่อเราทราบชื่อ target ที่ต้องการใช้แล้ว สามารถใช้คำสั่ง iscsiadm โหมด node ระบุออปชั่น ‘-l’ เพื่อ login เข้าสู่ target ได้

[root@fc11-64a ~]# iscsiadm -m node -p 192.168.1.1 -T iqn.2000-10.com.example:0-999999-141376505-58c000000654afe7-vol-01 -l
Logging in to [iface: default, target: iqn.2000-10.com.example:0-999999-141376505-58c000000654afe7-vol-01, portal: 192.168.1.1,3260]
Login to [iface: default, target: iqn.2000-10.com.example:0-999999-141376505-58c000000654afe7-vol-01, portal: 192.168.1.1,3260]: successful

ตัวอย่างข้อความที่เกิดขึ้นในไฟล์ /var/log/messages

[root@fc11-64a ~]# tail -f /var/log/messages
...
Nov 14 16:28:20 fc11-64a kernel: scsi6 : iSCSI Initiator over TCP/IP
Nov 14 16:28:30 fc11-64a kernel: scsi 6:0:0:0: Direct-Access     EXAMPLE  100E-00         x.x  PQ: 0 ANSI: 5
Nov 14 16:28:30 fc11-64a kernel: sd 6:0:0:0: [sdb] 209725440 512-byte hardware sectors: (107 GB/100 GiB)
Nov 14 16:28:30 fc11-64a kernel: sd 6:0:0:0: [sdb] Write Protect is off
Nov 14 16:28:30 fc11-64a kernel: sd 6:0:0:0: [sdb] Write cache: disabled, read cache: enabled, doesn't support DPO or FUA
Nov 14 16:28:30 fc11-64a kernel: sd 6:0:0:0: [sdb] 209725440 512-byte hardware sectors: (107 GB/100 GiB)
Nov 14 16:28:30 fc11-64a kernel: sd 6:0:0:0: [sdb] Write Protect is off
Nov 14 16:28:30 fc11-64a kernel: sd 6:0:0:0: [sdb] Write cache: disabled, read cache: enabled, doesn't support DPO or FUA
Nov 14 16:28:30 fc11-64a kernel: sdb: unknown partition table
Nov 14 16:28:30 fc11-64a kernel: sd 6:0:0:0: [sdb] Attached SCSI disk
Nov 14 16:28:30 fc11-64a kernel: sd 6:0:0:0: Attached scsi generic sg2 type 0
Nov 14 16:28:30 fc11-64a iscsid: connection1:0 is operational now

จากไฟล์ /var/log/messages เมื่อ login เข้า target สำเร็จ volume จะถูก map เป็นดิสก์ (sdb) ให้เราสามารถเรียกใช้ได้

ใช้คำสั่ง fdisk ตรวจสอบ

[root@fc11-64a ~]# fdisk -l /dev/sdb

Disk /dev/sdb: 107.3 GB, 107379425280 bytes
255 heads, 63 sectors/track, 13054 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x00000000

Disk /dev/sdb doesn't contain a valid partition table

เราสามารถสร้าง partition แล้วสร้าง filesystem ตามที่ต้องการได้เหมือนดิสก์ทั่วๆ ไป

ใช้คำสั่ง fdisk เพื่อสร้าง partition

[root@fc11-64a ~]# fdisk /dev/sdb
Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel
Building a new DOS disklabel with disk identifier 0x52c1bb70.
Changes will remain in memory only, until you decide to write them.
After that, of course, the previous content won't be recoverable.

The number of cylinders for this disk is set to 13054.
There is nothing wrong with that, but this is larger than 1024,
and could in certain setups cause problems with:
1) software that runs at boot time (e.g., old versions of LILO)
2) booting and partitioning software from other OSs
   (e.g., DOS FDISK, OS/2 FDISK)
Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)

Command (m for help): n
Command action
   e   extended
   p   primary partition (1-4)
p
Partition number (1-4): 1
First cylinder (1-13054, default 1):
Using default value 1
Last cylinder, +cylinders or +size{K,M,G} (1-13054, default 13054):
Using default value 13054

Command (m for help): p

Disk /dev/sdb: 107.3 GB, 107379425280 bytes
255 heads, 63 sectors/track, 13054 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x52c1bb70

   Device Boot      Start         End      Blocks   Id  System
/dev/sdb1               1       13054   104856223+  83  Linux

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.

ใช้คำสั่ง mkfs.xfs เพื่อสร้าง filesystem แบบ xfs บน partition ที่ถูกสร้างขึ้น

[root@fc11-64a ~]# mkfs.xfs /dev/sdb1
meta-data=/dev/sdb1              isize=256    agcount=4, agsize=6553514 blks
         =                       sectsz=512   attr=2
data     =                       bsize=4096   blocks=26214055, imaxpct=25
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0
log      =internal log           bsize=4096   blocks=12799, version=2
         =                       sectsz=512   sunit=0 blks, lazy-count=0
realtime =none                   extsz=4096   blocks=0, rtextents=0

ใช้คำสั่ง mount เพื่อ mount filesystem

[root@fc11-64a ~]# mount /dev/sdb1 /mnt/vol-01/
[root@fc11-64a ~]# cd /mnt/vol-01/
[root@fc11-64a vol-01]# df -h .
Filesystem            Size  Used Avail Use% Mounted on
/dev/sdb1             100G  4.2M  100G   1% /mnt/vol-01

เลิกใช้งาน disk

เมื่อจะเลิกใช้งาน ต้อง umount ก่อน

[root@fc11-64a ~]# umount /mnt/vol-01
[root@fc11-64a ~]#

ใช้คำสั่ง iscsiadm โหมด node ระบุออปชั่น ‘-u’ เพื่อจะ logout ออกจาก target

[root@fc11-64a ~]# iscsiadm -m node -p 192.168.1.1 -T iqn.2000-10.com.example:0-999999-141376505-58c000000654afe7-vol-01 -u
Logging out of session [sid: 1, target: iqn.2000-10.com.example:0-999999-141376505-58c000000654afe7-vol-01, portal: 192.168.1.1,3260]
Logout of [sid: 1, target: iqn.2000-10.com.example:0-999999-141376505-58c000000654afe7-vol-01, portal: 192.168.1.1,3260]: successful

หลังจาก logout แล้ว ตรวจสอบด้วยคำสั่ง fdisk จะไม่เห็นดิสก์ที่ map ไว้

[root@fc11-64a ~]# fdisk -l /dev/sdb
[root@fc11-64a ~]#

ข้อมูลอ้างอิง

• คอนฟิก iSCSI target บน Linux
• iSCSI – Wikipedia
• man iscsiadm (8)

ก่อนการรัน sysbench เพื่อทดสอบ ต้องสร้างไฟล์ (prepare) ใน mount point ของ filesystem ที่ต้องการทดสอบ เช่นถ้า mount ไว้ที่ /mnt/lv0/ ต้อง cd เข้าไปในพาธนี้แล้วรันคำสั่ง

[root@fc10-disk ~]# cd /mnt/lv0/
[root@fc10-disk lv0]# sysbench --test=fileio prepare

Sequential Read test (seqrd) รันคำสั่ง

[root@fc10-disk ~]# sysbench --test=fileio --file-test-mode=seqrd run

Sequential Write test (seqwr) รันคำสั่ง

[root@fc10-disk ~]# sysbench --test=fileio --file-test-mode=seqwr run

Random Read test (rndrd) รันคำสั่ง

[root@fc10-disk ~]# sysbench --test=fileio --file-test-mode=rndrd run

Random Write test (rndwr) รันคำสั่ง

[root@fc10-disk ~]# sysbench --test=fileio --file-test-mode=rndwr run

ผลลัพธ์การรันคำสั่ง dd ในตอนที่ผ่านมา จะใกล้เคียงกับการรัน Sequential Write test

ตารางสรุปผลการทดสอบ

คงไม่สรุปใดๆ ทั้งสิ้น เกี่ยวกับผลลัพธ์ที่ได้ ว่าคอนฟิก mdadm หรือ lvm เร็วกว่ากัน เพราะตัวเลขออกมาใกล้เคียงกัน อีกทั้งการทดสอบนี้ อาจไม่ตรงกับหลักการทางสถิติ เช่น ทดลองรันไม่กี่ครั้ง หรือในขณะที่รันทดสอบอาจมี process อื่นๆ ในเครื่องรันขึ้นมาทำงาน (ทั้งๆ ที่พยายามลดให้เหลือน้อยที่สุดแล้ว) และด้วยคุณสมบัติของ mdadm และ LVM ที่แตกต่างกัน ทางเลือกคงขึ้นอยู่กับลักษณะการใช้งานของแต่ละเครื่องว่าเป็นอย่างไร …

แต่…ถ้าให้เลือก ความเห็นส่วนตัว ผมเลือก LVM ครับ

ข้อมูลอ้างอิง

• เปรียบเทียบ RAID-0 จากคำสั่ง mdadm และ lvm ตอนที่ 1
• เปรียบเทียบ RAID-0 จากคำสั่ง mdadm และ lvm ตอนที่ 2

สร้าง LVM Physical Volume และ Volume Group

ก่อนอื่นเราต้องคอนฟิกดิสก์แต่ละพารทิชั่น ทำเป็น Physical Volume และ Volume Group สุดท้ายค่อยเลือกว่าจะสร้าง Logical Volume เป็นแบบ linear หรือ stripe

[root@fc10-disk ~]# pvcreate /dev/sdc1 /dev/sdd1
  Wiping software RAID md superblock on /dev/sdc1
  Physical volume "/dev/sdc1" successfully created
  Wiping software RAID md superblock on /dev/sdd1
  Physical volume "/dev/sdd1" successfully created

ตรวจสอบสถานะของ physical volume

[root@fc10-disk ~]# pvdisplay
  "/dev/sdc1" is a new physical volume of "186.31 GB"
  --- NEW Physical volume ---
  PV Name               /dev/sdc1
  VG Name
  PV Size               186.31 GB
  Allocatable           NO
  PE Size (KByte)       0
  Total PE              0
  Free PE               0
  Allocated PE          0
  PV UUID               ...

  "/dev/sdd1" is a new physical volume of "186.31 GB"
  --- NEW Physical volume ---
  PV Name               /dev/sdd1
  VG Name
  PV Size               186.31 GB
  Allocatable           NO
  PE Size (KByte)       0
  Total PE              0
  Free PE               0
  Allocated PE          0
  PV UUID               ...

คอนฟิกรวมทั้งสอง physical volume สร้างเป็น volume group เดียวกัน

[root@fc10-disk ~]# vgcreate VG_1 /dev/sdc1 /dev/sdd1
  Volume group "VG_1" successfully created

ตรวจสอบสถานะของ volume group

[root@fc10-disk ~]# vgdisplay
  --- Volume group ---
  VG Name               VG_1
  System ID
  Format                lvm2
  Metadata Areas        2
  Metadata Sequence No  1
  VG Access             read/write
  VG Status             resizable
  MAX LV                0
  Cur LV                0
  Open LV               0
  Max PV                0
  Cur PV                2
  Act PV                2
  VG Size               372.61 GB
  PE Size               4.00 MB
  Total PE              95388
  Alloc PE / Size       0 / 0
  Free  PE / Size       95388 / 372.61 GB
  VG UUID               ...

คำสั่ง lvcreate สร้าง logical volume แบบ linear

คอนฟิกนี้จะใช้คำสั่ง lvcreate เพื่อสร้างดิสก์สองก้อนเป็นแบบ linear ซึ่งหลักการเขียนข้อมูลจะเหมือนกันคือ ข้อมูลจะถูกเขียนลงบนตัวแรกให้เต็มก่อนแล้วค่อยเขียนตัวถัดไป

การระบุออปชั่น –extents 100%free คือให้ใช้พื้นที่ทั้งหมดของ volume group สร้างเป็น logical volume

[root@fc10-disk ~]# lvcreate --extents 100%free VG_1 --name LV_0
  Logical volume "LV_0" created

ผลลัพธ์ที่ได้จะสร้าง logical volume ชื่อ /dev/VG_1/LV_0 ขึ้นมา ซึ่งเรานำมาสร้าง filesystem แล้วมา mount ใช้งานได้

รันคำสั่ง lvdisplay ตรวจสอบสถานะของดิสก์

[root@fc10-disk ~]# lvdisplay --maps
  --- Logical volume ---
  LV Name                /dev/VG_1/LV_0
  VG Name                VG_1
  LV UUID                eOdh1C-nSw3-wLjd-fuPz-Y6HA-rNvU-nWaOfY
  LV Write Access        read/write
  LV Status              available
  # open                 0
  LV Size                372.61 GB
  Current LE             95388
  Segments               2
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           253:0

  --- Segments ---
  Logical extent 0 to 47693:
    Type                linear
    Physical volume     /dev/sdc1
    Physical extents    0 to 47693

  Logical extent 47694 to 95387:
    Type                linear
    Physical volume     /dev/sdd1
    Physical extents    0 to 47693

สร้าง filesystem เป็นแบบ xfs และ mount เข้ากับพาธที่สร้าง

[root@fc10-disk ~]# mkfs.xfs -f /dev/VG_1/LV_0
[root@fc10-disk ~]# mkdir /mnt/lv0
[root@fc10-disk ~]# mount /dev/VG_1/LV_0 /mnt/lv0

ดูขนาดของ filesystem ที่สร้างได้

[root@fc10-disk ~]# cd /mnt/lv0/
[root@fc10-disk lv0]# df -k .
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/mapper/VG_1-LV_0
                     390578176      4256 390573920   1% /mnt/lv0

ทดสอบการเขียนไฟล์ขนาด 2 GB บนคอนฟิก “linear”

[root@fc10-disk lv0]# dd if=/dev/zero of=file-2g.bin bs=1000000 count=2000
2000+0 records in
2000+0 records out
2000000000 bytes (2.0 GB) copied, 38.6144 s, 51.8 MB/s

ความเร็วที่ได้จะใกล้เคียงกับการเขียนไฟล์ลงดิสก์ก้อนเดียว

ยกเลิกการ mount ดิสก์ และลบ logical volume แบบ linear

[root@fc10-disk lv0]# cd
[root@fc10-disk ~]# umount /mnt/lv0
[root@fc10-disk ~]# lvremove /dev/VG_1/LV_0
Do you really want to remove active logical volume "LV_0"? [y/n]: y
  Logical volume "LV_0" successfully removed

คำสั่ง lvcreate สร้าง logical volume แบบ stripe

คอนฟิกนี้จะใช้คำสั่ง lvcreate เพื่อสร้าง logical volume เป็นแบบ stripe เพื่อให้เวลาเขียนข้อมูลแยกการเขียนลงดิสก์ทั้งสองก้อนพร้อมๆ กัน ทำให้ความเร็วที่ได้เพิ่มขึ้น

ในที่นี้เราต้องระบุจำนวน stripe หรือจำนวนดิกส์ที่จะเขียนข้อมูลพร้อมๆ กัน ในที่นี้เรามี physical volume อยู่ 2 ก้อน ก็ระบุเป็นตัวเลข 2

[root@fc10-disk ~]# lvcreate --extents 100%free --stripes 2 VG_1 --name LV_0
  Using default stripesize 64.00 KB
  Logical volume "LV_0" created

ตรวจสอบสถานะของ logical volume แบบ stripe

[root@fc10-disk ~]# lvdisplay --maps
  --- Logical volume ---
  LV Name                /dev/VG_1/LV_0
  VG Name                VG_1
  LV UUID                JJuw2a-4C6O-4DED-jqCO-qTRF-iDw0-VPeatg
  LV Write Access        read/write
  LV Status              available
  # open                 0
  LV Size                372.61 GB
  Current LE             95388
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     512
  Block device           253:0

  --- Segments ---
  Logical extent 0 to 95387:
    Type                striped
    Stripes             2
    Stripe size         64 KB
    Stripe 0:
      Physical volume   /dev/sdc1
      Physical extents  0 to 47693
    Stripe 1:
      Physical volume   /dev/sdd1
      Physical extents  0 to 47693

สร้าง filesystem เป็นแบบ xfs และ mount เข้ากับพาธที่สร้างไว้

[root@fc10-disk ~]# mkfs.xfs -f /dev/VG_1/LV_0
[root@fc10-disk ~]# mount /dev/VG_1/LV_0 /mnt/lv0

ดูขนาดของ filesystem ที่สร้างได้

[root@fc10-disk ~]# cd /mnt/lv0/
[root@fc10-disk lv0]# df -k .
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/mapper/VG_1-LV_0
                     390577152      4640 390572512   1% /mnt/lv0

ทดสอบการเขียนไฟล์ขนาด 2 GB บนคอนฟิก “linear”

[root@fc10-disk lv0]# dd if=/dev/zero of=file-2g.bin bs=1000000 count=2000
2000+0 records in
2000+0 records out
2000000000 bytes (2.0 GB) copied, 21.0913 s, 94.8 MB/s

ความเร็วที่ได้ใกล้เคียงกับผลรวมของความเร็วในการเขียนข้อมูลลงดิสก์แต่ละก้อน

ยกเลิกการ mount ดิสก์ และลบ logical volume แบบ “stripe”

[root@fc10-disk lv0]# cd
[root@fc10-disk ~]# umount /mnt/lv0
[root@fc10-disk ~]# lvremove /dev/VG_1/LV_0
Do you really want to remove active logical volume "LV_0"? [y/n]: y
  Logical volume "LV_0" successfully removed

ลบ LVM Volume Group, Physical Volume

หลังจากทดสอบเรียบร้อย ถ้าต้องการลบคอนฟิก LVM ออกสามารถทำได้ดังนี้

ใช้คำสั่ง vgremove เพื่อลบ Volume Group

[root@fc10-disk ~]# vgremove /dev/VG_1
  Volume group "VG_1" successfully removed

ใช้คำสั่ง pvremove เพื่อลบ physical volume

[root@fc10-disk ~]# pvremove /dev/sdc1 /dev/sdd1
  Labels on physical volume "/dev/sdc1" successfully wiped
  Labels on physical volume "/dev/sdd1" successfully wiped

ข้อมูลอ้างอิง

• เปรียบเทียบ RAID-0 จากคำสั่ง mdadm และ lvm ตอนที่ 1
• เปรียบเทียบ RAID-0 จากคำสั่ง mdadm และ lvm ตอนที่ 3
  
• การใช้งาน LVM เพื่อจัดการพื้นที่ฮาร์ดดิสก์ ตอนที่ 1
• การใช้งาน LVM เพื่อจัดการพื้นที่ฮาร์ดดิสก์ ตอนที่ 2

และเพื่อความครบถ้วนของการเปรียบเทียบ เลยทดสอบคอนฟิกทั้งเป็นแบบ linear และ stripe (RAID-0) จากการใช้คำสั่งทั้งสองด้วย โดยแยกเป็นสองบทความ ในตอนแรกจะใช้คำสั่ง mdadm ก่อน

หมายเหตุ

• โดยทั่วไป คำว่า RAID-0 หมายถึงการคอนฟิกแบบ stripe
• ข้อควรระวังการเลือกใช้คอนฟิก RAID-0 เพียงอย่างเดียว ถ้าดิสก์ก้อนใดก้อนนึงเสียไป มีโอกาสทำให้ข้อมูลบางส่วนหรือทั้งหมดเสียหายได้ โดยทั่วไปนิยมคอนฟิก RAID-0 ทับไปบนคอนฟิก RAID-1 หรือ RAID-5 เพื่อทำเป็น RAID-10, หรือ RAID-50
• ความเสียหายของข้อมูลเมื่อดิสก์ก้อนหนึ่งเสีย ในการคอนฟิกแต่ละแบบจะไม่เหมือนกันเช่น ถ้าคอนฟิกเป็นแบบ “linear” การกู้ข้อมูลกลับคืนมาจะมีโอกาสมากกว่า เพราะข้อมูลส่วนใหญ่จะถูกเขียนลงบนดิสก์ก้อนเดียว แต่ข้อเสียของ “linear” คือความเร็วในการเขียนข้อมูลจะน้อยกว่าแบบ “stripe”

ทดสอบดิสก์แต่ละก้อน

ก่อนจะเริ่มคอนฟิก RAID-0 ขอเริ่มทดสอบดิสก์ทีละตัว เพื่อดูความเร็วคร่าวๆ ในการเขียนข้อมูล

ตัวอย่างการสร้างพาร์ทิชั่นของดิสก์แต่ละก้อน

[root@fc10-disk ~]# fdisk -l /dev/sdc
...
   Device Boot      Start         End      Blocks   Id  System
/dev/sdc1               1       24321   195358401   83  Linux

[root@fc10-disk ~]# fdisk -l /dev/sdd
...
   Device Boot      Start         End      Blocks   Id  System
/dev/sdd1               1       24321   195358401   83  Linux

สร้าง filesystem เป็นแบบ xfs ในแต่ละพาร์ทิชั่น และ mount เข้ากับพาธที่สร้าง

[root@fc10-disk ~]# mkfs.xfs -f /dev/sdc1
[root@fc10-disk ~]# mkfs.xfs -f /dev/sdd1

[root@fc10-disk ~]# mkdir /mnt/sdc1
[root@fc10-disk ~]# mkdir /mnt/sdd1
[root@fc10-disk ~]# mount /dev/sdc1 /mnt/sdc1
[root@fc10-disk ~]# mount /dev/sdd1 /mnt/sdd1

ทดสอบการเขียนไฟล์ขนาด 2 GB ในแต่ละพาร์ทิชั่น

[root@fc10-disk sdc1]# cd /mnt/sdc1/
[root@fc10-disk sdc1]# dd if=/dev/zero of=file-2g.bin bs=1000000 count=2000
2000+0 records in
2000+0 records out
2000000000 bytes (2.0 GB) copied, 38.4796 s, 52.0 MB/s

[root@fc10-disk sdd1]# cd /mnt/sdd1/
[root@fc10-disk sdd1]# dd if=/dev/zero of=file-2g.bin bs=1000000 count=2000
2000+0 records in
2000+0 records out
2000000000 bytes (2.0 GB) copied, 42.4467 s, 47.1 MB/s

ได้ความเร็วประมาณ 50 MB/s

ยกเลิกการ mount ดิสก์แต่ละก้อน

[root@fc10-disk sdd1]# cd
[root@fc10-disk ~]# umount /mnt/sdc1
[root@fc10-disk ~]# umount /mnt/sdd1

คำสั่ง mdadm สร้างดิสก์แบบ linear

คอนฟิกแรกจะใช้คำสั่ง mdadm เพื่อสร้างดิสก์เป็นแบบ “linear” ซึ่งเป็นการนำพื้นที่ดิสก์ทั้งสองก้อนมาต่อเรียงกัน เวลาเขียนข้อมูลจะเขียนบนดิสก์ตัวเดียวก่อน ถ้าก้อนแรกเต็มถึงจะเขียนดิสก์อีกก้อน

[root@fc10-disk ~]# mdadm --create --verbose /dev/md0 --level=linear --raid-devices=2 /dev/sdc1 /dev/sdd1
mdadm: chunk size defaults to 64K
mdadm: array /dev/md0 started.

ตรวจสอบสถานะของดิสก์

[root@fc10-disk ~]# mdadm --detail /dev/md0
/dev/md0:
        Version : 0.90
  Creation Time : Sun Jun  7 12:35:05 2009
     Raid Level : linear
     Array Size : 390716672 (372.62 GiB 400.09 GB)
   Raid Devices : 2
  Total Devices : 2
Preferred Minor : 0
    Persistence : Superblock is persistent

    Update Time : Sun Jun  7 12:35:05 2009
          State : clean
 Active Devices : 2
Working Devices : 2
 Failed Devices : 0
  Spare Devices : 0

       Rounding : 64K

           UUID : 450c959b:c5d34b87:792b422a:65152846
         Events : 0.1

    Number   Major   Minor   RaidDevice State
       0       8       33        0      active sync   /dev/sdc1
       1       8       49        1      active sync   /dev/sdd1

สร้าง filesystem เป็นแบบ xfs และ mount เข้ากับพาธที่สร้าง

[root@fc10-disk ~]# mkfs.xfs -f /dev/md0
[root@fc10-disk ~]# mkdir /mnt/md0
[root@fc10-disk ~]# mount /dev/md0 /mnt/md0/

ดูขนาด filesystem ที่สร้างได้

[root@fc10-disk ~]# cd /mnt/md0/
[root@fc10-disk md0]# df -k .
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/md0             390585600      4256 390581344   1% /mnt/md0

ทดสอบการเขียนไฟล์ขนาด 2 GB บนคอนฟิก “linear”

[root@fc10-disk md0]# dd if=/dev/zero of=file-2g.bin bs=1000000 count=2000
2000+0 records in
2000+0 records out
2000000000 bytes (2.0 GB) copied, 37.9349 s, 52.7 MB/s

ความเร็วที่ได้จะใกล้เคียงกับการเขียนไฟล์ลงดิสก์ก้อนเดียว

ยกเลิกการ mount ดิสก์ และปิด (stop) การใช้ดิสก์แบบ linear

[root@fc10-disk md0]# cd
[root@fc10-disk ~]# umount /mnt/md0
[root@fc10-disk ~]# mdadm --stop /dev/md0
mdadm: stopped /dev/md0
[root@fc10-disk ~]# cat /proc/mdstat
Personalities : [linear]
unused devices: <none>

คำสั่ง mdadm สร้างดิสก์แบบ  stripe (RAID-0)

คอนฟิกที่สอง จะใช้คำสั่ง mdadm เพื่อคอนฟิกดิกส์สองกันเป็นแบบ stripe หรือ RAID-0 เวลาเขียนข้อมูลจะเขียนลงบนดิสก์ทั้งสองก้อนพร้อมกัน ทำให้ความเร็วเพิ่มขึ้น

หมายเหตุ การระบุออปชั่น “–level” เป็นแบบ “stripe” หรือ “raid-0″  ให้ผลเหมือนกัน

[root@fc10-disk ~]# mdadm --create --verbose /dev/md0 --level=stripe --raid-devices=2 /dev/sdc1 /dev/sdd1
mdadm: chunk size defaults to 64K
mdadm: /dev/sdc1 appears to be part of a raid array:
    level=linear devices=2 ctime=Sun Jun  7 13:28:06 2009
mdadm: /dev/sdd1 appears to be part of a raid array:
    level=linear devices=2 ctime=Sun Jun  7 13:28:06 2009
Continue creating array? y
mdadm: array /dev/md0 started.

ตรวจสอบสถานะของดิสก์

[root@fc10-disk ~]# mdadm --detail /dev/md0
/dev/md0:
        Version : 0.90
  Creation Time : Sun Jun  7 13:40:02 2009
     Raid Level : raid0
     Array Size : 390716672 (372.62 GiB 400.09 GB)
   Raid Devices : 2
  Total Devices : 2
Preferred Minor : 0
    Persistence : Superblock is persistent

    Update Time : Sun Jun  7 13:40:02 2009
          State : clean
 Active Devices : 2
Working Devices : 2
 Failed Devices : 0
  Spare Devices : 0

     Chunk Size : 64K

           UUID : 1ee50769:2becc762:fb9a3596:c284b115
         Events : 0.1

    Number   Major   Minor   RaidDevice State
       0       8       33        0      active sync   /dev/sdc1
       1       8       49        1      active sync   /dev/sdd1

สร้าง filesystem เป็นแบบ xfs และ mount เข้ากับพาธที่สร้างไว้

[root@fc10-disk ~]# mkfs.xfs -f /dev/md0
[root@fc10-disk ~]# mount /dev/md0 /mnt/md0/

ดูขนาด filesystem ที่สร้างได้

[root@fc10-disk ~]# cd /mnt/md0/
[root@fc10-disk md0]# df -k .
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/md0             390585344      4640 390580704   1% /mnt/md0

ทดสอบความเร็วการเขียนข้อมูลบนดิสก์ RAID-0

[root@fc10-disk md0]# dd if=/dev/zero of=file-2g.bin bs=1000000 count=2000
2000+0 records in
2000+0 records out
2000000000 bytes (2.0 GB) copied, 20.7292 s, 96.5 MB/s

ความเร็วที่ได้ใกล้เคียงกับผลรวมของความเร็วในการเขียนข้อมูลลงดิสก์แต่ละก้อน

ยกเลิกการ mount ดิสก์ และปิด (stop) การใช้ดิสก์แบบ “stripe”

[root@fc10-disk md0]# cd
[root@fc10-disk ~]# umount /mnt/md0
[root@fc10-disk ~]# mdadm --stop /dev/md0
mdadm: stopped /dev/md0
[root@fc10-disk ~]# cat /proc/mdstat
Personalities : [linear] [raid0]
unused devices: <none>

ข้อมูลอ้างอิง

• เปรียบเทียบ RAID-0 จากคำสั่ง mdadm และ lvm ตอนที่ 2
• เปรียบเทียบ RAID-0 จากคำสั่ง mdadm และ lvm ตอนที่ 3
  
• การสร้าง Software RAID บนลินุกซ์

หลังจากที่ได้ทดลองติดตั้ง Fedora 10 เลยเกิดความลังเลว่าจะเปลี่ยน filesystem เป็นแบบใหม่หรือไม่ เลยลองรันคำสั่งง่ายๆ เพื่อทดสอบประสิทธิภาพการสร้าง การลบไฟล์ เป็นต้น

หมายเหตุ

• ตอนติดตั้ง Fedora 10 ถ้าต้องการเลือก parition ที่เป็นแบบ ext4 ต้องระบุออปชั่นเพิ่มเติมตอนที่อยู่ในเมนูบู๊ตจากแผ่นดีวีดีติดตั้ง คือกดปุ่ม [Tab] แล้วพิมพ์เว้นวรรคแล้วต่อท้ายคำว่า ext4
• partition ที่ใช้สำหรับ boot หรือ (/boot) ไม่สามารถทำเป็น ext4 หรือ xfs ได้ ต้องใช้เป็น ext3

ระบบที่ใช้ทดสอบ

ตอนติดตั้ง Fedora 10 สร้าง partition ขนาด 2 GB เพิ่มเติมจำนวน 3 partition เลือก filesystem แตกต่างกัน คือ ext3, ext4, xfs แล้วตั้งชื่อ mount point ตามชนิด filesystem ดังนี้

[root@fc10-fs ~]# df -k
...
/dev/sda9              2023920     35836   1885272   2% /mnt/ext3
/dev/sda10             2023920     35792   1885316   2% /mnt/ext4
/dev/sda11             2046048      4256   2041792   1% /mnt/xfs

[root@fc10-fs ~]# mount
...
/dev/sda9 on /mnt/ext3 type ext3 (rw)
/dev/sda10 on /mnt/ext4 type ext4 (rw)
/dev/sda11 on /mnt/xfs type xfs (rw)

การสร้างไฟล์ 1 GB

ใช้คำสั่ง dd เพื่อสร้างไฟล์ขนาด 1 GB ตามตัวอย่างด้านล่าง

[root@fc10-fs ~]# dd if=/dev/zero of=/mnt/ext3/file-1G.bin bs=1000000 count=1000

เวลาที่ใช้ในการสร้างไฟล์ขนาด 1 GB

ext3: 18.0096 s   (55.5 MB/s)
ext4: 14.2582 s   (70.1 MB/s)
xfs:  13.0057 s   (76.9 MB/s)

ขนาด partition ที่ใช้ไปจากการสร้างไฟล์ 1 GB

[root@fc10-fs ~]# df -k
...
/dev/sda9              2023920   1013360    907748  53% /mnt/ext3
/dev/sda10             2023920   1012360    908748  53% /mnt/ext4
/dev/sda11             2046048    980820   1065228  48% /mnt/xfs

การลบไฟล์ 1 GB

ใช้คำสั่ง rm เพื่อลบไฟล์ขนาด 1 GB ตามตัวอย่างด้านล่าง

[root@fc10-fs ~]# rm -f /mnt/ext3/file-1G.bin

เวลาที่ใช้ในการลบไฟล์ขนาด 1 GB

ext3: 0.095 s
ext4: 0.073 s
xfs:  0.592 s

การสร้างไฟล์ขนาด 1 MB จำนวน 1000 ไฟล์

เขียน shell script เพื่อเรียกคำสั่ง dd เพื่อสร้างไฟล์ขนาด 1 MB จำนวน 1000 ไฟล์ ตามตัวอย่างด้านล่าง

i=1
while [ $i -le 1000 ]; do
 dd if=/dev/zero of=/mnt/ext3/file-1M-$i.bin bs=1000000 count=1 > /dev/null 2>&1
  i=`expr $i + 1`
done

เวลาที่ใช้ในการสร้างไฟล์ขนาด 1 MB จำนวน 1000 ไฟล์

ext3: 50.916 s
ext4: 46.584 s
xfs:  44.516 s

ขนาด partition ที่ใช้ไปจากการสร้างไฟล์ 1 MB จำนวน 1000 ไฟล์

[root@fc10-fs ~]# df -k
...
/dev/sda9              2023920   1019872    901236  54% /mnt/ext3
/dev/sda10             2023920   1015896    905212  53% /mnt/ext4
/dev/sda11             2046048    985268   1060780  49% /mnt/xfs

การลบไฟล์ขนาด 100 MB จำนวน 100 ไฟล์

ใช้คำสั่ง rm เพื่อลบไฟล์ ตามตัวอย่างด้านล่าง

[root@fc10-fs ~]# rm -f /mnt/ext3/file*

เวลาที่ใช้ในการลบไฟล์ขนาด 1 MB จำนวน 1000 ไฟล์

ext3: 0.432 s
ext4: 0.178 s
xfs:  0.845 s

copy ไฟล์ขนาด 500 MB ใน partition เดียวกัน

ใช้คำสั่ง dd เพื่อสร้างไฟล์ขนาด 500 MB แล้วใช้คำสั่ง cp เพื่อ copy เป็นอีกไฟล์หนึ่ง ใน partition เดียวกัน

[root@fc10-fs ~]# dd if=/dev/zero of=/mnt/ext3/file-500M.bin bs=1000000 count=500
[root@fc10-fs ~]# cp /mnt/ext3/file-500M.bin /mnt/ext3/file-500M-copy.bin

เวลาที่ใช้ในการ copy ไฟล์ขนาด 500 MB

ext3: 1m 44.266 s
ext4: 1m 40.074 s
xfs:  1m 12.585 s

ระบบทดสอบ

• Host OS รัน VMware Server 1.0.7
• Guest OS ติดตั้ง Fedora 10 (i386)

การเพิ่มดิสก์ใน VMware Server

ก่อนที่จะเพิ่มดิสก์ได้ ต้อง shutdown ตัว Guest OS ก่อน หลังจากปิดเรียบร้อย ใช้โปรแกรม VMware Server Console เพื่อแก้ไขค่าคอนฟิกของ Guest OS ดังนี้

• คลิ้กที่ลิงค์ “Edit virtual machine settings” ในแท็ปของ Guest OS ที่ต้องการแก้ไข
• ในหน้า Virtual Machine Settings แท็ป Hardware กดปุ่ม [Add...]
• จะเข้าสู่หน้า Add Hardware Wizard กดปุ่ม [Next >]
• เลือก Hardware Type เป็น “Hard Disk” แล้วกดปุ่ม [Next >]
• ในหน้า Select a Disk เลือกชนิดเป็น “Create a new virtual disk” แล้วกดปุ่ม [Next >]
• เลือก Virtual Disk Type เป็น “SCSI (Recommended)” แล้วกดปุ่ม [Next >]
• ใส่ขนาด Disk capacity ที่ต้องการ โดยหน่วยจะเป็น GB สามารถดูตารางด้านล่างเพื่อเปรียบเทียบขนาดที่ต้องระบุใน VMware Server เทียบกับขนาดที่คำสั่ง fdisk ในลินุกซ์จะเห็น (หมายเหตุ สำหรับการทดลอง ในการระบุ Disk Capacity แนะนำให้คลิ้กไม่เลือก “Allocate all disk space now” และ “Split disk into 2 GB files” ออกไป
• ในหน้า Specify Disk File ใส่ชื่อไฟล์ที่ใช้เก็บดิสก์ใน VMware ที่สร้างขึ้น แล้วกดปุ่ม [Finish]
• กดปุ่ม Power On ใน VMware Server Console เพื่อเปิด Guest OS อีกครั้ง

ตารางเปรียบเทียบค่าที่ต้องระบุ (GB) ใน VMware Server และขนาดที่คำสั่ง fdisk ในลินุกซ์มองเห็น

   ----------------   -----
   VMware Disk Size   fdisk
   ----------------   -----
      37.3               40
     111.8              120
     232.9              250
     298.1              320
     372.6              400
     465.7              500
     931.4             1000

ส่วนที่เหลือจะเป็นการเปรียบเทียบค่าต่างๆ ที่ได้จากการระบุดิสก์ขนาดต่างๆ

Disk 40 GB

[root@vmware-disk ~]# fdisk -l /dev/sdb

Disk /dev/sdb: 40.0 GB, 40050569728 bytes
255 heads, 63 sectors/track, 4869 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x4fa7e4c7

   Device Boot      Start         End      Blocks   Id  System
/dev/sdb1               1        4869    39110211   83  Linux

[root@vmware-disk ~]# mkfs.ext3 /dev/sdb1
[root@vmware-disk ~]# mkdir /mnt/40G
[root@vmware-disk ~]# mount /dev/sdb1 /mnt/40G

[root@vmware-disk ~]# df -h /mnt/40G/
Filesystem            Size  Used Avail Use% Mounted on
/dev/sdb1              37G  177M   35G   1% /mnt/40G

Disk 120 GB

[root@vmware-disk ~]# fdisk -l /dev/sdc

Disk /dev/sdc: 120.0 GB, 120044335616 bytes
255 heads, 63 sectors/track, 14594 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x0ccd4dcd

   Device Boot      Start         End      Blocks   Id  System
/dev/sdc1               1       14594   117226273+  83  Linux

[root@vmware-disk ~]# mkfs.ext3 /dev/sdc1
[root@vmware-disk ~]# mkdir /mnt/120G
[root@vmware-disk ~]# mount /dev/sdc1 /mnt/120G

[root@vmware-disk ~]# df -h /mnt/120G/
Filesystem            Size  Used Avail Use% Mounted on
/dev/sdc1             111G  188M  105G   1% /mnt/120G

Disk 250 GB

[root@vmware-disk ~]# fdisk -l /dev/sdd

Disk /dev/sdd: 250.0 GB, 250074470400 bytes
255 heads, 63 sectors/track, 30403 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x341bd7b6

   Device Boot      Start         End      Blocks   Id  System
/dev/sdd1               1       30403   244212066   83  Linux

[root@vmware-disk ~]# mkfs.ext3 /dev/sdd1
[root@vmware-disk ~]# mkdir /mnt/250G
[root@vmware-disk ~]# mount /dev/sdd1 /mnt/250G

[root@vmware-disk ~]# df -h /mnt/250G/
Filesystem            Size  Used Avail Use% Mounted on
/dev/sdd1             230G  188M  218G   1% /mnt/250G

Disk 320 GB

[root@vmware-disk ~]# fdisk -l /dev/sde

Disk /dev/sde: 320.0 GB, 320082437632 bytes
255 heads, 63 sectors/track, 38914 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x254c4f2d

   Device Boot      Start         End      Blocks   Id  System
/dev/sde1               1       38914   312576673+  83  Linux

[root@vmware-disk ~]# mkfs.ext3 /dev/sde1
[root@vmware-disk ~]# mkdir /mnt/320G
[root@vmware-disk ~]# mount /dev/sde1 /mnt/320G

[root@vmware-disk ~]# df -h /mnt/320G/
Filesystem            Size  Used Avail Use% Mounted on
/dev/sde1             294G  191M  279G   1% /mnt/320G

Disk 400 GB

[root@vmware-disk ~]# fdisk -l /dev/sdf

Disk /dev/sdf: 400.0 GB, 400076203520 bytes
255 heads, 63 sectors/track, 48639 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x3d2e7cad

   Device Boot      Start         End      Blocks   Id  System
/dev/sdf1               1       48639   390692736   83  Linux

[root@vmware-disk ~]# mkfs.ext3 /dev/sdf1
[root@vmware-disk ~]# mkdir /mnt/400G
[root@vmware-disk ~]# mount /dev/sdf1 /mnt/400G

[root@vmware-disk ~]# df -h /mnt/400G/
Filesystem            Size  Used Avail Use% Mounted on
/dev/sdf1             367G  195M  348G   1% /mnt/400G

Disk 500 GB

[root@vmware-disk ~]# fdisk -l /dev/sdg

Disk /dev/sdg: 500.0 GB, 500041567232 bytes
255 heads, 63 sectors/track, 60793 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0xe76bfa8e

   Device Boot      Start         End      Blocks   Id  System
/dev/sdg1               1       60793   488319741   83  Linux

[root@vmware-disk ~]# mkfs.ext3 /dev/sdg1
[root@vmware-disk ~]# mkdir /mnt/500G
[root@vmware-disk ~]# mount /dev/sdg1 /mnt/500G

[root@vmware-disk ~]# df -h /mnt/500G/
Filesystem            Size  Used Avail Use% Mounted on
/dev/sdg1             459G  199M  435G   1% /mnt/500G

Disk 1000 GB (1 TB)

[root@vmware-disk ~]# fdisk -l /dev/sdh

Disk /dev/sdh: 1000.0 GB, 1000083134464 bytes
255 heads, 63 sectors/track, 121586 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x96fd10a2

   Device Boot      Start         End      Blocks   Id  System
/dev/sdh1               1      121586   976639513+  83  Linux

[root@vmware-disk ~]# mkfs.ext3 /dev/sdh1
[root@vmware-disk ~]# mkdir /mnt/1000G
[root@vmware-disk ~]# mount /dev/sdh1 /mnt/1000G

[root@vmware-disk ~]# df -h /mnt/1000G/
Filesystem            Size  Used Avail Use% Mounted on
/dev/sdh1             917G  200M  871G   1% /mnt/1000G