ดังนั้นขณะที่เครื่องที่ 1 (centos54-a) ทำหน้าที่เป็น primary ของดิสก์ drbd0 อยู่  เครื่องที่ 2 (centos54-b) จะไม่สามารถ mount ดิสก์ drbd0 นี้ขึ้นมาใช้งานได้

ในบทความนี้จะแสดงการทดสอบใช้คำสั่งเพื่อเปลี่ยนโหมด Primary, Secondary ระหว่างเครื่องทั้งสอง

ตรวจสอบสถานะบนเครื่อง centos54-a

[root@centos54-a ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs         ro                 ds                 p  mounted  fstype
0:r0   Connected  Primary/Secondary  UpToDate/UpToDate  C  /export  ext3

[root@centos54-a ~]# df -h /export
Filesystem            Size  Used Avail Use% Mounted on
/dev/drbd0            950M   18M  885M   2% /export

ทดสอบ mount ดิสก์บนเครื่อง centos54-b

[root@centos54-b ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs         ro                 ds                 p  mounted  fstype
0:r0   Connected  Secondary/Primary  UpToDate/UpToDate  C

[root@centos54-b ~]# mount /dev/drbd0 /export
mount: block device /dev/drbd0 is write-protected, mounting read-only
mount: Wrong medium type

ในกรณีที่ต้องการเปลี่ยนให้เครื่องที่ 2 (centos54-b) ทำหน้าที่เป็น primary  เช่นในกรณีที่ต้องการซ่อมบำรุงเครื่องที่ 1 สามารถทำได้ดังนี้

บนเครื่องที่ 1 ปิดเซอร์วิส DRBD

[root@centos54-a ~]# service drbd stop
Stopping all DRBD resources:
.
[root@centos54-a ~]# service drbd status
drbd not loaded

ตรวจสอบสถานะบนเครื่องที่ 2 หลังจากปิดเซอร์วิสบนเครื่องที่ 1

[root@centos54-b ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs            ro                 ds                 p  mounted  fstype
0:r0   WFConnection  Secondary/Unknown  UpToDate/DUnknown  C

แม้เครื่อง Primary ปิดไปแล้ว บนเครื่องที่ 2 ที่ยังอยู่ในโหมด Secondary ก็ยัง mount ดิสก์ ไม่ได้

[root@centos54-b ~]# mount /dev/drbd0 /export
mount: block device /dev/drbd0 is write-protected, mounting read-only
mount: Wrong medium type

ต้องเปลี่ยนสถานะบนเครื่องที่ 2 ให้เป็น primary ด้วยคำสั่ง drbdadm primary

[root@centos54-b ~]# drbdadm primary all

ตรวจสอบสถานะบนเครื่องที่ 2

[root@centos54-b ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs            ro               ds                 p  mounted  fstype
0:r0   WFConnection  Primary/Unknown  UpToDate/DUnknown  C

เมื่ออยู่ในโหมด primary แล้ว ก็สามารถ mount ดิสก์ขึ้นมาใช้งานได้

[root@centos54-b ~]# mount /dev/drbd0 /export
[root@centos54-b ~]# df -h /export
Filesystem            Size  Used Avail Use% Mounted on
/dev/drbd0            950M   18M  885M   2% /export

ทดลองสร้างไฟล์ในดิสก์ drbd0

[root@centos54-b ~]# cd /export/
[root@centos54-b export]# ls
lost+found
[root@centos54-b export]# echo "hello world from node 2" > test-file-on-node-2.txt
[root@centos54-b export]# ls -l
total 20
drwx------ 2 root root 16384 Feb  6 15:46 lost+found
-rw-r--r-- 1 root root    24 Feb  6 17:17 test-file-on-node-2.txt

รันเซอร์วิส DRBD บนเครื่องที่ 1 ขึ้นมาอีกครั้ง ตอนนี้เครื่องที่ 1 จะทำหน้าที่เป็น Secondary และจะทำการ replicate ข้อมูลมาจากเครื่องที่ 2 (Primary) โดยอัตโนมัติ

[root@centos54-a ~]# service drbd start
Starting DRBD resources: [ d(r0) s(r0) n(r0) ].

[root@centos54-a ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs         ro                 ds                 p  mounted  fstype
0:r0   Connected  Secondary/Primary  UpToDate/UpToDate  C

บนเครื่องที่ 2 เปลี่ยนให้เป็นโหมด Secondary

[root@centos54-b ~]# drbdadm secondary all
0: State change failed: (-12) Device is held open by someone
Command 'drbdsetup 0 secondary' terminated with exit code 11

หากมีการเรียกใช้ดิสก์ drbd อยู่ จะไม่สามารถเปลี่ยนโหมดจาก Primary ไปเป็น Secondary ได้ ต้อง umount ดิสก์ออกไปก่อนถึงจะเปลี่ยนโหมดได้

[root@centos54-b ~]# umount /export
[root@centos54-b ~]# drbdadm secondary all

ตรวจสอบสถานะบนเครื่องที่ 2

[root@centos54-b ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs         ro                   ds                 p  mounted  fstype
0:r0   Connected  Secondary/Secondary  UpToDate/UpToDate  C

เปลี่ยนโหมดบนเครื่องที่ 1 ให้เป็น Primary เพื่อเรียกใช้ดิสก์ได้

[root@centos54-a ~]# drbdadm primary all
[root@centos54-a ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs         ro                 ds                 p  mounted  fstype
0:r0   Connected  Primary/Secondary  UpToDate/UpToDate  C

mount ดิสก์ และตรวจสอบไฟล์ที่อยู่ใน drbd0 จะเห็นไฟล์ที่สร้างจากเครื่องที่ 2

[root@centos54-a ~]# mount /dev/drbd0 /export
[root@centos54-a ~]# cd /export/
[root@centos54-a export]# ls -l
total 20
drwx------ 2 root root 16384 Feb  6 15:46 lost+found
-rw-r--r-- 1 root root    24 Feb  6 17:17 test-file-on-node-2.txt
[root@centos54-a export]# cat test-file-on-node-2.txt
hello world from node 2

ตรวจสอบไฟล์ /var/log/messages

เมื่อมีปัญหาเกี่ยวกับการใช้ DBRD นอกจากการใช้คำสั่ง service เพื่อตรวจสอบสถานะแล้ว ไฟล์ /var/log/messages จะแสดงการเปลี่ยนแปลงทั้งหมดของ DRBD ที่เกิดขึ้น ซึ่งสามารถนำมาใช้ช่วยในการแก้ปัญหาได้

ตัวอย่างข้อความในไฟล์ /var/log/messages ที่เกิดขึ้น เมื่อมีการเปลี่ยนโหมด

[root@centos54-a ~]# tail /var/log/messages
...
Feb  6 17:19:38 centos54-a kernel: block drbd0: peer( Primary -> Secondary )
Feb  6 17:21:04 centos54-a kernel: block drbd0: role( Secondary -> Primary )
...

ข้อมูลอ้างอิง

• ติดตั้งและคอนฟิก DRBD

เมื่อมีการเปลี่ยนแปลงข้อมูลที่อยูในดิสก์เครื่องหนึ่ง (primary) การเปลี่ยนแปลงนั้นจะถูก replicate ไปยังอีกเครื่อง (secondary) โดยอัตโนมัติ

DRBD ประกอบด้วยสองส่วนคือ

1. Kernel module – DRBD ทำหน้าที่ใน kernel โดยจะสร้าง virtual block device คั่นกลางระหว่าง physical disk กับ filesystem ที่สร้างอยู่ ไม่ว่าจะเป็น ext3, ext4, xfs
2. User space administration tools – เป็นโปรแกรมที่ช่วยในการจัดการ DRBD ได้ง่ายขึ้น หลักๆ จะเป็น drbdadm

ในบทความนี้จะแสดงการติดตั้งโปรแกรม DRBD และคอนฟิกเป็นแบบ Single-primary mode คือ ณ เวลาใดเวลาหนึ่ง มีเครื่องเดียวเท่านั้นที่สามารถ อ่าน เขียน ข้อมูลได้

คำเตือน ติดตั้งและคอนฟิก DRBD บนเครื่องทดสอบให้เข้าใจก่อน เพราะบางคำสั่งอาจกระทบข้อมูลดิสก์หรือ partition ที่มีอยู่ในเครื่องได้ ทำให้ข้อมูลเสียหายได้

ระบบสำหรับการทดสอบ

ในที่นี้จะติดตั้ง CentOS 5.4 พร้อมคอนฟิกให้สองเครื่องติดต่อ ping กันได้ และปิดคุณสมบัติ firewall ทั้งหมด

เครื่องที่ 1

• Hostname:   centos54-a.spalinux.com
• IP Address: 10.3.3.51

เครื่องที่ 2

• Hostname:   centos54-b.spalinux.com
• IP Address: 10.3.3.52

แก้ไขไฟล์ /etc/hosts เพื่อให้ทั้งสองเครื่องอ้างอิงจากชื่อเครื่องได้

ตัวอย่างคอนฟิกของเครื่องที่ 1

[root@centos54-a ~]# hostname
centos54-a.spalinux.com

[root@centos54-a ~]# cat /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1       localhost.localdomain localhost
::1             localhost6.localdomain6 localhost6

10.3.3.51       centos54-a centos54-a.spalinux.com
10.3.3.52       centos54-b centos54-b.spalinux.com

ตัวอย่างคอนฟิกของเครื่องที่ 2

[root@centos54-b ~]# hostname
centos54-b.spalinux.com

[root@centos54-b ~]# cat /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1       localhost.localdomain localhost
::1             localhost6.localdomain6 localhost6

10.3.3.51       centos54-a centos54-a.spalinux.com
10.3.3.52       centos54-b centos54-b.spalinux.com

ทั้งสองเครื่อง ต้องสร้าง partition สำหรับใช้เป็นดิสก์ DRBD โดยไม่ต้องสร้าง filesystem ใดๆ ทั้งสิ้นบน partition นี้ สมมติว่าเป็น /dev/sda5 บนทั้งสองเครื่อง

หมายเหตุ

• แนะนำให้สร้าง partition ทั้งสองเครื่องให้เหมือนกัน ขนาดเท่ากัน จะได้ง่ายต่อการคอนฟิก
• สำหรับการทดสอบเริ่มต้น แนะนำให้สร้างขนาด partition เล็กๆ ก่อน จะได้ใช้เวลาในการ sync ข้อมูลไม่นานมากนัก ในบทความนี้สร้างประมาณ 1 GBytes

ติดตั้งโปรแกรม DRBD

ไฟล์ติดตั้ง DRBD ในรูปแบบ rpm ของ CentOS 5.4 นั้น ไม่อยู่ในแผ่นดีวีดีติดตั้ง แต่จะอยู่ในส่วนของ extras สำหรับในเมืองไทยสามารถดาวน์โหลดได้จาก http://www.mirror.in.th/osarchive/centos/5.4/extras/

ดาวน์โหล์ด และติดตั้งไฟล์ rpm สองไฟล์ บนเครื่องทั้งสอง

• drbd83-8.3.2-6.el5_3.x86_64.rpm  – “User space administration tools”
• kmod-drbd83-8.3.2-6.el5_3.x86_64.rpm  – “Kernel Module”

ใช้คำสั่ง rpm เพื่อติดตั้ง

[root@centos54-a ~]# rpm -ivh drbd83-8.3.2-6.el5_3.x86_64.rpm
Preparing...                ########################################### [100%]
   1:drbd83                 ########################################### [100%]
[root@centos54-a ~]# rpm -ivh kmod-drbd83-8.3.2-6.el5_3.x86_64.rpm
Preparing...                ########################################### [100%]
   1:kmod-drbd83            ########################################### [100%]

คอนฟิก DRBD บนเครื่องที่ 1 (primary)

ไฟล์คอนฟิกหลักของ DRBD คือไฟล์ /etc/drbd.conf ต้องมีการแก้ไขไฟล์นี้ก่อนถึงจะเริ่มใช้งานได้ โดยมีไฟล์ตัวอย่างคอนฟิกอยู่ใน /usr/share/doc/drbd83/drbd.conf

ไฟล์คอนฟิก /etc/drbd.conf จากการติดตั้ง

[root@centos54-a ~]# cat /etc/drbd.conf
#
# please have a a look at the example configuration file in
# /usr/share/doc/drbd83/drbd.conf
#

สร้างไฟล์คอนฟิก /etc/drbd.conf บนเครื่องที่ 1 “centos54-a.spalinux.com” ดังนี้

[root@centos54-a ~]# cat /etc/drbd.conf
global {
    usage-count no;
}

common {
    syncer { rate 10M; }
}

resource r0 {
    protocol C;

    net {
        cram-hmac-alg "sha1";
        shared-secret "test1234";
    }

    on centos54-a.spalinux.com {
        device /dev/drbd0;
        disk /dev/sda5;
        address 10.3.3.51:8888;
        meta-disk internal;
    }

    on centos54-b.spalinux.com {
        device /dev/drbd0;
        disk /dev/sda5;
        address 10.3.3.52:8888;
        meta-disk internal;
    }
}

คำอธิบายเบื้องต้น

• shared-secret เป็นการกำหนดรหัสของเครื่องที่สามารถ replicate ข้อมูลกันได้ 
• r0 เป็นชื่อ resource ของ DRBD สามารถตั้งเป็นชื่อใดๆ ก็ได้ เพื่อสื่อความหมาย
• on ตามด้วยชื่อ hostname ที่ต้องการ replicate ข้อมูลกัน ส่วนในวงเล็บ { เป็นการกำหนดคอนฟิกของแต่ละเครื่อง
• disk คือชื่อ partition ที่สร้างไว้สำหรับการทำ DRBD ในที่นี้คือ /dev/sda5

ใช้คำสั่ง drbadm create-md เพื่อสร้าง meta data บน partition ที่จะทำเป็น DRBD

[root@centos54-a ~]# drbdadm create-md all
Writing meta data...
initializing activity log
NOT initialized bitmap
New drbd meta data block successfully created.

หาก partition ที่คอนฟิกเป็น DRBD มี filesystem อยู่ก่อนแล้ว จะไม่สามารถสร้าง DRBD ได้

[root@centos54-a ~]# drbdadm create-md all
md_offset 1011671040
al_offset 1011638272
bm_offset 1011605504

Found ext3 filesystem which uses 987964 kB
current configuration leaves usable 987896 kB

Device size would be truncated, which
would corrupt data and result in
'access beyond end of device' errors.
You need to either
   * use external meta data (recommended)
   * shrink that filesystem first
   * zero out the device (destroy the filesystem)
Operation refused.

Command 'drbdmeta 0 v08 /dev/sda5 internal create-md' terminated with exit code 40
drbdadm create-md r0: exited with code 40

วิธีการแก้ไขคือต้องลบข้อมูลของ filesystem บน partition /dev/sda5 นี้ออก วิธีการง่ายสุดคือใช้คำสั่ง dd

คำเตือน คำสั่ง dd จะลบข้อมูลทั้งหมดบน partition ที่ระบุ

[root@centos54-a ~]# dd if=/dev/zero of=/dev/sda5
dd: writing to `/dev/sda5': No space left on device
1975933+0 records in
1975932+0 records out
1011677184 bytes (1.0 GB) copied, 87.2749 seconds, 11.6 MB/s

แล้วถึงสามารถสร้าง meta data ของ DRBD ได้

[root@centos54-a ~]# drbdadm create-md all
Writing meta data...
initializing activity log
NOT initialized bitmap
New drbd meta data block successfully created.

ใช้คำสั่ง service เพื่อรันเซอร์วิส DRBD

[root@centos54-a ~]# service drbd start
Starting DRBD resources: [ d(r0) s(r0) n(r0) ]..........
***************************************************************
 DRBD's startup script waits for the peer node(s) to appear.
 - In case this node was already a degraded cluster before the
   reboot the timeout is 0 seconds. [degr-wfc-timeout]
 - If the peer was available before the reboot the timeout will
   expire after 0 seconds. [wfc-timeout]
   (These values are for resource 'r0'; 0 sec -> wait forever)
 To abort waiting enter 'yes' [  20]:yes

ในครั้งแรกที่รันเซอร์วิส บนเครื่อง primary โปรแกรมจะรอให้เครื่อง peer (secondary) เข้ามาเชื่อมต่อ หากไม่ต้องการให้รอ ให้พิมพ์คำว่า “yes” แล้ว [Enter]

ใช้คำสั่ง service status เพื่อตรวจสอบสถานะของ DRBD

[root@centos54-a ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs            ro                 ds                     p  mounted  fstype
0:r0   WFConnection  Secondary/Unknown  Inconsistent/DUnknown  C

หรืออ่านจากไฟล์ /proc/drbd โดยตรง

[root@centos54-a ~]# cat /proc/drbd
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
 0: cs:WFConnection ro:Secondary/Unknown ds:Inconsistent/DUnknown C r----
    ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:987896

สร้างไดเรคทอรี /export สำหรับทดสอบ mount เพื่อใช้ดิสก์ drbd ที่สร้างขึ้น

[root@centos54-a ~]# mount /dev/drbd0 /export
mount: block device /dev/drbd0 is write-protected, mounting read-only
mount: Wrong medium type

ดิสก์นี้ยังไม่สามารถใช้ได้ ต้องใช้คำสั่ง drbdadm primary คอนฟิกให้ดิสก์ drbd บนเครื่องนี้ทำหน้าที่เป็น primary เพื่อให้สามารถ อ่าน เขียน ข้อมูลจากดิสก์ได้

[root@centos54-a ~]# drbdadm primary all
0: State change failed: (-2) Refusing to be Primary without at least one UpToDate disk
Command 'drbdsetup 0 primary' terminated with exit code 17

หากเป็นการเรียกใช้ครั้งแรก ต้องระบุออปชั่นดังนี้

[root@centos54-a ~]# drbdadm -- --overwrite-data-of-peer primary all
[root@centos54-a ~]#

ตรวจสอบสถานะ drbd อีกครั้ง สังเกตว่า ฟิลด์ ro จะเปลี่ยนจาก Seconday เป็น Primary และฟิลด์ ds จะเปลี่ยนจาก Inconsistent เป็น UpToDate

[root@centos54-a ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs            ro               ds                 p  mounted  fstype
0:r0   WFConnection  Primary/Unknown  UpToDate/DUnknown  C

ทดสอบการ mount ดิสก์อีกครั้ง

[root@centos54-a ~]# mount /dev/drbd0 /export
mount: you must specify the filesystem type

ก็ยังไม่สามารถ mount ได้ เพราะยังไม่มี filesystem บน /dev/drbd0

รันคำสั่ง mkfs.ext3 เพื่อสร้าง filesystem แบบ ext3

[root@centos54-a ~]# mkfs.ext3 /dev/drbd0
mke2fs 1.39 (29-May-2006)
Filesystem label=
OS type: Linux
Block size=4096 (log=2)
Fragment size=4096 (log=2)
123648 inodes, 246974 blocks
12348 blocks (5.00%) reserved for the super user
First data block=0
Maximum filesystem blocks=255852544
8 block groups
32768 blocks per group, 32768 fragments per group
15456 inodes per group
Superblock backups stored on blocks:
        32768, 98304, 163840, 229376

Writing inode tables: done
Creating journal (4096 blocks): done
Writing superblocks and filesystem accounting information: done

This filesystem will be automatically checked every 36 mounts or
180 days, whichever comes first.  Use tune2fs -c or -i to override.

ทดสอบการ mount อีกครั้ง จะสามารถใช้งานได้แล้ว

[root@centos54-a ~]# mount /dev/drbd0 /export

ตรวจสอบสถานะ DRBD

[root@centos54-a ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs            ro               ds                 p  mounted  fstype
0:r0   WFConnection  Primary/Unknown  UpToDate/DUnknown  C  /export  ext3

คอนฟิก DRBD บนเครื่องที่ 2 (secondary)

สร้างไฟล์คอนฟิก /etc/drbd.conf บนเครื่องที่ 2 เหมือนกับไฟล์ในเครื่องที่ 1

[root@centos54-b ~]# cat /etc/drbd.conf
global {
    usage-count no;
}

common {
    syncer { rate 10M; }
}

resource r0 {
    protocol C;

    net {
        cram-hmac-alg "sha1";
        shared-secret "test1234";
    }

    on centos54-a.spalinux.com {
        device /dev/drbd0;
        disk /dev/sda5;
        address 10.3.3.51:8888;
        meta-disk internal;
    }

    on centos54-b.spalinux.com {
        device /dev/drbd0;
        disk /dev/sda5;
        address 10.3.3.52:8888;
        meta-disk internal;
    }
}

ใช้คำสั่ง drbadm create-md เพื่อสร้าง meta data บน partition ที่จะทำเป็น DRBD

[root@centos54-b ~]# drbdadm create-md all
Writing meta data...
initializing activity log
NOT initialized bitmap
New drbd meta data block successfully created.

เช่นเดียวกัน หากมี filesystem อยู่บน partition ก่อนแล้ว ต้องใช้คำสั่ง dd เพื่อลบข้อมูลออก

ใช้คำสั่ง service เพื่อรันเซอร์วิส DRBD

[root@centos54-b ~]# service drbd start
Starting DRBD resources: [ d(r0) s(r0) n(r0) ].

เมื่อเริ่มต้นรันเซอร์วิส DRBD บนเครื่องที่ 2 จะเป็นการเริ่ม replicate ข้อมูลจากเครื่องที่ 1

ตรวจสอบสถานะ DRBD บนเครื่องที่ 2

[root@centos54-b ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs          ro                 ds                     p  mounted  fstype
...    sync'ed:    42.2%              (576248/987896)K
0:r0   SyncTarget  Secondary/Primary  Inconsistent/UpToDate  C

ตรวจสอบสถานะ DRBD บนเครื่องที่ 1

[root@centos54-a ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs          ro                 ds                     p  mounted  fstype
...    sync'ed:    43.0%              (567032/987896)K
0:r0   SyncSource  Primary/Secondary  UpToDate/Inconsistent  C  /export  ext3

เมื่อ replicate ข้อมูลเรียบร้อย (synced) ข้อมูลแล้ว สถานะจะเป็นดังนี้

ตรวจสอบสถานะ DRBD บนเครื่องที่ 2 เมื่อ synced ข้อมูลเรียบร้อย

[root@centos54-b ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs         ro                 ds                 p  mounted  fstype
0:r0   Connected  Secondary/Primary  UpToDate/UpToDate  C

ตรวจสอบสถานะ DRBD บนเครื่องที่ 1 เมื่อ synced ข้อมูลเรียบร้อย

[root@centos54-a ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs         ro                 ds                 p  mounted  fstype
0:r0   Connected  Primary/Secondary  UpToDate/UpToDate  C  /export  ext3

หลังจาก synced ข้อมูลระหว่างเครื่องเรียบร้อย เมื่อมีการเปลี่ยนแปลงข้อมูลในดิสก์บนเครื่องที่ 1 (primary) การเปลี่ยนแปลงนั้นจะถูก replicate ไปยังเครื่องที่ 2 (secondary) โดยอัตโนมัติ

ตัวอย่างการใช้คำสั่ง tcpdump  ตรวจสอบ packet ที่ส่งระหว่างเครื่องเพื่อการ replicate ข้อมูลของ DRBD

[root@centos54-b ~]# tcpdump -i eth0 -l -nn | grep 8888
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth0, link-type EN10MB (Ethernet), capture size 96 bytes
15:51:39.815802 IP 10.3.3.52.8888 > 10.3.3.51.42180: P 2834377596:2834377604(8) ack 2893184807 win 46 <nop,nop,timestamp 1772852 1818781>
15:51:39.816356 IP 10.3.3.51.42180 > 10.3.3.52.8888: P 1:9(8) ack 8 win 3216 <nop,nop,timestamp 1828655 1772852>
15:51:39.816394 IP 10.3.3.52.8888 > 10.3.3.51.42180: . ack 9 win 46 <nop,nop,timestamp 1772852 1828655>
15:51:44.888876 IP 10.3.3.1.4117 > 10.3.3.51.22: P 1560:1612(52) ack 1629 win 64271
15:51:49.815252 IP 10.3.3.51.42180 > 10.3.3.52.8888: P 9:17(8) ack 8 win 3216 <nop,nop,timestamp 1838655 1772852>
15:51:49.815330 IP 10.3.3.52.8888 > 10.3.3.51.42180: . ack 17 win 46 <nop,nop,timestamp 1782853 1838655>
15:51:49.815666 IP 10.3.3.52.8888 > 10.3.3.51.42180: P 8:16(8) ack 17 win 46 <nop,nop,timestamp 1782853 1838655>
15:51:49.847300 IP 10.3.3.51.42180 > 10.3.3.52.8888: . ack 16 win 3216 <nop,nop,timestamp 1838696 1782853>
15:51:50.937877 IP 10.3.3.51.8888 > 10.3.3.52.40284: . 3903780263:3903781711(1448) ack 2834246899 win 501 <nop,nop,timestamp 1839875 1683335>
...
[Ctrl-C]

ข้อมูลอ้างอิง

• DRBD
• CentOS 5.4 extras
• การใช้งาน DRBD เบื้องต้น

ติดตั้งไฟล์ rpm

ไฟล์ rpm ที่ต้องใช้ เพื่อคอนฟิกเครื่องให้ทำหน้าที่เป็น iSCSI target ได้ คือ “scsi-target-utils”

ตัวอย่างการติดตั้งไฟล์ rpm สำหรับ Fedora 11

[root@fc11-server ~]# rpm -i scsi-target-utils-0.9.5-1.fc11.x86_64.rpm
error: Failed dependencies:
        perl(Config::General) is needed by scsi-target-utils-0.9.5-1.fc11.x86_64

หากเจอ error แบบนี้ ต้องลงไฟล์ rpm ชื่อ perl-Config-General ก่อน

[root@fc11-server ~]# rpm -i perl-Config-General-2.42-2.fc11.noarch.rpm
[root@fc11-server ~]# rpm -i scsi-target-utils-0.9.5-1.fc11.x86_64.rpm

รันเซอร์วิส tgtd

รันเซอร์วิส tgtd (The Generic storage Target Daemon) ก่อน โดยใช้คำสั่ง service

[root@fc11-server ~]# /etc/init.d/tgtd start
Starting SCSI target daemon:                               [  OK  ]

สร้าง target ใหม่

ใช้คำสั่ง tgtadm เพื่อสร้าง target ใหม่ โดยพารามิเตอร์ที่ต้องระบุคือ target id (–tid) และชื่อ target (-T)

เราสามารถสร้างได้หลาย target ในเซิร์ฟเวอร์เครื่องหนึ่ง แต่ต้องมี id และชื่อแตกต่างกัน สำหรับ  id เราสามารถรันตัวเลขเริ่มจาก 1 ได้ ส่วนชื่อ target ที่นิยมกันจะตั้งชื่อในรูปแบบ iqn (iSCSI Qualified Name)

รูปแบบชื่อแบบ iqn

iqn.yyyy-mm.{reversed domain name}:resource_name

ในบทความนี้ตั้งชื่อเป็น iqn.2001-04.com.example:storage.test.disk-01

ตัวอย่างการสร้าง target ใหม่

[root@fc11-server ~]# tgtadm --lld iscsi --op new --mode target --tid 1 -T iqn.2001-04.com.example:storage.test.disk-01

หลังจากที่สร้างแล้ว สามารถใช้คำสั่ง tgtadm –op show เพื่อตรวจสอบคอนฟิก target ที่ทำงานอยู่ได้

[root@fc11-server ~]# tgtadm --lld iscsi --op show --mode target
Target 1: iqn.2001-04.com.example:storage.test.disk-01
    System information:
        Driver: iscsi
        State: ready
    I_T nexus information:
    LUN information:
        LUN: 0
            Type: controller
            SCSI ID: IET     00010000
            SCSI SN: beaf10
            Size: 0 MB
            Online: Yes
            Removable media: No
            Backing store: No backing store
    Account information:
    ACL information:

เพิ่ม logical unit เข้า target

เมื่อสร้าง target แล้ว จะยังไม่สามารถใช้งานได้ทันที ต้องเพิ่ม logical unit ที่จะทำหน้าที่เป็น storage ของ target นี้ก่อน

เราสามารถใช้ disk partition หรือ LVM logical volume เพื่อทำหน้าที่เป็น logical unit ได้ ในที่นี้จะใช้ disk partition /dev/sdb1

คำเตือน!!! ข้อมูลใน disk ที่จะใช้เป็น logical unit จะถูกทำลายทั้งหมด จาก initiator

ตัวอย่างการเพิ่ม logical unit เข้า target

[root@fc11-server ~]# tgtadm --lld iscsi --op new --mode logicalunit --tid 1 --lun 1 -b /dev/sdb1

ตรวจสอบหลังจากการเพิ่ม logical unit

[root@fc11-server ~]# tgtadm --lld iscsi --op show --mode target
Target 1: iqn.2001-04.com.example:storage.test.disk-01
    System information:
        Driver: iscsi
        State: ready
    I_T nexus information:
    LUN information:
        LUN: 0
            Type: controller
            SCSI ID: IET     00010000
            SCSI SN: beaf10
            Size: 0 MB
            Online: Yes
            Removable media: No
            Backing store: No backing store
        LUN: 1
            Type: disk
            SCSI ID: IET     00010001
            SCSI SN: beaf11
            Size: 40049 MB
            Online: Yes
            Removable media: No
            Backing store: /dev/sdb1
    Account information:
    ACL information:

คอนฟิก bind target

สุดท้ายต้องระบุการ bind เพื่อเป็นการอนุญาตให้เครื่อง client หรือ initiator สามารถเข้ามาใช้ (access) target ได้

เบื้องต้น เราจะอนุญาตทั้งหมดให้เข้ามาใช้ได้ ด้วยการระบบออปชั่น “-I ALL”

[root@fc11-server ~]# tgtadm --lld iscsi --op bind --mode target --tid 1 -I ALL

ตรวจสอบหลังจากคอนฟิก

[root@fc11-server ~]# tgtadm --lld iscsi --op show --mode target
Target 1: iqn.2001-04.com.example:storage.test.disk-01
    System information:
        Driver: iscsi
        State: ready
    I_T nexus information:
    LUN information:
        LUN: 0
            Type: controller
            SCSI ID: IET     00010000
            SCSI SN: beaf10
            Size: 0 MB
            Online: Yes
            Removable media: No
            Backing store: No backing store
        LUN: 1
            Type: disk
            SCSI ID: IET     00010001
            SCSI SN: beaf11
            Size: 40049 MB
            Online: Yes
            Removable media: No
            Backing store: /dev/sdb1
    Account information:
    ACL information:
        ALL

ทดสอบจาก iSCSI initiator

ทดสอบรันคำสั่ง iscsiadm -m discovery จากเครื่องอื่น เพื่อทดสอบการค้นหา target ที่เพิ่งสร้างขึ้น  สมมติว่าเคื่อง server ที่ทำหน้าที่ target มี ip address เป็น 192.168.1.1

[root@fc11-client ~]# iscsiadm -m discovery -t sendtargets -p 192.168.1.1
192.168.1.1:3260,1 iqn.2001-04.com.example:storage.test.disk-01

ข้อมูลอ้างอิง

• คอนฟิก iSCSI initiator บน Linux

iSCSI ทำงานในรูปแบบ Server-Client โดย ฝั่ง Client หรือเรียกว่า Initiator ทำหน้าที่ส่ง SCSI command ไปยัง storage ของ Server ปลายทาง ที่เรียกว่า Target

บทความนี้กล่าวถึงวิธีการติดตั้งโปรแกรมและคอนฟิก iSCSI ฝั่ง Client เพื่อให้สามารถเรียกใช้ดิสก์ (target) จาก server ได้ โดยฝั่ง server อาจเป็น Storage Array หรือ Server ที่ถูกคอนฟิกเพื่อทำหน้าที่เป็น target ได้

ตัวอย่างในบทความนี้ ถือว่าฝั่ง server คอนฟิกสร้าง volume ชื่อ “vol-01″ และอนุญาตให้เครื่องที่เราจะคอนฟิกสามารถใช้งานได้ (access)

ติดตั้งไฟล์ rpm

ตัวอย่างการติดตั้งไฟล์ rpm สำหรับ Fedora 11

[root@fc11-64a ~]# rpm -i iscsi-initiator-utils-6.2.0.870-8.fc11.x86_64.rpm

ค้นหา target

เริ่มต้น ต้องค้นหาชื่อ target ปลายทางจาก IP ที่ระบุ โดยใช้คำสั่ง iscsiadm โหมด discovery

[root@fc11-64a ~]# iscsiadm -m discovery -t sendtargets -p 192.168.1.1:3260
Starting iscsid:                                           [  OK  ]
192.168.1.1:3260,1 iqn.2000-10.com.example:0-999999-b8f877804-bfd0000000c13f3e-vss-control
192.168.1.1:3260,1 iqn.2000-10.com.example:0-999999-141376505-58c000000654afe7-vol-01

หากเป็นการเรียกใช้คำสั่ง iscsiadm ครั้งแรก เซอร์วิส iscsid จะถูกรันขึ้นมาโดยอัตโนมัติ

ตัวอย่างข้อความที่เกิดขึ้นในไฟล์ /var/log/messages ซึ่งไฟล์นี้จะมีประโยชน์มากในการตรวจสอบ และแก้ไขปัญหาที่อาจเกิดขึ้น

[root@fc11-64a ~]# tail -f /var/log/messages
...
Nov 14 16:24:31 fc11-64a kernel: Loading iSCSI transport class v2.0-870.
Nov 14 16:24:31 fc11-64a kernel: iscsi: registered transport (tcp)
Nov 14 16:24:31 fc11-64a kernel: iscsi: registered transport (iser)
Nov 14 16:24:31 fc11-64a iscsid: iSCSI logger with pid=6014 started!
Nov 14 16:24:32 fc11-64a iscsid: transport class version 2.0-870. iscsid version 2.0-870
Nov 14 16:24:32 fc11-64a iscsid: iSCSI daemon with pid=6016 started!

login เข้า target ที่ต้องการ

เมื่อเราทราบชื่อ target ที่ต้องการใช้แล้ว สามารถใช้คำสั่ง iscsiadm โหมด node ระบุออปชั่น ‘-l’ เพื่อ login เข้าสู่ target ได้

[root@fc11-64a ~]# iscsiadm -m node -p 192.168.1.1 -T iqn.2000-10.com.example:0-999999-141376505-58c000000654afe7-vol-01 -l
Logging in to [iface: default, target: iqn.2000-10.com.example:0-999999-141376505-58c000000654afe7-vol-01, portal: 192.168.1.1,3260]
Login to [iface: default, target: iqn.2000-10.com.example:0-999999-141376505-58c000000654afe7-vol-01, portal: 192.168.1.1,3260]: successful

ตัวอย่างข้อความที่เกิดขึ้นในไฟล์ /var/log/messages

[root@fc11-64a ~]# tail -f /var/log/messages
...
Nov 14 16:28:20 fc11-64a kernel: scsi6 : iSCSI Initiator over TCP/IP
Nov 14 16:28:30 fc11-64a kernel: scsi 6:0:0:0: Direct-Access     EXAMPLE  100E-00         x.x  PQ: 0 ANSI: 5
Nov 14 16:28:30 fc11-64a kernel: sd 6:0:0:0: [sdb] 209725440 512-byte hardware sectors: (107 GB/100 GiB)
Nov 14 16:28:30 fc11-64a kernel: sd 6:0:0:0: [sdb] Write Protect is off
Nov 14 16:28:30 fc11-64a kernel: sd 6:0:0:0: [sdb] Write cache: disabled, read cache: enabled, doesn't support DPO or FUA
Nov 14 16:28:30 fc11-64a kernel: sd 6:0:0:0: [sdb] 209725440 512-byte hardware sectors: (107 GB/100 GiB)
Nov 14 16:28:30 fc11-64a kernel: sd 6:0:0:0: [sdb] Write Protect is off
Nov 14 16:28:30 fc11-64a kernel: sd 6:0:0:0: [sdb] Write cache: disabled, read cache: enabled, doesn't support DPO or FUA
Nov 14 16:28:30 fc11-64a kernel: sdb: unknown partition table
Nov 14 16:28:30 fc11-64a kernel: sd 6:0:0:0: [sdb] Attached SCSI disk
Nov 14 16:28:30 fc11-64a kernel: sd 6:0:0:0: Attached scsi generic sg2 type 0
Nov 14 16:28:30 fc11-64a iscsid: connection1:0 is operational now

จากไฟล์ /var/log/messages เมื่อ login เข้า target สำเร็จ volume จะถูก map เป็นดิสก์ (sdb) ให้เราสามารถเรียกใช้ได้

ใช้คำสั่ง fdisk ตรวจสอบ

[root@fc11-64a ~]# fdisk -l /dev/sdb

Disk /dev/sdb: 107.3 GB, 107379425280 bytes
255 heads, 63 sectors/track, 13054 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x00000000

Disk /dev/sdb doesn't contain a valid partition table

เราสามารถสร้าง partition แล้วสร้าง filesystem ตามที่ต้องการได้เหมือนดิสก์ทั่วๆ ไป

ใช้คำสั่ง fdisk เพื่อสร้าง partition

[root@fc11-64a ~]# fdisk /dev/sdb
Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel
Building a new DOS disklabel with disk identifier 0x52c1bb70.
Changes will remain in memory only, until you decide to write them.
After that, of course, the previous content won't be recoverable.

The number of cylinders for this disk is set to 13054.
There is nothing wrong with that, but this is larger than 1024,
and could in certain setups cause problems with:
1) software that runs at boot time (e.g., old versions of LILO)
2) booting and partitioning software from other OSs
   (e.g., DOS FDISK, OS/2 FDISK)
Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)

Command (m for help): n
Command action
   e   extended
   p   primary partition (1-4)
p
Partition number (1-4): 1
First cylinder (1-13054, default 1):
Using default value 1
Last cylinder, +cylinders or +size{K,M,G} (1-13054, default 13054):
Using default value 13054

Command (m for help): p

Disk /dev/sdb: 107.3 GB, 107379425280 bytes
255 heads, 63 sectors/track, 13054 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x52c1bb70

   Device Boot      Start         End      Blocks   Id  System
/dev/sdb1               1       13054   104856223+  83  Linux

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.

ใช้คำสั่ง mkfs.xfs เพื่อสร้าง filesystem แบบ xfs บน partition ที่ถูกสร้างขึ้น

[root@fc11-64a ~]# mkfs.xfs /dev/sdb1
meta-data=/dev/sdb1              isize=256    agcount=4, agsize=6553514 blks
         =                       sectsz=512   attr=2
data     =                       bsize=4096   blocks=26214055, imaxpct=25
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0
log      =internal log           bsize=4096   blocks=12799, version=2
         =                       sectsz=512   sunit=0 blks, lazy-count=0
realtime =none                   extsz=4096   blocks=0, rtextents=0

ใช้คำสั่ง mount เพื่อ mount filesystem

[root@fc11-64a ~]# mount /dev/sdb1 /mnt/vol-01/
[root@fc11-64a ~]# cd /mnt/vol-01/
[root@fc11-64a vol-01]# df -h .
Filesystem            Size  Used Avail Use% Mounted on
/dev/sdb1             100G  4.2M  100G   1% /mnt/vol-01

เลิกใช้งาน disk

เมื่อจะเลิกใช้งาน ต้อง umount ก่อน

[root@fc11-64a ~]# umount /mnt/vol-01
[root@fc11-64a ~]#

ใช้คำสั่ง iscsiadm โหมด node ระบุออปชั่น ‘-u’ เพื่อจะ logout ออกจาก target

[root@fc11-64a ~]# iscsiadm -m node -p 192.168.1.1 -T iqn.2000-10.com.example:0-999999-141376505-58c000000654afe7-vol-01 -u
Logging out of session [sid: 1, target: iqn.2000-10.com.example:0-999999-141376505-58c000000654afe7-vol-01, portal: 192.168.1.1,3260]
Logout of [sid: 1, target: iqn.2000-10.com.example:0-999999-141376505-58c000000654afe7-vol-01, portal: 192.168.1.1,3260]: successful

หลังจาก logout แล้ว ตรวจสอบด้วยคำสั่ง fdisk จะไม่เห็นดิสก์ที่ map ไว้

[root@fc11-64a ~]# fdisk -l /dev/sdb
[root@fc11-64a ~]#

ข้อมูลอ้างอิง

• คอนฟิก iSCSI target บน Linux
• iSCSI – Wikipedia
• man iscsiadm (8)

แสดง routing table

ใช้คำสั่ง netstat -rn เพื่อแสดง routing table ของเครื่อง

[root@fc11-64a ~]# netstat -rn
Kernel IP routing table
Destination     Gateway         Genmask         Flags   MSS Window  irtt Iface
192.168.3.0     0.0.0.0         255.255.255.0   U         0 0          0 eth0
0.0.0.0         192.168.3.1     0.0.0.0         UG        0 0          0 eth0

อีกคำสั่งหนึ่งที่ให้ผลลัพธ์ใกล้เคียงกันคือคำสั่ง route -n

[root@fc11-64a ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
192.168.3.0     0.0.0.0         255.255.255.0   U     0      0        0 eth0
0.0.0.0         192.168.3.1     0.0.0.0         UG    0      0        0 eth0

เพิ่ม static route

การเพิ่ม static route ไปยัง subnet สามารถทำได้โดยใช้คำสั่ง route add ระบุออปชั่น ‘-net’ ตามด้วย subnet และ netmask ที่ต้องการ สุดท้ายระบุว่าไปทาง router หรือ gateway ตามหลัง ออปชั่น ‘gw’

[root@fc11-64a ~]# route add -net 192.168.5.0 netmask 255.255.255.0 gw 192.168.3.2

[root@fc11-64a ~]# netstat -rn
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
192.168.5.0     192.168.3.2     255.255.255.0   UG    0      0        0 eth0
192.168.3.0     0.0.0.0         255.255.255.0   U     0      0        0 eth0
0.0.0.0         192.168.3.1     0.0.0.0         UG    0      0        0 eth0

การเพิ่ม static route ไปยัง host หรือเครื่อง ip address ที่ระบุ ทำได้โดยใช้คำสั่ง route add ระบุออปชั่น ‘-host’ ตามด้วย ip address ปลายทาง สุดท้ายระบุว่าไปทาง router หรือ gateway ตามหลัง ออปชั่น ‘gw’

[root@fc11-64a ~]# route add -host 192.168.5.10 gw 192.168.3.3

[root@fc11-64a ~]# netstat -rn
Kernel IP routing table
Destination     Gateway         Genmask         Flags   MSS Window  irtt Iface
192.168.5.10    192.168.3.3     255.255.255.255 UGH       0 0          0 eth0
192.168.5.0     192.168.3.2     255.255.255.0   UG        0 0          0 eth0
192.168.3.0     0.0.0.0         255.255.255.0   U         0 0          0 eth0
0.0.0.0         192.168.3.1     0.0.0.0         UG        0 0          0 eth0

การเพิ่ม default gateway ทำได้โดย ใช้คำสั่ง route add ระบุออปชั่น ‘default gw’ แล้วตามด้วย ip address ของ gateway หรือ router

[root@fc11-64a ~]# route add default gw 192.168.3.4

[root@fc11-64a ~]# netstat -rn
Kernel IP routing table
Destination     Gateway         Genmask         Flags   MSS Window  irtt Iface
192.168.5.10    192.168.3.3     255.255.255.255 UGH       0 0          0 eth0
192.168.5.0     192.168.3.2     255.255.255.0   UG        0 0          0 eth0
192.168.3.0     0.0.0.0         255.255.255.0   U         0 0          0 eth0
0.0.0.0         192.168.3.4     0.0.0.0         UG        0 0          0 eth0
0.0.0.0         192.168.3.1     0.0.0.0         UG        0 0          0 eth0

ลบ static route

การลบ static route ไปยัง subnet สามารถทำได้โดยใช้คำสั่ง route del ระบุออปชั่น ‘-net’ ตามด้วย subnet และ netmask ที่ต้องการลบ และ ‘gw’ ที่ชี้ไป

[root@fc11-64a ~]# route del -net 192.168.5.0 netmask 255.255.255.0 gw 192.168.3.2

การลบ static route ไปยัง host หรือเครื่อง ip address ที่ระบุ ทำได้โดยใช้คำสั่ง route del ระบุออปชั่น ‘-host’ ตามด้วย ip address ปลายทาง สุดท้ายระบุว่าไปทาง router หรือ gateway ตามหลัง ออปชั่น ‘gw’

[root@fc11-64a ~]# route del -host 192.168.5.10 gw 192.168.3.3

การลบ default gateway ทำได้โดย ใช้คำสั่ง route del ระบุออปชั่น ‘default gw’ แล้วตามด้วย ip address ของ gateway หรือ router ที่ต้องการลบ

[root@fc11-64a ~]# route del default gw 192.168.3.4

ไฟล์ static-routes

หากต้องการให้เครื่องลีนุกซ์คอนฟิกเพิ่ม static routes ที่ต้องการตอนบู๊ตเครื่องโดยอัตโนมัติ สามารถทำได้โดยการใส่ ข้อมูล route ไว้ในไฟล์ /etc/sysconfig/static-routes

ตัวอย่างไฟล์ สำหรับเพิ่ม static-routes ไปยัง subnet และ host ตามตัวอย่างด้านบน ให้คอนฟิกตอนบู๊ตเครื่อง

[root@fc11-64a ~]# cat /etc/sysconfig/static-routes
any net 192.168.5.0 netmask 255.255.255.0 gw 192.168.3.2
any host 192.168.5.10 gw 192.168.3.3

สำหรับ default gateway ต้องใส่เป็น ตัวแปรชื่อ “GATEWAY” ไว้ในไฟล์ /etc/sysconfig/network หรือไฟล์ /etc/sysconfig/network-scripts/ifcfg-eth0 ตัวอย่างเช่น

[root@fc11-64a ~]# cat /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=fc11-64a.spalinux.com
GATEWAY=192.168.3.4

ข้อมูลอ้างอิง

• คอนฟิกลีนุกซ์ทำหน้าที่เป็น Router
• คอนฟิก Policy Based Routing บนลีนุกซ์

เลือกชนิดการติดตั้ง ถ้าเป็นการติดตั้งใหม่ เลือกเป็น “New Install”

หน้าเว็บจะแสดงโปรแกรมต่างๆ ที่ Cacti เรียกใช้ หากมีครบทุกอย่างก็สามารถกดปุ่ม [Finish] ได้ 

  การล็อกอินครั้งแรก ใส่ User Name เป็น “admin” โดยไม่ต้องใส่ Password 

เพื่อความปลอดภัย ในการล็อกอินครั้งแรก โปรแกรม Cacti จะบังคับให้เปลียน Password

หลังจากล็อกอินเรียบร้อยแล้ว ก็จะขึ้นหน้าเว็บของ Cacti

เปิดการ polling

การติดตั้ง cacti โดยใช้ไฟล์ rpm จะติดตั้ง cron สำหรับการ poll data ทุกๆ 5 นาที ไว้ในไฟล์ /etc/cron.d/cacti เพียงแต่โดยดีฟอลต์จะปิดไว้ โดยใส่เครื่องหมาย ‘#’ ไว้หน้าบรรทัด

[root@fc11-64min ~]# cat /etc/cron.d/cacti
#*/5 * * * *    cacti   /usr/bin/php /usr/share/cacti/poller.php > /dev/null 2>&1

ต้องแก้ไขไฟล์นี้โดยเอาเครื่องหมาย ‘#’ ออก

[root@fc11-64min ~]# cat /etc/cron.d/cacti
*/5 * * * *    cacti   /usr/bin/php /usr/share/cacti/poller.php > /dev/null 2>&1 

ข้อมูลอ้างอิง

• ติดตั้ง Cacti บน Fedora 11 ตอนที่ 1
• ติดตั้ง Cacti บน Fedora 11 ตอนที่ 2

คอนฟิกเว็บเซิร์ฟเวอร์ในส่วนของ cacti

ส่วนแรกคือคอนฟิกของเว็บเซิร์ฟเวอร์ โดยดีฟอลต์จากการติดตั้ง cacti โดยใช้ไฟล์ rpm ของ Fedora 11 จะมีคอนฟิกเว็บในส่วนของ cacti สร้างเป็นไฟล์ชื่อ /etc/httpd/conf.d/cacti.conf

[root@fc11-64min ~]# cat /etc/httpd/conf.d/cacti.conf
#
# Cacti: An rrd based graphing tool
#
Alias /cacti    /usr/share/cacti

<Directory /usr/share/cacti/>
        Order Deny,Allow
        Deny from all
        Allow from 127.0.0.1
</Directory>

ความหมายของคอนฟิกไฟล์ด้านบนคือ ผู้ใช้สามารถเรียกใช้เว็บโปรแกรม cati โดยใส่ path เป็น /cacti เช่น http://<ip-address>/cacti/ แต่ดีฟอลต์จะอนุญาตให้เรียกมาจากเครื่อง ip 127.0.0.1 หรือตัวมันเองเท่านั้น

ถ้าต้องการแก้ไขให้เรียกเว็บ cacti จากเครื่องอื่นได้ ต้องแก้ไขคอนฟิกไฟล์นี้เป็น

[root@fc11-64min ~]# cat /etc/httpd/conf.d/cacti.conf
#
# Cacti: An rrd based graphing tool
#
Alias /cacti    /usr/share/cacti

<Directory /usr/share/cacti/>
        Order Allow,Deny
        Allow from all
</Directory>

หลังแก้ไขไฟล์คอนฟิกของเว็บเซิร์ฟเวอร์ ต้องใช้คำสั่ง service เพื่อรีสตาร์ตให้คอนฟิกใหม่มีผล

[root@fc11-64min Packages]# service httpd restart
Stopping httpd:                                            [  OK  ]
Starting httpd:                                            [  OK  ]

ทดลองเรียกเว็บ cacti ผ่าน web browser

สร้างฐานข้อมูลของ cacti

จากตัวอย่างด้านบน มี error เกิดขึ้น ยังไม่สามารถใช้งานได้

FATAL: Cannot connect to MySQL server on 'localhost'. Please make sure you have specified a valid MySQL database name in 'include/config.php'

คือต้องสร้าง user, database และ table สำหรับเก็บข้อมูลของ cacti ใน MySQL ก่อน

คอนฟิกของ cacti ในส่วน database จะถูกเก็บอยู่ในไฟล์ /etc/cacti/db.php

[root@fc11-64min ~]# cat /etc/cacti/db.php
<?php
...
/* make sure these values refect your actual database/host/user/password */
$database_type = "mysql";
$database_default = "cacti";
$database_hostname = "localhost";
$database_username = "cactiuser";
$database_password = "cactiuser";
$database_port = "3306";

/* Default session name - Session name must contain alpha characters */
#$cacti_session_name = "Cacti";

?>

หมายเหตุ ในที่นี้จะสร้าง database และ user ตามค่าดีฟอลต์เลย ซึ่งเหมาะสำหรับการทดสอบเพื่อเรียนรู้โปรแกรม cacti แต่ถ้านำไปใช้จริง production แนะนำให้เปลี่ยนค่าตัวแปรเหล่านี้เพื่อความปลอดภัย

ขั้นแรกต้องสร้าง database ให้ cacti ก่อน โดยสร้างชื่อตามตัวแปร $database_default

ในที่นี้จะใช้คำสั่ง mysql สร้างเลย คุณสามารถใช้โปรแกรมอื่นๆ ได้เช่น phpmyadmin

[root@fc11-64min ~]# mysql -u root -p
Enter password:
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 140
Server version: 5.1.32 Source distribution

Type 'help;' or '\h' for help. Type '\c' to clear the buffer.

mysql> CREATE DATABASE cacti;
Query OK, 1 row affected (0.00 sec)

mysql>

ขั้นต่อไปต้องสร้าง user และ password สำหรับการเชื่อมเข้า database ตามค่าตัวแปร $database_username, $database_password

mysql> GRANT ALL ON cacti.* TO cactiuser IDENTIFIED BY 'cactiuser';
Query OK, 0 rows affected (0.09 sec)

mysql> quit
Bye

สร้าง table ใน cacti database

สุดท้ายต้องสร้าง table ต่างๆ เพื่อเก็บค่าของ cacti โดยสามารถใช้ไฟล์โครงสร้าง table ที่ติดตั้งมาให้อยู่แล้วใน /usr/share/doc/cacti-0.8.7d/cacti.sql

[root@fc11-64min ~]# cat /usr/share/doc/cacti-0.8.7d/cacti.sql | mysql -u cactiuser -p cacti
Enter password:
[root@fc11-64min ~]#

ทดลองใช้ user ที่สร้างขึ้นเข้า database

[root@fc11-64min ~]# mysql -u cactiuser -p
Enter password:

Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 142
Server version: 5.1.32 Source distribution

Type 'help;' or '\h' for help. Type '\c' to clear the buffer.

mysql> SHOW DATABASES;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| cacti              |
+--------------------+
2 rows in set (0.08 sec)

mysql> CONNECT cacti;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Connection id:    149
Current database: cacti

mysql> SHOW TABLES;
+---------------------------+
| Tables_in_cacti           |
+---------------------------+
| cdef                      |
| cdef_items                |
| colors                    |
| data_input                |
| data_input_data           |
| data_input_fields         |
| data_local                |
| data_template             |
| data_template_data        |
| data_template_data_rra    |
| data_template_rrd         |
| graph_local               |
| graph_template_input      |
| graph_template_input_defs |
| graph_templates           |
| graph_templates_gprint    |
| graph_templates_graph     |
| graph_templates_item      |
| graph_tree                |
| graph_tree_items          |
| host                      |
| host_graph                |
| host_snmp_cache           |
| host_snmp_query           |
| host_template             |
| host_template_graph       |
| host_template_snmp_query  |
| poller                    |
| poller_command            |
| poller_item               |
| poller_output             |
| poller_reindex            |
| poller_time               |
| rra                       |
| rra_cf                    |
| settings                  |
| settings_graphs           |
| settings_tree             |
| snmp_query                |
| snmp_query_graph          |
| snmp_query_graph_rrd      |
| snmp_query_graph_rrd_sv   |
| snmp_query_graph_sv       |
| user_auth                 |
| user_auth_perms           |
| user_auth_realm           |
| user_log                  |
| version                   |
+---------------------------+
48 rows in set (0.00 sec)

mysql> quit
Bye
[root@fc11-64min ~]#

เปิด web browser อีกครั้ง เรียกไปที่ http://<ip-address>/cacti/ หน้าจอจะ redirect ไปยังหน้าสำหรับการติดตั้งต่อไป

ข้อมูลอ้างอิง

• ติดตั้ง Cacti บน Fedora 11 ตอนที่ 1
• ติดตั้ง Cacti บน Fedora 11 ตอนที่ 3

ในตอนที่ 1 จะอธิบายวิธีการติดตั้งไฟล์ที่จำเป็นและ Cacti บน Fedora 11 (x86_64) โดยทดสอบบนเครื่องที่ ติดตั้ง Fedora 11 แบบประหยัดพื้นที่สุด

ก่อนการติดตั้ง Cacti ได้นั้น ในเครื่องต้องมี Apache, PHP, MySQL, net-snmp ติดตั้งอยู่ก่อนแล้ว ถ้าขาดโปรแกรมใดไป คำสั่ง rpm จะไม่ยอมให้ติดตั้ง

ตัวอย่าง error เมื่อขาดโปรแกรมที่จำเป็นต่อ cacti

[root@fc11-64min ~]# rpm -i cacti-0.8.7d-3.fc11.noarch.rpm
error: Failed dependencies:
        /usr/bin/php is needed by cacti-0.8.7d-3.fc11.noarch
        httpd is needed by cacti-0.8.7d-3.fc11.noarch
        mysql is needed by cacti-0.8.7d-3.fc11.noarch
        net-snmp is needed by cacti-0.8.7d-3.fc11.noarch
        php is needed by cacti-0.8.7d-3.fc11.noarch
        php-mysql is needed by cacti-0.8.7d-3.fc11.noarch
        php-snmp is needed by cacti-0.8.7d-3.fc11.noarch

บทความต่อไปนี้ แสดงขั้นตอนและวิธีติดตั้งไฟล์ต่างๆ ที่จำเป็นต่อการรัน cacti

• ติดตั้ง MySQL บน Fedora 11
• ติดตั้ง Apache, PHP บน Fedora 11
• ติดตั้ง PHP Module เพิ่มบน Fedora 11
• ติดตั้ง PHP Module: snmp
• ติดตั้ง rrdtool บน Fedora 11

ติดตั้ง cacti

ดาวน์โหลดไฟล์ rpm ของ cacti ได้จาก Fedora 11 everything แล้วใช้คำสั่ง rpm ติดตั้ง

[root@fc11-64min ~]# rpm -i cacti-0.8.7d-3.fc11.noarch.rpm

ถึงตอนนี้ยังไม่สามารถเรียกใช้ cacti ได้ ต้องแก้ไขคอนฟิกเพื่อเชื่อมโยงเข้าฐานข้อมูลก่อน ในบทความต่อไป

ข้อมูลอ้างอิง

• ติดตั้ง Cacti บน Fedora 11 ตอนที่ 2
• ติดตั้ง Cacti บน Fedora 11 ตอนที่ 3
• Cacti: The Complete RRDTool-based Graphing Solution
• Fedora 11 Everything

การที่จะสามารถเขียน PHP ให้เรียกใช้ฟังก์ชั่นเกี่ยวกับ snmp ได้ ต้องติดตั้งโมดูล php-snmp

ใส่แผ่นดีวีดี Fedora 11 แล้วติดตั้งไฟล์ rpm ต่อไปนี้ตามตัวอย่าง

[root@fc11-64min ~]# mount /dev/scd0 /media/
mount: block device /dev/sr0 is write-protected, mounting read-only
[root@fc11-64min ~]# cd /media/Packages/

ติดตั้ง net-snmp

ต้องลงโปรแกรม net-snmp ก่อนที่จะติดตั้ง โมดูล php-snmp

[root@fc11-64min Packages]# rpm -i lm_sensors-3.1.0-1.fc11.x86_64.rpm
[root@fc11-64min Packages]# rpm -i net-snmp-libs-5.4.2.1-10.fc11.x86_64.rpm
[root@fc11-64min Packages]# rpm -i net-snmp-5.4.2.1-10.fc11.x86_64.rpm

ติดตั้งไฟล์ net-snmp-utils และโมดูล php-snmp เพิ่มเติมโดยสองไฟล์นี้ต้องดาวน์โหลดมาจาก Fedora 11 Everything

[root@fc11-64min ~]# rpm -i net-snmp-utils-5.4.2.1-10.fc11.x86_64.rpm
[root@fc11-64min ~]# rpm -i php-snmp-5.2.9-2.fc11.x86_64.rpm

ใช้คำสั่ง service เพื่อรีสตาร์ตเว็บเซิร์ฟเวอร์

[root@fc11-64min Packages]# service httpd restart
Stopping httpd:                                            [  OK  ]
Starting httpd:                                            [  OK  ]

ทดสอบ php-snmp

ทดลองเรียกใช้ฟังก์ชั่น snmpwalk เพื่อดึงค่า MIB ที่เกี่ยวกับ system จาก IP 192.168.1.254

[root@fc11-64min html]# cat test-snmp.php
<?php
$_ret = snmpwalk('192.168.1.254', 'public', 'system');
print_r($_ret);
?>

[root@fc11-64min html]# php test-snmp.php

Array
(
    [0] => STRING: Linux ...
    [1] => OID: NET-SNMP-MIB::netSnmpAgentOIDs.10
...

ข้อมูลอ้างอิง

• ติดตั้ง Apache, PHP บน Fedora 11
• ติดตั้ง PHP Module เพิ่มบน Fedora 11
• Fedora 11 Everything

[root@fc11-64a ~]# mount /dev/scd0 /media
[root@fc11-64a ~]# cd /media/Packages/
[root@fc11-64a Packages]# rpm -i fontpackages-filesystem-1.20-2.fc11.noarch.rpm
[root@fc11-64a Packages]# rpm -i dejavu-fonts-common-2.29-2.fc11.noarch.rpm
[root@fc11-64a Packages]# cd ~
[root@fc11-64a ~]# umount /media/

ดาวน์โหลดไฟล์เพิ่มเติมจาก Fedora 11 (Everything) แล้วใช้คำสั่ง rpm เพื่อติดตั้ง

[root@fc11-64a ~]# rpm -i dejavu-lgc-sans-fonts-2.29-2.fc11.noarch.rpm
[root@fc11-64a ~]# rpm -i dejavu-lgc-sans-mono-fonts-2.29-2.fc11.noarch.rpm
[root@fc11-64a ~]# rpm -i dejavu-lgc-serif-fonts-2.29-2.fc11.noarch.rpm
[root@fc11-64a ~]# rpm -i dejavu-fonts-lgc-compat-2.29-2.fc11.noarch.rpm
[root@fc11-64a ~]# rpm -i rrdtool-1.3.7-1.fc11.x86_64.rpm

ข้อมูลอ้างอิง

• Fedora 11 (Everything)