หลังจากที่คอนฟิก Replication ถูกต้องเรียบร้อย เมื่อมีการเปลี่ยนแปลงข้อมูลในฐานข้อมูลบนเครื่องหลัก (Master) ไม่ว่าจะเป็นการ INSERT, UPDATE, DELETE หรือ แก้ไข table การเปลี่ยนแปลงนี้จะถูกส่งต่อ (replicate) ไปยังเครื่องสำรอง (Slave) โดยอัตโนมัติ

การคอนฟิก Replication เป็นการป้องกันการเสียหาย ถ้าเครื่องหลักมีปัญหา ข้อมูลที่ถูกเก็บไว้ในเครื่องสำรอง ก็ยังสามารถใช้งานได้

ระบบทดสอบ

ตัวอย่างในบทความนี้ จะทดสอบบนเครื่องสองเครื่องที่ติดตั้ง CentOS 5.4 และ MySQL 5.1.43 เรียบร้อยแล้ว

เครื่อง Master

• ip: 192.168.1.1
• hostname: centos54-a

เครื่อง Slave

• ip: 192.168.1.2
• hostname: centos54-b

ตัวอย่างการใช้คำสั่ง rpm เพื่อตรวจสอบเวอร์ชั่นของ MySQL ที่ติดตั้ง

[root@centos54-a ~]# rpm -qa | grep -i mysql
MySQL-server-community-5.1.43-1.rhel5
MySQL-client-community-5.1.43-1.rhel5
MySQL-shared-compat-5.1.43-1.rhel5

หมายเหตุ

• MySQL 5.1.43 ที่ทดสอบนี้ ใช้เวอร์ชั่นที่ดาวน์โหลดจาก http://dev.mysql.com
• แนะนำให้ใช้ MySQL เวอร์ชั่นเดียวกันบนเครื่อง Master และ Slave

เครื่อง Master – สร้าง user สำหรับ Replication

เริ่มต้น ต้องสร้าง user ของ MySQL บนเครื่อง Master เพื่ออนุญาตสิทธิในการทำ ‘REPLICATION’ จากเครื่อง Slave

ตัวอย่างการสร้าง user ชื่อ ‘repl’ และรหัส ‘repl1234′เพื่อให้สิทธิการทำ REPLICATION จากเครื่องที่มี ip 192.168.1.2

[root@centos54-a ~]# mysql -u root -p

mysql> GRANT REPLICATION SLAVE ON *.* TO 'repl'@'192.168.1.2' IDENTIFIED BY 'repl1234';

เครื่อง Master – คอนฟิก Replication Master

บนเครื่อง Master ปิดเซอร์วิส MySQL แล้วแก้ไขไฟล์ /etc/my.cnf เพื่อเปิดคุณสมบัติ binary log (log-bin) และเซ็ต server-id

[root@centos54-a ~]# service mysql stop
Shutting down MySQL..                                      [  OK  ]

ตัวอย่างไฟล์คอนฟิก /etc/my.cnf เพื่อคอนฟิกเป็น Replication Master

[root@centos54-a ~]# cat /etc/my.cnf
[mysqld]
log-bin=mysql-bin
server-id=1

ใช้คำสั่ง service เพื่อรันเซอร์วิส MySQL

[root@centos54-a ~]# service mysql start
Starting MySQL.                                            [  OK  ]

เครื่อง Master – ตรวจสอบสถานะของ Master Binary Log

บนเครื่อง Master ใช้คำสั่ง SHOW MASTER STATUS ตรวจสอบสถานะของ Master Binary Log

เราจะใช้ค่า ‘File’ และ ‘Position’ เพื่อระบุบนเครื่อง Slave

[root@centos54-a ~]# mysql -u root -p

mysql> SHOW MASTER STATUS;
+------------------+----------+--------------+------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| mysql-bin.000001 |      224 |              |                  |
+------------------+----------+--------------+------------------+
1 row in set (0.00 sec)

เครื่อง Slave – คอนฟิก Replication Slave

บนเครื่อง Slave ปิดเซอร์วิส MySQL เพื่อแก้ไขคอนฟิกไฟล์ /etc/my.cnf

[root@centos54-b ~]# service mysql stop
Shutting down MySQL..                                      [  OK  ]

เบื้องต้นบนเครื่อง Slave คอนฟิกแค่ ‘server-id’ ที่มีค่าแตกต่างจากเครื่อง Master

[root@centos54-b ~]# cat /etc/my.cnf
[mysqld]
server-id=2

รันเซอร์วิส MySQL บนเครื่อง Slave

[root@centos54-b ~]# service mysql start
Starting MySQL.                                            [  OK  ]

ใช้คำสั่ง CHANGE MASTER เพื่อระบุ ip ของ Master ชื่อ user, password ที่ใช้เพื่อการทำ Replication และต้องระบุค่า log_file (File) และ log_pos (Position) ที่ได้จากผลลัพธ์ในการรันคำสั่ง SHOW MASTER STATUS บนเครื่อง Master

mysql> CHANGE MASTER TO MASTER_HOST='192.168.1.1',
                        MASTER_USER='repl',
                        MASTER_PASSWORD='repl1234',
                        MASTER_LOG_FILE='mysql-bin.000001',
                        MASTER_LOG_POS=224;
Query OK, 0 rows affected (0.03 sec)

รันคำสั่ง START SLAVE เพื่อเริ่มต้นการทำ Replicate ข้อมูลจาก เครื่อง Master

mysql> START SLAVE;
Query OK, 0 rows affected (0.00 sec)

ตรวจสอบสถานะ Replication บนเครื่อง Slave

mysql> SHOW SLAVE STATUS \G
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 192.168.1.1
                  Master_User: repl
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000001
          Read_Master_Log_Pos: 244
               Relay_Log_File: centos54-b-relay-bin.000004
                Relay_Log_Pos: 251
        Relay_Master_Log_File: mysql-bin.000001
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
              Replicate_Do_DB:
          Replicate_Ignore_DB:
           Replicate_Do_Table:
       Replicate_Ignore_Table:
      Replicate_Wild_Do_Table:
  Replicate_Wild_Ignore_Table:
                   Last_Errno: 0
                   Last_Error:
                 Skip_Counter: 0
          Exec_Master_Log_Pos: 244
              Relay_Log_Space: 411
              Until_Condition: None
               Until_Log_File:
                Until_Log_Pos: 0
           Master_SSL_Allowed: No
           Master_SSL_CA_File:
           Master_SSL_CA_Path:
              Master_SSL_Cert:
            Master_SSL_Cipher:
               Master_SSL_Key:
        Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0
                Last_IO_Error:
               Last_SQL_Errno: 0
               Last_SQL_Error:
1 row in set (0.00 sec)

หากคอนฟิกถูกต้อง ค่า ‘Slave_IO_State’ จะแสดงเป็น ‘Waiting for master to send event’

ทดสอบการ Replication

เพื่อง่ายต่อการแยกแยะระหว่าง Master และ Slave ในที่นี้จะคอนฟิก mysql prompt เป็น mysql-1> และ mysql-2> ตามลำดับ

การคอนฟิก prompt บนเครื่อง Master

[root@centos54-a ~]# mysql -u root -p
Enter password:

mysql> PROMPT mysql-1>
PROMPT set to 'mysql-1> '
mysql-1>

การคอนฟิก prompt บนเครื่อง Slave

[root@centos54-b ~]# mysql -u root -p
Enter password:

mysql> PROMPT mysql-2>
PROMPT set to 'mysql-2> '
mysql-2>

ทดสอบสร้าง database บนเครื่อง Master

mysql-1> CREATE DATABASE test1;
Query OK, 1 row affected (0.01 sec)

mysql-1> SHOW DATABASES;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| test1              |
+--------------------+
3 rows in set (0.00 sec)

ข้อมูลการสร้าง database จะถูกส่งต่อ (replicate) ไปยังเครื่อง Slave โดยอัตโนมัติ

mysql-2> SHOW DATABASES;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| test1              |
+--------------------+
3 rows in set (0.00 sec)

สร้าง table และทดสอบการ INSERT ข้อมูล

mysql-1> CONNECT test1
mysql-1> CREATE TABLE books (id INTEGER, name VARCHAR(255));
mysql-1> INSERT INTO books VALUES (1, 'how to setup...');
mysql-1> INSERT INTO books VALUES (2, 'how to read...');

mysql-1> SELECT * FROM books;
+------+-----------------+
| id   | name            |
+------+-----------------+
|    1 | how to setup... |
|    2 | how to read...  |
+------+-----------------+
2 rows in set (0.00 sec)

การเปลี่ยนแปลงบนเครื่อง Master จะถูก replicate ไปยังเครื่อง Slave โดยอัตโนมัติ

mysql-2> CONNECT test1;
mysql-2> SELECT * FROM books;
+------+-----------------+
| id   | name            |
+------+-----------------+
|    1 | how to setup... |
|    2 | how to read...  |
+------+-----------------+
2 rows in set (0.00 sec)

ข้อมูลอ้างอิง

• MySQL 5.1 Reference Manual :: Replication
• ติดตั้ง MySQL 5.1 บน Fedora 10

ดังนั้นขณะที่เครื่องที่ 1 (centos54-a) ทำหน้าที่เป็น primary ของดิสก์ drbd0 อยู่  เครื่องที่ 2 (centos54-b) จะไม่สามารถ mount ดิสก์ drbd0 นี้ขึ้นมาใช้งานได้

ในบทความนี้จะแสดงการทดสอบใช้คำสั่งเพื่อเปลี่ยนโหมด Primary, Secondary ระหว่างเครื่องทั้งสอง

ตรวจสอบสถานะบนเครื่อง centos54-a

[root@centos54-a ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs         ro                 ds                 p  mounted  fstype
0:r0   Connected  Primary/Secondary  UpToDate/UpToDate  C  /export  ext3

[root@centos54-a ~]# df -h /export
Filesystem            Size  Used Avail Use% Mounted on
/dev/drbd0            950M   18M  885M   2% /export

ทดสอบ mount ดิสก์บนเครื่อง centos54-b

[root@centos54-b ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs         ro                 ds                 p  mounted  fstype
0:r0   Connected  Secondary/Primary  UpToDate/UpToDate  C

[root@centos54-b ~]# mount /dev/drbd0 /export
mount: block device /dev/drbd0 is write-protected, mounting read-only
mount: Wrong medium type

ในกรณีที่ต้องการเปลี่ยนให้เครื่องที่ 2 (centos54-b) ทำหน้าที่เป็น primary  เช่นในกรณีที่ต้องการซ่อมบำรุงเครื่องที่ 1 สามารถทำได้ดังนี้

บนเครื่องที่ 1 ปิดเซอร์วิส DRBD

[root@centos54-a ~]# service drbd stop
Stopping all DRBD resources:
.
[root@centos54-a ~]# service drbd status
drbd not loaded

ตรวจสอบสถานะบนเครื่องที่ 2 หลังจากปิดเซอร์วิสบนเครื่องที่ 1

[root@centos54-b ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs            ro                 ds                 p  mounted  fstype
0:r0   WFConnection  Secondary/Unknown  UpToDate/DUnknown  C

แม้เครื่อง Primary ปิดไปแล้ว บนเครื่องที่ 2 ที่ยังอยู่ในโหมด Secondary ก็ยัง mount ดิสก์ ไม่ได้

[root@centos54-b ~]# mount /dev/drbd0 /export
mount: block device /dev/drbd0 is write-protected, mounting read-only
mount: Wrong medium type

ต้องเปลี่ยนสถานะบนเครื่องที่ 2 ให้เป็น primary ด้วยคำสั่ง drbdadm primary

[root@centos54-b ~]# drbdadm primary all

ตรวจสอบสถานะบนเครื่องที่ 2

[root@centos54-b ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs            ro               ds                 p  mounted  fstype
0:r0   WFConnection  Primary/Unknown  UpToDate/DUnknown  C

เมื่ออยู่ในโหมด primary แล้ว ก็สามารถ mount ดิสก์ขึ้นมาใช้งานได้

[root@centos54-b ~]# mount /dev/drbd0 /export
[root@centos54-b ~]# df -h /export
Filesystem            Size  Used Avail Use% Mounted on
/dev/drbd0            950M   18M  885M   2% /export

ทดลองสร้างไฟล์ในดิสก์ drbd0

[root@centos54-b ~]# cd /export/
[root@centos54-b export]# ls
lost+found
[root@centos54-b export]# echo "hello world from node 2" > test-file-on-node-2.txt
[root@centos54-b export]# ls -l
total 20
drwx------ 2 root root 16384 Feb  6 15:46 lost+found
-rw-r--r-- 1 root root    24 Feb  6 17:17 test-file-on-node-2.txt

รันเซอร์วิส DRBD บนเครื่องที่ 1 ขึ้นมาอีกครั้ง ตอนนี้เครื่องที่ 1 จะทำหน้าที่เป็น Secondary และจะทำการ replicate ข้อมูลมาจากเครื่องที่ 2 (Primary) โดยอัตโนมัติ

[root@centos54-a ~]# service drbd start
Starting DRBD resources: [ d(r0) s(r0) n(r0) ].

[root@centos54-a ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs         ro                 ds                 p  mounted  fstype
0:r0   Connected  Secondary/Primary  UpToDate/UpToDate  C

บนเครื่องที่ 2 เปลี่ยนให้เป็นโหมด Secondary

[root@centos54-b ~]# drbdadm secondary all
0: State change failed: (-12) Device is held open by someone
Command 'drbdsetup 0 secondary' terminated with exit code 11

หากมีการเรียกใช้ดิสก์ drbd อยู่ จะไม่สามารถเปลี่ยนโหมดจาก Primary ไปเป็น Secondary ได้ ต้อง umount ดิสก์ออกไปก่อนถึงจะเปลี่ยนโหมดได้

[root@centos54-b ~]# umount /export
[root@centos54-b ~]# drbdadm secondary all

ตรวจสอบสถานะบนเครื่องที่ 2

[root@centos54-b ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs         ro                   ds                 p  mounted  fstype
0:r0   Connected  Secondary/Secondary  UpToDate/UpToDate  C

เปลี่ยนโหมดบนเครื่องที่ 1 ให้เป็น Primary เพื่อเรียกใช้ดิสก์ได้

[root@centos54-a ~]# drbdadm primary all
[root@centos54-a ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs         ro                 ds                 p  mounted  fstype
0:r0   Connected  Primary/Secondary  UpToDate/UpToDate  C

mount ดิสก์ และตรวจสอบไฟล์ที่อยู่ใน drbd0 จะเห็นไฟล์ที่สร้างจากเครื่องที่ 2

[root@centos54-a ~]# mount /dev/drbd0 /export
[root@centos54-a ~]# cd /export/
[root@centos54-a export]# ls -l
total 20
drwx------ 2 root root 16384 Feb  6 15:46 lost+found
-rw-r--r-- 1 root root    24 Feb  6 17:17 test-file-on-node-2.txt
[root@centos54-a export]# cat test-file-on-node-2.txt
hello world from node 2

ตรวจสอบไฟล์ /var/log/messages

เมื่อมีปัญหาเกี่ยวกับการใช้ DBRD นอกจากการใช้คำสั่ง service เพื่อตรวจสอบสถานะแล้ว ไฟล์ /var/log/messages จะแสดงการเปลี่ยนแปลงทั้งหมดของ DRBD ที่เกิดขึ้น ซึ่งสามารถนำมาใช้ช่วยในการแก้ปัญหาได้

ตัวอย่างข้อความในไฟล์ /var/log/messages ที่เกิดขึ้น เมื่อมีการเปลี่ยนโหมด

[root@centos54-a ~]# tail /var/log/messages
...
Feb  6 17:19:38 centos54-a kernel: block drbd0: peer( Primary -> Secondary )
Feb  6 17:21:04 centos54-a kernel: block drbd0: role( Secondary -> Primary )
...

ข้อมูลอ้างอิง

• ติดตั้งและคอนฟิก DRBD

เมื่อมีการเปลี่ยนแปลงข้อมูลที่อยูในดิสก์เครื่องหนึ่ง (primary) การเปลี่ยนแปลงนั้นจะถูก replicate ไปยังอีกเครื่อง (secondary) โดยอัตโนมัติ

DRBD ประกอบด้วยสองส่วนคือ

1. Kernel module – DRBD ทำหน้าที่ใน kernel โดยจะสร้าง virtual block device คั่นกลางระหว่าง physical disk กับ filesystem ที่สร้างอยู่ ไม่ว่าจะเป็น ext3, ext4, xfs
2. User space administration tools – เป็นโปรแกรมที่ช่วยในการจัดการ DRBD ได้ง่ายขึ้น หลักๆ จะเป็น drbdadm

ในบทความนี้จะแสดงการติดตั้งโปรแกรม DRBD และคอนฟิกเป็นแบบ Single-primary mode คือ ณ เวลาใดเวลาหนึ่ง มีเครื่องเดียวเท่านั้นที่สามารถ อ่าน เขียน ข้อมูลได้

คำเตือน ติดตั้งและคอนฟิก DRBD บนเครื่องทดสอบให้เข้าใจก่อน เพราะบางคำสั่งอาจกระทบข้อมูลดิสก์หรือ partition ที่มีอยู่ในเครื่องได้ ทำให้ข้อมูลเสียหายได้

ระบบสำหรับการทดสอบ

ในที่นี้จะติดตั้ง CentOS 5.4 พร้อมคอนฟิกให้สองเครื่องติดต่อ ping กันได้ และปิดคุณสมบัติ firewall ทั้งหมด

เครื่องที่ 1

• Hostname:   centos54-a.spalinux.com
• IP Address: 10.3.3.51

เครื่องที่ 2

• Hostname:   centos54-b.spalinux.com
• IP Address: 10.3.3.52

แก้ไขไฟล์ /etc/hosts เพื่อให้ทั้งสองเครื่องอ้างอิงจากชื่อเครื่องได้

ตัวอย่างคอนฟิกของเครื่องที่ 1

[root@centos54-a ~]# hostname
centos54-a.spalinux.com

[root@centos54-a ~]# cat /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1       localhost.localdomain localhost
::1             localhost6.localdomain6 localhost6

10.3.3.51       centos54-a centos54-a.spalinux.com
10.3.3.52       centos54-b centos54-b.spalinux.com

ตัวอย่างคอนฟิกของเครื่องที่ 2

[root@centos54-b ~]# hostname
centos54-b.spalinux.com

[root@centos54-b ~]# cat /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1       localhost.localdomain localhost
::1             localhost6.localdomain6 localhost6

10.3.3.51       centos54-a centos54-a.spalinux.com
10.3.3.52       centos54-b centos54-b.spalinux.com

ทั้งสองเครื่อง ต้องสร้าง partition สำหรับใช้เป็นดิสก์ DRBD โดยไม่ต้องสร้าง filesystem ใดๆ ทั้งสิ้นบน partition นี้ สมมติว่าเป็น /dev/sda5 บนทั้งสองเครื่อง

หมายเหตุ

• แนะนำให้สร้าง partition ทั้งสองเครื่องให้เหมือนกัน ขนาดเท่ากัน จะได้ง่ายต่อการคอนฟิก
• สำหรับการทดสอบเริ่มต้น แนะนำให้สร้างขนาด partition เล็กๆ ก่อน จะได้ใช้เวลาในการ sync ข้อมูลไม่นานมากนัก ในบทความนี้สร้างประมาณ 1 GBytes

ติดตั้งโปรแกรม DRBD

ไฟล์ติดตั้ง DRBD ในรูปแบบ rpm ของ CentOS 5.4 นั้น ไม่อยู่ในแผ่นดีวีดีติดตั้ง แต่จะอยู่ในส่วนของ extras สำหรับในเมืองไทยสามารถดาวน์โหลดได้จาก http://www.mirror.in.th/osarchive/centos/5.4/extras/

ดาวน์โหล์ด และติดตั้งไฟล์ rpm สองไฟล์ บนเครื่องทั้งสอง

• drbd83-8.3.2-6.el5_3.x86_64.rpm  – “User space administration tools”
• kmod-drbd83-8.3.2-6.el5_3.x86_64.rpm  – “Kernel Module”

ใช้คำสั่ง rpm เพื่อติดตั้ง

[root@centos54-a ~]# rpm -ivh drbd83-8.3.2-6.el5_3.x86_64.rpm
Preparing...                ########################################### [100%]
   1:drbd83                 ########################################### [100%]
[root@centos54-a ~]# rpm -ivh kmod-drbd83-8.3.2-6.el5_3.x86_64.rpm
Preparing...                ########################################### [100%]
   1:kmod-drbd83            ########################################### [100%]

คอนฟิก DRBD บนเครื่องที่ 1 (primary)

ไฟล์คอนฟิกหลักของ DRBD คือไฟล์ /etc/drbd.conf ต้องมีการแก้ไขไฟล์นี้ก่อนถึงจะเริ่มใช้งานได้ โดยมีไฟล์ตัวอย่างคอนฟิกอยู่ใน /usr/share/doc/drbd83/drbd.conf

ไฟล์คอนฟิก /etc/drbd.conf จากการติดตั้ง

[root@centos54-a ~]# cat /etc/drbd.conf
#
# please have a a look at the example configuration file in
# /usr/share/doc/drbd83/drbd.conf
#

สร้างไฟล์คอนฟิก /etc/drbd.conf บนเครื่องที่ 1 “centos54-a.spalinux.com” ดังนี้

[root@centos54-a ~]# cat /etc/drbd.conf
global {
    usage-count no;
}

common {
    syncer { rate 10M; }
}

resource r0 {
    protocol C;

    net {
        cram-hmac-alg "sha1";
        shared-secret "test1234";
    }

    on centos54-a.spalinux.com {
        device /dev/drbd0;
        disk /dev/sda5;
        address 10.3.3.51:8888;
        meta-disk internal;
    }

    on centos54-b.spalinux.com {
        device /dev/drbd0;
        disk /dev/sda5;
        address 10.3.3.52:8888;
        meta-disk internal;
    }
}

คำอธิบายเบื้องต้น

• shared-secret เป็นการกำหนดรหัสของเครื่องที่สามารถ replicate ข้อมูลกันได้ 
• r0 เป็นชื่อ resource ของ DRBD สามารถตั้งเป็นชื่อใดๆ ก็ได้ เพื่อสื่อความหมาย
• on ตามด้วยชื่อ hostname ที่ต้องการ replicate ข้อมูลกัน ส่วนในวงเล็บ { เป็นการกำหนดคอนฟิกของแต่ละเครื่อง
• disk คือชื่อ partition ที่สร้างไว้สำหรับการทำ DRBD ในที่นี้คือ /dev/sda5

ใช้คำสั่ง drbadm create-md เพื่อสร้าง meta data บน partition ที่จะทำเป็น DRBD

[root@centos54-a ~]# drbdadm create-md all
Writing meta data...
initializing activity log
NOT initialized bitmap
New drbd meta data block successfully created.

หาก partition ที่คอนฟิกเป็น DRBD มี filesystem อยู่ก่อนแล้ว จะไม่สามารถสร้าง DRBD ได้

[root@centos54-a ~]# drbdadm create-md all
md_offset 1011671040
al_offset 1011638272
bm_offset 1011605504

Found ext3 filesystem which uses 987964 kB
current configuration leaves usable 987896 kB

Device size would be truncated, which
would corrupt data and result in
'access beyond end of device' errors.
You need to either
   * use external meta data (recommended)
   * shrink that filesystem first
   * zero out the device (destroy the filesystem)
Operation refused.

Command 'drbdmeta 0 v08 /dev/sda5 internal create-md' terminated with exit code 40
drbdadm create-md r0: exited with code 40

วิธีการแก้ไขคือต้องลบข้อมูลของ filesystem บน partition /dev/sda5 นี้ออก วิธีการง่ายสุดคือใช้คำสั่ง dd

คำเตือน คำสั่ง dd จะลบข้อมูลทั้งหมดบน partition ที่ระบุ

[root@centos54-a ~]# dd if=/dev/zero of=/dev/sda5
dd: writing to `/dev/sda5': No space left on device
1975933+0 records in
1975932+0 records out
1011677184 bytes (1.0 GB) copied, 87.2749 seconds, 11.6 MB/s

แล้วถึงสามารถสร้าง meta data ของ DRBD ได้

[root@centos54-a ~]# drbdadm create-md all
Writing meta data...
initializing activity log
NOT initialized bitmap
New drbd meta data block successfully created.

ใช้คำสั่ง service เพื่อรันเซอร์วิส DRBD

[root@centos54-a ~]# service drbd start
Starting DRBD resources: [ d(r0) s(r0) n(r0) ]..........
***************************************************************
 DRBD's startup script waits for the peer node(s) to appear.
 - In case this node was already a degraded cluster before the
   reboot the timeout is 0 seconds. [degr-wfc-timeout]
 - If the peer was available before the reboot the timeout will
   expire after 0 seconds. [wfc-timeout]
   (These values are for resource 'r0'; 0 sec -> wait forever)
 To abort waiting enter 'yes' [  20]:yes

ในครั้งแรกที่รันเซอร์วิส บนเครื่อง primary โปรแกรมจะรอให้เครื่อง peer (secondary) เข้ามาเชื่อมต่อ หากไม่ต้องการให้รอ ให้พิมพ์คำว่า “yes” แล้ว [Enter]

ใช้คำสั่ง service status เพื่อตรวจสอบสถานะของ DRBD

[root@centos54-a ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs            ro                 ds                     p  mounted  fstype
0:r0   WFConnection  Secondary/Unknown  Inconsistent/DUnknown  C

หรืออ่านจากไฟล์ /proc/drbd โดยตรง

[root@centos54-a ~]# cat /proc/drbd
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
 0: cs:WFConnection ro:Secondary/Unknown ds:Inconsistent/DUnknown C r----
    ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:987896

สร้างไดเรคทอรี /export สำหรับทดสอบ mount เพื่อใช้ดิสก์ drbd ที่สร้างขึ้น

[root@centos54-a ~]# mount /dev/drbd0 /export
mount: block device /dev/drbd0 is write-protected, mounting read-only
mount: Wrong medium type

ดิสก์นี้ยังไม่สามารถใช้ได้ ต้องใช้คำสั่ง drbdadm primary คอนฟิกให้ดิสก์ drbd บนเครื่องนี้ทำหน้าที่เป็น primary เพื่อให้สามารถ อ่าน เขียน ข้อมูลจากดิสก์ได้

[root@centos54-a ~]# drbdadm primary all
0: State change failed: (-2) Refusing to be Primary without at least one UpToDate disk
Command 'drbdsetup 0 primary' terminated with exit code 17

หากเป็นการเรียกใช้ครั้งแรก ต้องระบุออปชั่นดังนี้

[root@centos54-a ~]# drbdadm -- --overwrite-data-of-peer primary all
[root@centos54-a ~]#

ตรวจสอบสถานะ drbd อีกครั้ง สังเกตว่า ฟิลด์ ro จะเปลี่ยนจาก Seconday เป็น Primary และฟิลด์ ds จะเปลี่ยนจาก Inconsistent เป็น UpToDate

[root@centos54-a ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs            ro               ds                 p  mounted  fstype
0:r0   WFConnection  Primary/Unknown  UpToDate/DUnknown  C

ทดสอบการ mount ดิสก์อีกครั้ง

[root@centos54-a ~]# mount /dev/drbd0 /export
mount: you must specify the filesystem type

ก็ยังไม่สามารถ mount ได้ เพราะยังไม่มี filesystem บน /dev/drbd0

รันคำสั่ง mkfs.ext3 เพื่อสร้าง filesystem แบบ ext3

[root@centos54-a ~]# mkfs.ext3 /dev/drbd0
mke2fs 1.39 (29-May-2006)
Filesystem label=
OS type: Linux
Block size=4096 (log=2)
Fragment size=4096 (log=2)
123648 inodes, 246974 blocks
12348 blocks (5.00%) reserved for the super user
First data block=0
Maximum filesystem blocks=255852544
8 block groups
32768 blocks per group, 32768 fragments per group
15456 inodes per group
Superblock backups stored on blocks:
        32768, 98304, 163840, 229376

Writing inode tables: done
Creating journal (4096 blocks): done
Writing superblocks and filesystem accounting information: done

This filesystem will be automatically checked every 36 mounts or
180 days, whichever comes first.  Use tune2fs -c or -i to override.

ทดสอบการ mount อีกครั้ง จะสามารถใช้งานได้แล้ว

[root@centos54-a ~]# mount /dev/drbd0 /export

ตรวจสอบสถานะ DRBD

[root@centos54-a ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs            ro               ds                 p  mounted  fstype
0:r0   WFConnection  Primary/Unknown  UpToDate/DUnknown  C  /export  ext3

คอนฟิก DRBD บนเครื่องที่ 2 (secondary)

สร้างไฟล์คอนฟิก /etc/drbd.conf บนเครื่องที่ 2 เหมือนกับไฟล์ในเครื่องที่ 1

[root@centos54-b ~]# cat /etc/drbd.conf
global {
    usage-count no;
}

common {
    syncer { rate 10M; }
}

resource r0 {
    protocol C;

    net {
        cram-hmac-alg "sha1";
        shared-secret "test1234";
    }

    on centos54-a.spalinux.com {
        device /dev/drbd0;
        disk /dev/sda5;
        address 10.3.3.51:8888;
        meta-disk internal;
    }

    on centos54-b.spalinux.com {
        device /dev/drbd0;
        disk /dev/sda5;
        address 10.3.3.52:8888;
        meta-disk internal;
    }
}

ใช้คำสั่ง drbadm create-md เพื่อสร้าง meta data บน partition ที่จะทำเป็น DRBD

[root@centos54-b ~]# drbdadm create-md all
Writing meta data...
initializing activity log
NOT initialized bitmap
New drbd meta data block successfully created.

เช่นเดียวกัน หากมี filesystem อยู่บน partition ก่อนแล้ว ต้องใช้คำสั่ง dd เพื่อลบข้อมูลออก

ใช้คำสั่ง service เพื่อรันเซอร์วิส DRBD

[root@centos54-b ~]# service drbd start
Starting DRBD resources: [ d(r0) s(r0) n(r0) ].

เมื่อเริ่มต้นรันเซอร์วิส DRBD บนเครื่องที่ 2 จะเป็นการเริ่ม replicate ข้อมูลจากเครื่องที่ 1

ตรวจสอบสถานะ DRBD บนเครื่องที่ 2

[root@centos54-b ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs          ro                 ds                     p  mounted  fstype
...    sync'ed:    42.2%              (576248/987896)K
0:r0   SyncTarget  Secondary/Primary  Inconsistent/UpToDate  C

ตรวจสอบสถานะ DRBD บนเครื่องที่ 1

[root@centos54-a ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs          ro                 ds                     p  mounted  fstype
...    sync'ed:    43.0%              (567032/987896)K
0:r0   SyncSource  Primary/Secondary  UpToDate/Inconsistent  C  /export  ext3

เมื่อ replicate ข้อมูลเรียบร้อย (synced) ข้อมูลแล้ว สถานะจะเป็นดังนี้

ตรวจสอบสถานะ DRBD บนเครื่องที่ 2 เมื่อ synced ข้อมูลเรียบร้อย

[root@centos54-b ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs         ro                 ds                 p  mounted  fstype
0:r0   Connected  Secondary/Primary  UpToDate/UpToDate  C

ตรวจสอบสถานะ DRBD บนเครื่องที่ 1 เมื่อ synced ข้อมูลเรียบร้อย

[root@centos54-a ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs         ro                 ds                 p  mounted  fstype
0:r0   Connected  Primary/Secondary  UpToDate/UpToDate  C  /export  ext3

หลังจาก synced ข้อมูลระหว่างเครื่องเรียบร้อย เมื่อมีการเปลี่ยนแปลงข้อมูลในดิสก์บนเครื่องที่ 1 (primary) การเปลี่ยนแปลงนั้นจะถูก replicate ไปยังเครื่องที่ 2 (secondary) โดยอัตโนมัติ

ตัวอย่างการใช้คำสั่ง tcpdump  ตรวจสอบ packet ที่ส่งระหว่างเครื่องเพื่อการ replicate ข้อมูลของ DRBD

[root@centos54-b ~]# tcpdump -i eth0 -l -nn | grep 8888
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth0, link-type EN10MB (Ethernet), capture size 96 bytes
15:51:39.815802 IP 10.3.3.52.8888 > 10.3.3.51.42180: P 2834377596:2834377604(8) ack 2893184807 win 46 <nop,nop,timestamp 1772852 1818781>
15:51:39.816356 IP 10.3.3.51.42180 > 10.3.3.52.8888: P 1:9(8) ack 8 win 3216 <nop,nop,timestamp 1828655 1772852>
15:51:39.816394 IP 10.3.3.52.8888 > 10.3.3.51.42180: . ack 9 win 46 <nop,nop,timestamp 1772852 1828655>
15:51:44.888876 IP 10.3.3.1.4117 > 10.3.3.51.22: P 1560:1612(52) ack 1629 win 64271
15:51:49.815252 IP 10.3.3.51.42180 > 10.3.3.52.8888: P 9:17(8) ack 8 win 3216 <nop,nop,timestamp 1838655 1772852>
15:51:49.815330 IP 10.3.3.52.8888 > 10.3.3.51.42180: . ack 17 win 46 <nop,nop,timestamp 1782853 1838655>
15:51:49.815666 IP 10.3.3.52.8888 > 10.3.3.51.42180: P 8:16(8) ack 17 win 46 <nop,nop,timestamp 1782853 1838655>
15:51:49.847300 IP 10.3.3.51.42180 > 10.3.3.52.8888: . ack 16 win 3216 <nop,nop,timestamp 1838696 1782853>
15:51:50.937877 IP 10.3.3.51.8888 > 10.3.3.52.40284: . 3903780263:3903781711(1448) ack 2834246899 win 501 <nop,nop,timestamp 1839875 1683335>
...
[Ctrl-C]

ข้อมูลอ้างอิง

• DRBD
• CentOS 5.4 extras
• การใช้งาน DRBD เบื้องต้น

[root@server ~]# growisofs -Z /dev/dvd=data-backup.iso
: -( /dev/dvd: media is not recognized as recordable DVD: 9

ถ้าลองใช้คำสั่ง dvd+rw-mediainfo ตรวจสอบก็จะมีข้อความฟ้องขึ้นมา

[root@server ~]# dvd+rw-mediainfo /dev/dvd
INQUIRY:                [ASUS    ][DRW-2014L1T     ][1.00]
GET [CURRENT] CONFIGURATION:
: -( non-DVD media mounted, exiting...

ถ้าต้องการเขียนไฟล์ลงบนแผ่นซีดี ต้องใช้คำสั่ง wodim (ชื่อเก่าคือโปรแกรม cdrecord) โดยจะมีวิธีการทำดังต่อไปนี้

ติดตั้งโปรแกรม
ก่อนจะใช้งาน ต้องติดตั้งโปรแกรมเพิ่มเติม สำหรับ Fedora ให้ติดตั้ง rpm ไฟล์ที่ชื่อ wodim และ genisoimage เช่น Fedora 8 ไฟล์ที่ต้องลงเพิ่มคือ

• genisoimage-1.1.6-6.fc8.x86_64.rpm
• wodim-1.1.6-6.fc8.x86_64.rpm

การสร้างอิมเมจไฟล์ iso โดยใช้คำสั่ง genisoimage
เริ่มต้น ต้องสร้างไฟล์ iso หรืออิมเมจของไฟล์ทั้งหมดที่ต้องการจะเขียนลงซีดี โดยใช้คำสั่ง genisoimage (ชื่อเก่าคือ mkisofs) ซึ่งจะมีรูปแบบการใช้คำสั่ง ดังนี้

[root@server ~]# genisoimage -o data-backup.iso -J -joliet-long -R -V "DataBackup" -v /data-dir

คำอธิบาย 

• ออปชั่น -o เป็นการระบุชื่อไฟล์อิมเมจ
• เพื่อรองรับการเขียนไฟล์ที่มีชื่อเป็นภาษาไทย ต้องใส่ออปชั่น -J -joliet-long ลงไปด้วย
• แนะนำให้ใช้ออปชั่น -V เพื่อระบุเป็นชื่อ Volume Name
• ถ้าต้องการระบุหลายๆ ไดเร็คทอรี สามารถใส่ชื่อไดเร็คทอรีหรือไฟล์ต่อท้ายไปได้เลย เช่น /data-dir /home /var เป็นตั้น

การดูไฟล์ที่อยู่ไฟล์ iso
เพื่อตรวจสอบว่าไฟล์ต่างๆ ที่สร้างเป็นอิมเมจขึ้นมาครบถ้วนถูกต้องไหม ก่อนที่จะเขียนลงซีดีจริง สามารถทดสอบดูไฟล์ที่อยู่ในอิมเมจได้ โดยใช้คำสั่ง mount ตามตัวอย่างคือ

[root@server ~]# mount -o loop data-backup.iso /mnt

ถ้าไม่ถูกต้องก็ลบไฟล์อิมเมจนี้ทิ้งไป แล้วใช้คำสั่ง genisoimage สร้างใหม่

อย่าลืม umount ก่อนทำขั้นตอนต่อไป

[root@server ~]# umount /mnt

ใช้คำสั่ง wodim เพื่อเขียนไฟล์อิมเมจ
เมื่อไฟล์อิมเมจถูกต้องตามที่ต้องการแล้ว ใช้คำสั่ง wodim เพื่อเขียนไฟล์ลงบนแผ่นซีดี ซึ่งเราสามารถกำหนดไดร์ฟ ความเร็วในการเขียนได้

[root@server ~]# wodim dev=/dev/dvd speed=32 data-backup.iso

ข้อมูลอ้างอิง

• เขียนไฟล์ลงดีวีดีบนลินุกซ์
  

บทความนี้ขอแนะนำวิธีการเขียนไฟล์ลงแผ่นดีวีดีโดยใช้คำสั่งบนลินุกซ์

หมายเหตุ ถ้าต้องการเขียนซีดี สามารถวิธีการได้ที่ เขียนแผ่นซีดีบนลินุกซ์

ระบบที่ทดสอบ

• Fedora 8

ขั้นตอนที่ 1 – ติดตั้งโปรแกรมเขียนไฟล์
ก่อนอื่นต้องตรวจสอบดูว่าลินุกซ์ของเรามีโปรแกรมที่ต้องใช้เขียนไฟล์ติดตั้งในเครื่องเราแล้วหรือยัง โดยในบทความนี้เราจะใช้โปรแกรม dvd+rw-tools ในการเขียนไฟล์

ตัวอย่างตรวจสอบโปรแกรมที่ติดตั้งแล้วโดยใช้คำสั่ง rpm

[root@server ~]# rpm -q dvd+rw-tools
[root@server ~]#


หากไม่มีผลลัพธ์จากการรันคำสั่ง rpm นั่นคือเครื่องยังไม่มีโปรแกรมนี้ติดตั้ง

เราต้องติดตั้งโปรแกรมเพิ่มเติมสองโปรแกรมคือ genisoimage และ dvd+rw-tools สำหรับ Fedora 8 (x86_64) สามารถดูด้านล่างสุดของบทความนี้ ในส่วนของข้อมูลอ้างอิงสำหรับที่ดาวน์โหลดไฟล์

ตัวอย่างการติดตั้งโปรแกรม dvd+rw-tools บน Fedora 8

[root@server ~]# rpm -ivh genisoimage-1.1.6-6.fc8.x86_64.rpm
[root@server ~]# rpm -ivh dvd+rw-tools-7.0-7.fc8.x86_64.rpm


ขั้นตอนที่ 2 – ตรวจสอบดีวีดีไดรฟว์
ใช้คำสั่ง dvd+rw-mediainfo ตรวจสอบว่าดีวีดีไดรฟว์ว่าสามารถเขียนไฟล์ได้หรือไม่ และข้อมูลรายละเอียดอื่นของไดรฟว์

ตัวอย่างการตรวจสอบไดรฟว์

[root@server ~]# dvd+rw-mediainfo /dev/dvd
INQUIRY: [LITE-ON ][DVDRW LH-18A1P ][GL0F]
GET [CURRENT] CONFIGURATION:
Mounted Media: 11h, DVD-R Sequential
Media ID: RITEKG05
Current Write Speed: 8.0x1385=11080KB/s
Write Speed #0: 8.0x1385=11080KB/s
Write Speed #1: 6.0x1385=8310KB/s
Write Speed #2: 4.0x1385=5540KB/s
Write Speed #3: 2.0x1385=2770KB/s
...


ขั้นตอนที่ 3 – เตรียมไฟล์ที่จะเขียน
เตรียมไฟล์ที่จะเขียนลงบนแผ่น เช่นอยู่ใน /tmp/data-to-write/

ขั้นตอนที่ 4 – เขียนไฟล์ลงดีวีดี
ใส่แผ่นเปล่าที่จะเขียนเข้าไปในไดรฟว์ แล้วใช้คำสั่ง growisofs เพื่อเขียนไฟล์ที่เตรียมไว้ ลงบนแผ่น

ตัวอย่างการใช้คำสั่ง growisofs เพื่อเขียนไฟล์ที่เก็บอยู่ใน /tmp/data-to-write/ ลงบนแผ่น

[root@server ~]# cd /tmp/data-to-write/
[root@server data-to-write]# growisofs -dvd-compat -Z /dev/dvd -joliet-long -R -V "DataBackup-20080512" .
Executing 'mkisofs -joliet-long -R -V DataBackup-20080512 . | builtin_dd of=/dev/dvd obs=32k seek=0'
0.27% done, estimate finish Mon May 12 13:52:03 2008
0.55% done, estimate finish Mon May 12 13:54:28 2008
0.82% done, estimate finish Mon May 12 14:09:05 2008
...
99.17% done, estimate finish Mon May 12 13:58:33 2008
99.44% done, estimate finish Mon May 12 13:58:33 2008
99.72% done, estimate finish Mon May 12 13:58:33 2008
Total translation table size: 0
Total rockridge attributes bytes: 7016
Total directory bytes: 17270
Path table size(bytes): 74
Max brk space used 0
1825135 extents written (3564 MB)
builtin_dd: 1825136*2KB out @ average 7.5x1352KBps
/dev/dvd: flushing cache
/dev/dvd: updating RMA
/dev/dvd: closing disc
/dev/dvd: reloading tray

หมายเหตุ: เครื่องหมายจุด “.” สุดท้ายของคำสั่ง growisofs หมายถึงให้เขียนไฟล์จากไดเร็คทอรีปัจจุบันนี้ลงบนแผ่น

ขั้นตอนที่ 5 – ตรวจสอบไฟล์ที่เขียนเสร็จแล้ว
ขั้นสุดท้าย ตรวจสอบไฟล์ที่เขียนลงบนแผ่น

ตัวอย่างการตรวจสอบไฟล์

[root@server ~]# mount /dev/dvd /media/
mount: block device /dev/sr0 is write-protected, mounting read-only
[root@server ~]# cd /media
[root@server media]# ls
FILE-1.DAT FILE-2.DAT FILE-3.DAT
...


เมื่อตรวจสอบไฟล์บนแผ่นว่าครบถ้วนถูกต้องแล้ว ก็ใช้คำสั่ง eject เพื่อเอาแผ่นออกมาจากไดรฟว์

[root@server media]# cd /
[root@server media]# eject


หลังจากนั้นเราก็สามารถลบไฟล์ที่เก็บสำรองลงบนแผ่นแล้ว ออกจากฮาร์ดดิสก์ของเราได้เลย ได้เนื้อที่เพิ่มมาอีกเพียบเลย

เขียนไฟล์ iso ลงแผ่นดีวีดีโดยตรงเลย
ขอเพิ่มเติมสำหรับเขียนไฟล์ที่ทำเป็นอิมเมจไว้แล้วเช่นไฟล์ประเภท iso สามารถทำได้โดยใช้คำสั่ง growisofs เหมือนกันแต่เป็นคำสั่งเป็นดังนี้

ตัวอย่างการเขียนไฟล์ DVD-Image.iso ลงบนแผ่นดีวีดี


[root@server ~]# growisofs -dvd-compat -Z /dev/dvd=DVD-Image.iso
Executing 'builtin_dd if=DVD-Image.iso of=/dev/dvd obs=32k seek=0'
/dev/dvd: "Current Write Speed" is 3.3x1352KBps.
3080192/4513529856 ( 0.1%) @0.5x, remaining 73:13 RBU 100.0% UBU 9.7%
27754496/4513529856 ( 0.6%) @5.3x, remaining 18:51 RBU 100.0% UBU 99.6%
52756480/4513529856 ( 1.2%) @5.4x, remaining 14:05 RBU 100.0% UBU 99.6%
...


ข้อมูลอ้างอิง

• เขียนแผ่นซีดีบนลินุกซ์
• Blu-ray Disc/ DVD+RW/+R/ -R[W] for Linux
• genisoimage-1.1.6-6.fc8.x86_64.rpm
• dvd+rw-tools-7.0-7.fc8.x86_64.rpm