ตั้งค่าตัวแปร setting.sh

ต้องรัน source ไฟล์ /gridware/sge/MyCell/common/settings.sh เพื่อตั้งค่าตัวแปรของ sge ก่อนที่จะรันคำสั่ง

วิธีการรัน ใช้คำสั่ง source หรือ . เว้นวรรคแล้วตามด้วยชื่อไฟล์ /gridware/sge/MyCell/common/settings.sh

[root@cent55-sge ~]# . /gridware/sge/MyCell/common/settings.sh

ลองรันคำสั่ง set เพื่อดูค่าตัวแปรที่ถูกตั้งค่า เกี่ยวกับ sge

[root@cent55-sge ~]# set | grep -i sge
MANPATH=/gridware/sge/man:/usr/share/man/en:/usr/share/man:/usr/local/share/man
PATH=/gridware/sge/bin/lx24-amd64:/usr/kerberos/sbin:/usr/kerberos/bin:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin
SGE_CELL=MyCell
SGE_CLUSTER_NAME=MyCluster
SGE_ROOT=/gridware/sge

คำสั่ง qconf ดูคอนฟิก

ใช้คำสั่ง qconf ตามด้วยออปชั่น เพื่อดูค่าคอนฟิกต่างๆ ของ sge

รันคำสั่ง qconf -ss เพื่อดูชื่อเครื่องที่มีสิทธิส่งงานหรือใช้คำสั่ง qsub ได้ (show a list of all submit hosts)

[root@cent55-sge ~]# qconf -ss
cent55-node1.spalinux.com
cent55-node2.spalinux.com
cent55-sge.spalinux.com

รันคำสั่ง qconf -sel เพื่อดูชื่อเครื่องที่ทำหน้าที่รันงาน (show a list of all exec servers)

[root@cent55-sge ~]# qconf -sel
cent55-node1.spalinux.com
cent55-node2.spalinux.com

คำสั่ง qstat ดูสถานะ

ใช้คำสั่ง qstat ตามด้วยออปชั่น เพื่อดูสถานะของงาน (job) และ queue ในการรันงาน

รันคำสั่ง qstat -f เพื่อดูสถานะของเครื่อง execd host และงานที่รัน

[root@cent55-sge ~]# qstat -f
queuename                      qtype resv/used/tot. load_avg arch          states
---------------------------------------------------------------------------------
all.q@cent55-node1.spalinux.co BIP   0/0/1          0.00     lx24-amd64
---------------------------------------------------------------------------------
all.q@cent55-node2.spalinux.co BIP   0/0/1          0.34     lx24-amd64

ทดสอบการส่ง job

เริ่มต้นจะทดลองส่ง job แบบง่ายๆ รันไฟล์ simple.sh ที่มาจากการติดตั้งโปรแกรม Sun Grid Engine

ไฟล์ simple เป็น shell script ที่รันคำสั่ง date รอ (sleep) 20 วินาที แล้วรันคำสั่ง date อีกครั้ง

[root@cent55-sge ~]# cat /gridware/sge/examples/jobs/simple.sh
#!/bin/sh
#
#
# (c) 2009 Sun Microsystems, Inc. All rights reserved. Use is subject to license terms.

# This is a simple example of a SGE batch script

# request Bourne shell as shell for job
#$ -S /bin/sh

#
# print date and time
date
# Sleep for 20 seconds
sleep 20
# print date and time again
date

ใช้คำสั่ง qsub ตามด้วยชื่อไฟล์ที่ต้องการรัน

[root@cent55-sge ~]# qsub /gridware/sge/examples/jobs/simple.sh
Your job 206 ("simple.sh") has been submitted

ใช้คำสั่ง qstat -f เพื่อดูสถานะของ job

[root@cent55-sge ~]# qstat -f
queuename                      qtype resv/used/tot. load_avg arch          states
---------------------------------------------------------------------------------
all.q@cent55-node1.spalinux.co BIP   0/0/1          0.00     lx24-amd64
---------------------------------------------------------------------------------
all.q@cent55-node2.spalinux.co BIP   0/0/1          0.09     lx24-amd64

############################################################################
 - PENDING JOBS - PENDING JOBS - PENDING JOBS - PENDING JOBS - PENDING JOBS
############################################################################
    206 0.00000 simple.sh  root         qw    01/29/2011 15:43:06     1

ทดลองพิมพ์คำสั่ง qstat -f ไปเรื่อยๆ ช่วงแรก job 206 จะอยู่ในสถานะ PENDING JOBS คือรอการรัน

ผ่านไปไม่นาน สถานะของ job 206 จะเริ่มรันบนเครื่อง execd host ในตัวอย่างนี้รันบนเครื่อง node1

[root@cent55-sge ~]# qstat -f
queuename                      qtype resv/used/tot. load_avg arch          states
---------------------------------------------------------------------------------
all.q@cent55-node1.spalinux.co BIP   0/1/1          0.00     lx24-amd64
    206 0.55500 simple.sh  root         r     01/29/2011 15:43:15     1
---------------------------------------------------------------------------------
all.q@cent55-node2.spalinux.co BIP   0/0/1          0.09     lx24-amd64

หากล็อกอินเครื่อง node1 แล้วใช้คำสั่ง ps  จะเห็นโปรเซสของ job 206

[root@cent55-node1 ~]# ps -ef
...
sgeadmin  2192  2129  0 15:43 ?        00:00:00 sge_shepherd-206 -bg
root      2193  2192  0 15:43 ?        00:00:00 -sh /gridware/sge/MyCell/spool/cent55-node1/job_scripts/206
root      2218  2193  0 15:43 ?        00:00:00 sleep 20
root      2221  1754  0 15:43 pts/0    00:00:00 ps -ef

ดูไฟล์โปรเซสที่รันบนเครื่อง node1 ซึ่งก็คือไฟล์ simple.sh นั่นเอง

[root@cent55-node1 ~]# cat /gridware/sge/MyCell/spool/cent55-node1/job_scripts/206
#!/bin/sh
#
#
# (c) 2009 Sun Microsystems, Inc. All rights reserved. Use is subject to license terms.

# This is a simple example of a SGE batch script

# request Bourne shell as shell for job
#$ -S /bin/sh

#
# print date and time
date
# Sleep for 20 seconds
sleep 20
# print date and time again
date

หลังจากรันงานเสร็จสิ้น สถานะ job 206 ก็จะหายไปจากคำสั่ง qstat

[root@cent55-sge ~]# qstat -f
queuename                      qtype resv/used/tot. load_avg arch          states
---------------------------------------------------------------------------------
all.q@cent55-node1.spalinux.co BIP   0/0/1          0.00     lx24-amd64
---------------------------------------------------------------------------------
all.q@cent55-node2.spalinux.co BIP   0/0/1          0.09     lx24-amd64

ผลลัพธ์ที่ได้จากการรันไฟล์ simple.sh จะถูกเก็บไว้บนเครื่อง execd host ที่ทำหน้าที่รัน เช่นในที่นี้คือบน node1

ไฟล์ simple.sh.o206 เก็บผลลัพธ์ standard output จากการรัน job 206

[root@cent55-node1 ~]# cat simple.sh.o206
Sat Jan 29 15:43:14 ICT 2011
Sat Jan 29 15:43:34 ICT 2011

ไฟล์ simple.sh.e206 เก็บผลลัพธ์ standard error จากการรัน job

[root@cent55-node1 ~]# cat simple.sh.e206

ในที่นี้ไม่มี error จากการรัน ไฟล์จึงว่างเปล่า

ข้อมูลอ้างอิง

• ติดตั้ง Sun Grid Engine บน CentOS 5.5
• คอนฟิก Sun Grid Engine qmaster host
• คอนฟิก Sun Grid Engine execution (execd) host

หมายเหตุ ตัวอย่างในบทความนี้คอนฟิกบน node1 เครื่องเดียว ส่วนเครื่องอื่นๆ ที่จะทำหน้าที่เป็น execd host ด้วย ก็คอนฟิกแบบเดียวกัน

หลังจากติดตั้ง Sun Grid Engine แล้ว cd ไปยังไดเรคทอรีที่ติดตั้ง sge

[root@cent55-node1 sge6_2u5]# cd /gridware/sge/

[root@cent55-node1 sge]# ls -l
total 136
drwxr-xr-x  2 root root  4096 Jan  8 22:25 3rd_party
drwxr-xr-x  3 root root  4096 Jan  8 22:25 bin
drwxr-xr-x  3 root root  4096 Jan  8 22:25 catman
drwxr-xr-x  2 root root  4096 Jan  8 22:25 ckpt
drwxr-xr-x  5 root root  4096 Jan  8 22:25 doc
drwxr-xr-x  2 root root  4096 Jan  8 22:25 dtrace
drwxr-xr-x  5 root root  4096 Jan  8 22:25 examples
drwxr-xr-x  2 root root  4096 Jan  8 22:25 hadoop
drwxr-xr-x  2 root root  4096 Jan  8 22:25 include
-rwxr-xr-x  1 root root   125 Dec 11  2009 install_execd
-rwxr-xr-x  1 root root   125 Dec 11  2009 install_qmaster
-rwxr-xr-x  1 root root 59960 Dec 11  2009 inst_sge
drwxr-xr-x  3 root root  4096 Jan  8 22:25 lib
drwxr-xr-x  6 root root  4096 Jan  8 22:25 man
drwxr-xr-x  4 root root  4096 Jan  8 22:25 mpi
drwxr-xr-x  3 root root  4096 Jan  8 22:25 pvm
drwxr-xr-x  3 root root  4096 Jan  8 22:25 qmon
-rwxr-xr-x  1 root root  1289 Dec 11  2009 start_gui_installer
drwxr-xr-x 10 root root  4096 Jan  8 22:25 util
drwxr-xr-x  3 root root  4096 Jan  8 22:25 utilbin

ต้อง copy ไดเรคทอรี ของ cell ที่คอนฟิกไว้บนเครื่อง qmaster host

ล็อกอินเข้าเครื่อง sge แล้วรันคำสั่ง tar ใน /gridware/sge/ เพื่อรวมไฟล์ทั้งหมดที่อยู่ในไดเรคทอรีของ cell ในที่นี้เราตั้งชื่อเป็น MyCell

[root@cent55-sge ~]# cd /gridware/sge/

[root@cent55-sge sge]# tar jcvpf MyCell.tar.bz2 MyCell/
MyCell/
MyCell/spool/
MyCell/spool/qmaster/
MyCell/spool/qmaster/heartbeat
MyCell/spool/qmaster/arseqnum
MyCell/spool/qmaster/qmaster.pid
MyCell/spool/qmaster/messages
MyCell/spool/qmaster/job_scripts/
MyCell/spool/qmaster/jobseqnum
MyCell/spool/qmaster/lock
MyCell/spool/spooldb/
MyCell/spool/spooldb/__db.005
MyCell/spool/spooldb/__db.001
MyCell/spool/spooldb/sge_job
MyCell/spool/spooldb/__db.003
MyCell/spool/spooldb/log.0000000001
MyCell/spool/spooldb/__db.004
MyCell/spool/spooldb/__db.002
MyCell/spool/spooldb/sge
MyCell/spool/spooldb/__db.006
MyCell/common/
MyCell/common/settings.csh
MyCell/common/sgeexecd
MyCell/common/act_qmaster
MyCell/common/bootstrap
MyCell/common/sgemaster
MyCell/common/sge_aliases
MyCell/common/sge_request
MyCell/common/cluster_name
MyCell/common/qtask
MyCell/common/settings.sh

copy ไฟล์ ไปยังเครื่อง node1 โดยอาจใช้คำสั่ง scp หรืออื่นๆ ก็ได้

[root@cent55-sge sge]# scp MyCell.tar.bz2 cent55-node1:

กลับมายังเครื่อง node1 รันคำสั่ง tar เพื่อแตกไฟล์ ไว้ใน /gridware/sge/

[root@cent55-node1 sge]# tar jxvf /root/MyCell.tar.bz2
MyCell/
MyCell/spool/
MyCell/spool/qmaster/
MyCell/spool/qmaster/heartbeat
MyCell/spool/qmaster/arseqnum
MyCell/spool/qmaster/qmaster.pid
MyCell/spool/qmaster/messages
MyCell/spool/qmaster/job_scripts/
MyCell/spool/qmaster/jobseqnum
MyCell/spool/qmaster/lock
MyCell/spool/spooldb/
MyCell/spool/spooldb/__db.005
MyCell/spool/spooldb/__db.001
MyCell/spool/spooldb/sge_job
MyCell/spool/spooldb/__db.003
MyCell/spool/spooldb/log.0000000001
MyCell/spool/spooldb/__db.004
MyCell/spool/spooldb/__db.002
MyCell/spool/spooldb/sge
MyCell/spool/spooldb/__db.006
MyCell/common/
MyCell/common/settings.csh
MyCell/common/sgeexecd
MyCell/common/act_qmaster
MyCell/common/bootstrap
MyCell/common/sgemaster
MyCell/common/sge_aliases
MyCell/common/sge_request
MyCell/common/cluster_name
MyCell/common/qtask
MyCell/common/settings.sh

รันคำสั่ง ./install_execd หรือ ./inst_sge -x เพื่อติดตั้ง sge บนเครื่องนี้ให้ทำหน้าที่เป็น qmaster host

หน้าจอแสดงเริ่มต้นการติดตั้งเป็น sge execution host

[root@cent55-node1 sge]# ./inst_sge -x

Welcome to the Grid Engine execution host installation
------------------------------------------------------

If you haven't installed the Grid Engine qmaster host yet, you must execute
this step (with >install_qmaster<) prior the execution host installation.

For a sucessfull installation you need a running Grid Engine qmaster. It is
also neccesary that this host is an administrative host.

You can verify your current list of administrative hosts with
the command:

   # qconf -sh

You can add an administrative host with the command:

   # qconf -ah <hostname>

The execution host installation will take approximately 5 minutes.

Hit <RETURN> to continue >>

ตรวจสอบไดเรคทอรีหลัก

Checking $SGE_ROOT directory
----------------------------

The Grid Engine root directory is:

   $SGE_ROOT = /gridware/sge

If this directory is not correct (e.g. it may contain an automounter
prefix) enter the correct path to this directory or hit <RETURN>
to use default [/gridware/sge] >>

Your $SGE_ROOT directory: /gridware/sge

Hit <RETURN> to continue >>

ระบุชื่อ cell ที่คอนฟิกไว้บน qmaster ในที่นี้คือ MyCell

Grid Engine cells
-----------------

Please enter cell name which you used for the qmaster
installation or press <RETURN> to use [default] >> MyCell

Using cell: >MyCell<

Hit <RETURN> to continue >>

พอร์ตสำหรับรัน sge_execd

Grid Engine TCP/IP communication service
----------------------------------------

The port for sge_execd is currently set as service.

   sge_execd service set to port 10501

Hit <RETURN> to continue >>

หาก node นี้อยู่ใน administrative host บน sge qmaster แล้ว

Checking hostname resolving
---------------------------

This hostname is known at qmaster as an administrative host.

Hit <RETURN> to continue >>

คอนฟิกไดเรคทอรี spool

Execd spool directory configuration
-----------------------------------

You defined a global spool directory when you installed the master host.
You can use that directory for spooling jobs from this execution host
or you can define a different spool directory for this execution host.

ATTENTION: For most operating systems, the spool directory does not have to
be located on a local disk. The spool directory can be located on a
network-accessible drive. However, using a local spool directory provides
better performance.

FOR WINDOWS USERS: On Windows systems, the spool directory MUST be located
on a local disk. If you install an execution daemon on a Windows system
without a local spool directory, the execution host is unusable.

The spool directory is currently set to:
<</gridware/sge/MyCell/spool/cent55-node1>>

Do you want to configure a different spool directory
for this host (y/n) [n] >>

Creating local configuration
----------------------------
sgeadmin@cent55-node1.spalinux.com added "cent55-node1.spalinux.com" to configuration list
Local configuration for host >cent55-node1.spalinux.com< created.

Hit <RETURN> to continue >> 

สร้างไฟล์สำหรับรัน sge execd ตอนบู๊ตเครื่อง

execd startup script
--------------------

We can install the startup script that will
start execd at machine boot (y/n) [y] >>

cp /gridware/sge/MyCell/common/sgeexecd /etc/init.d/sgeexecd.MyCluster
/usr/lib/lsb/install_initd /etc/init.d/sgeexecd.MyCluster

Hit <RETURN> to continue >>

Grid Engine execution daemon startup
------------------------------------

Starting execution daemon. Please wait ...
   starting sge_execd

Hit <RETURN> to continue >>

เพิ่ม queue

 Adding a queue for this host
----------------------------

We can now add a queue instance for this host:

   - it is added to the >allhosts< hostgroup
   - the queue provides 1 slot(s) for jobs in all queues
     referencing the >allhosts< hostgroup

You do not need to add this host now, but before running jobs on this host
it must be added to at least one queue.

Do you want to add a default queue instance for this host (y/n) [y] >>

root@cent55-node1.spalinux.com modified "@allhosts" in host group list
root@cent55-node1.spalinux.com modified "all.q" in cluster queue list

Hit <RETURN> to continue >>

หน้าจอแสดงวิธีการใช้ sge

Using Grid Engine
-----------------

You should now enter the command:

   source /gridware/sge/MyCell/common/settings.csh

if you are a csh/tcsh user or

   # . /gridware/sge/MyCell/common/settings.sh

if you are a sh/ksh user.

This will set or expand the following environment variables:

   - $SGE_ROOT         (always necessary)
   - $SGE_CELL         (if you are using a cell other than >default<)
   - $SGE_CLUSTER_NAME (always necessary)
   - $SGE_QMASTER_PORT (if you haven't added the service >sge_qmaster<)
   - $SGE_EXECD_PORT   (if you haven't added the service >sge_execd<)
   - $PATH/$path       (to find the Grid Engine binaries)
   - $MANPATH          (to access the manual pages)

Hit <RETURN> to see where Grid Engine logs messages >>

Grid Engine messages
--------------------

Grid Engine messages can be found at:

   /tmp/qmaster_messages (during qmaster startup)
   /tmp/execd_messages   (during execution daemon startup)

After startup the daemons log their messages in their spool directories.

   Qmaster:     /gridware/sge/MyCell/spool/qmaster/messages
   Exec daemon: <execd_spool_dir>/<hostname>/messages

Grid Engine startup scripts
---------------------------

Grid Engine startup scripts can be found at:

   /gridware/sge/MyCell/common/sgemaster (qmaster)
   /gridware/sge/MyCell/common/sgeexecd (execd)

Do you want to see previous screen about using Grid Engine again (y/n) [n] >>

Your execution daemon installation is now completed.

ใช้คำสั่ง ps ตรวจสอบโปรเซส sge_execd

[root@cent55-node1 sge]# ps -ef | grep sge
sgeadmin  2346     1  0 22:37 ?        00:00:00 /gridware/sge/bin/lx24-amd64/sge_execd
root      2414  1668  0 22:39 pts/0    00:00:00 grep sge

 
การเปิด/ปิด เซอร์วิส sge_execd

การปิดเซอร์วิส sgeexecd

[root@cent55-node1 sge]# /etc/init.d/sgeexecd.MyCluster stop
   Shutting down Grid Engine execution daemon

การเปิดหรือรันเซอร์วิส sgeexecd

[root@cent55-node1 sge]# /etc/init.d/sgeexecd.MyCluster start
   starting sge_execd

 
ข้อมูลอ้างอิง

• ติดตั้ง Sun Grid Engine บน CentOS 5.5
• คอนฟิก Sun Grid Engine qmaster host

เริ่มต้น ใช้คำสั่ง cd ไปยังไดเรคทอรีที่ติดตั้ง sge

[root@cent55-sge sge6_2u5]# cd /gridware/sge/

[root@cent55-sge sge]# ls -l
total 136
drwxr-xr-x  2 root root  4096 Jan  8 12:40 3rd_party
drwxr-xr-x  3 root root  4096 Jan  8 12:48 bin
drwxr-xr-x  3 root root  4096 Jan  8 12:40 catman
drwxr-xr-x  2 root root  4096 Jan  8 12:40 ckpt
drwxr-xr-x  5 root root  4096 Jan  8 12:40 doc
drwxr-xr-x  2 root root  4096 Jan  8 12:40 dtrace
drwxr-xr-x  5 root root  4096 Jan  8 12:48 examples
drwxr-xr-x  2 root root  4096 Jan  8 12:40 hadoop
drwxr-xr-x  2 root root  4096 Jan  8 12:40 include
-rwxr-xr-x  1 root root   125 Dec 11  2009 install_execd
-rwxr-xr-x  1 root root   125 Dec 11  2009 install_qmaster
-rwxr-xr-x  1 root root 59960 Dec 11  2009 inst_sge
drwxr-xr-x  3 root root  4096 Jan  8 12:48 lib
drwxr-xr-x  6 root root  4096 Jan  8 12:40 man
drwxr-xr-x  4 root root  4096 Jan  8 12:40 mpi
drwxr-xr-x  3 root root  4096 Jan  8 12:40 pvm
drwxr-xr-x  3 root root  4096 Jan  8 12:40 qmon
-rwxr-xr-x  1 root root  1289 Dec 11  2009 start_gui_installer
drwxr-xr-x 10 root root  4096 Jan  8 12:40 util
drwxr-xr-x  3 root root  4096 Jan  8 12:48 utilbin

รันคำสั่ง ./install_qmaster หรือ ./inst_sge -m เพื่อเริ่มคอนฟิก sge บนเครื่องนี้ ให้ทำหน้าที่เป็น qmaster host

[root@cent55-sge sge]# ./inst_sge -m
Sun Microsystems, Inc. ("Sun") SOFTWARE LICENSE AGREEMENT

READ THE TERMS OF THIS AGREEMENT ("AGREEMENT") CAREFULLY BEFORE OPENING
SOFTWARE MEDIA PACKAGE. BY OPENING SOFTWARE MEDIA PACKAGE, YOU AGREE TO THE
TERMS OF THIS AGREEMENT. IF YOU ARE ACCESSING SOFTWARE ELECTRONICALLY,
INDICATE YOUR ACCEPTANCE OF THESE TERMS BY SELECTING THE "ACCEPT" (OR
EQUIVALENT) BUTTON AT THE END OF THIS AGREEMENT. IF YOU DO NOT AGREE TO ALL
OF THE TERMS, PROMPTLY RETURN THE UNUSED SOFTWARE TO YOUR PLACE OF PURCHASE
FOR A REFUND OR, IF SOFTWARE IS ACCESSED ELECTRONICALLY, SELECT THE
"DECLINE" (OR "EXIT") BUTTON AT THE END OF THIS AGREEMENT. IF YOU HAVE
SEPARATELY AGREED TO LICENSE TERMS ("MASTER TERMS") FOR YOUR LICENSE TO THIS
SOFTWARE, THEN SECTIONS 1-6 OF THIS AGREEMENT ("SUPPLEMENTAL LICENSE TERMS")
SHALL SUPPLEMENT AND SUPERSEDE THE MASTER TERMS IN RELATION TO THIS
SOFTWARE.

...
...

17. Records and Documentation.? During the term of the SLA and Entitlement,
and for a period of three (3) years thereafter, You agree to keep proper
records and documentation of Your compliance with the SLA and Entitlement.
Upon Sun?s reasonable request, You will provide copies of such records and
documentation to Sun for the purpose of confirming Your compliance with the
terms and conditions of the SLA and Entitlement. This section will survive
any termination of the SLA and Entitlement. You may terminate this SLA and
Entitlement at any time by destroying all copies of the Software in which
case the obligations set forth in Section 7 of the SLA shall apply.

หน้าจอแสดง LICENSE AGREEMENT ตอบ "y" เพื่อยอมรับ

Do you agree with that license? (y/n) [n] >> y

หน้าแสดงการเริ่มต้นติดตั้ง

Welcome to the Grid Engine installation
---------------------------------------

Grid Engine qmaster host installation
-------------------------------------

Before you continue with the installation please read these hints:

   - Your terminal window should have a size of at least
     80x24 characters

   - The INTR character is often bound to the key Ctrl-C.
     The term >Ctrl-C< is used during the installation if you
     have the possibility to abort the installation

The qmaster installation procedure will take approximately 5-10 minutes.

Hit <RETURN> to continue >>

เลือก user ที่ไม่ใช่ root สำหรับรัน sge

Grid Engine admin user account
------------------------------

The current directory

   /gridware/sge

is owned by user

   sgeadmin

If user >root< does not have write permissions in this directory on *all*
of the machines where Grid Engine will be installed (NFS partitions not
exported for user >root< with read/write permissions) it is recommended to
install Grid Engine that all spool files will be created under the user id
of user >sgeadmin<.

IMPORTANT NOTE: The daemons still have to be started by user >root<.

Do you want to install Grid Engine as admin user >sgeadmin< (y/n) [y] >>

Installing Grid Engine as admin user >sgeadmin<
Hit <RETURN> to continue >>

ไดเรคทอรีหลักของ sge

Checking $SGE_ROOT directory
----------------------------

The Grid Engine root directory is:

   $SGE_ROOT = /gridware/sge

If this directory is not correct (e.g. it may contain an automounter
prefix) enter the correct path to this directory or hit <RETURN>
to use default [/gridware/sge] >>

Your $SGE_ROOT directory: /gridware/sge

Hit <RETURN> to continue >>

เลือกหมายเลขพอร์ตสำหรับรัน sge_qmaster

Grid Engine TCP/IP communication service
----------------------------------------

The port for sge_qmaster is currently set as service.

   sge_qmaster service set to port 10500

Now you have the possibility to set/change the communication ports by using the
>shell environment< or you may configure it via a network service, configured
in local >/etc/service<, >NIS< or >NIS+<, adding an entry in the form

    sge_qmaster <port_number>/tcp

to your services database and make sure to use an unused port number.

How do you want to configure the Grid Engine communication ports?

Using the >shell environment<:                           [1]

Using a network service like >/etc/service<, >NIS/NIS+<: [2]

(default: 2) >>

Grid Engine TCP/IP service >sge_qmaster<
----------------------------------------

Using the service

   sge_qmaster

for communication with Grid Engine.

Hit <RETURN> to continue >>

 เลือกหมายเลขพอร์ตสำหรับรัน sge_execd

 Grid Engine TCP/IP communication service
----------------------------------------

The port for sge_execd is currently set as service.

   sge_execd service set to port 10501

Now you have the possibility to set/change the communication ports by using the
>shell environment< or you may configure it via a network service, configured
in local >/etc/service<, >NIS< or >NIS+<, adding an entry in the form

    sge_execd <port_number>/tcp

to your services database and make sure to use an unused port number.

How do you want to configure the Grid Engine communication ports?

Using the >shell environment<:                           [1]

Using a network service like >/etc/service<, >NIS/NIS+<: [2]

(default: 2) >>

Grid Engine TCP/IP communication service
-----------------------------------------

Using the service

   sge_execd

for communication with Grid Engine.

Hit <RETURN> to continue >>

ตั้งชื่อ cell ในที่นี้จะตั้งเป็น MyCell

หมายเหตุ ชื่อ cell ใช้ในการจัดกลุ่มเพื่อส่งงานระหว่าง qmaster host และ execution host

 Grid Engine cells
-----------------

Grid Engine supports multiple cells.

If you are not planning to run multiple Grid Engine clusters or if you don't
know yet what is a Grid Engine cell it is safe to keep the default cell name

   default

If you want to install multiple cells you can enter a cell name now.

The environment variable

   $SGE_CELL=<your_cell_name>

will be set for all further Grid Engine commands.

Enter cell name [default] >> MyCell

Using cell >MyCell<.
Hit <RETURN> to continue >>

ตั้งชื่อ cluster ในที่นี้ตั้งเป็น MyCluster

Unique cluster name
-------------------

The cluster name uniquely identifies a specific Sun Grid Engine cluster.
The cluster name must be unique throughout your organization. The name
is not related to the SGE cell.

The cluster name must start with a letter ([A-Za-z]), followed by letters,
digits ([0-9]), dashes (-) or underscores (_).

Enter new cluster name or hit <RETURN>
to use default [p10500] >> MyCluster

creating directory: /gridware/sge/MyCell/common

Your $SGE_CLUSTER_NAME: MyCluster

Hit <RETURN> to continue >>

ไดเรคทอรี spool ของ qmaster

 Grid Engine qmaster spool directory
-----------------------------------

The qmaster spool directory is the place where the qmaster daemon stores
the configuration and the state of the queuing system.

The admin user >sgeadmin< must have read/write access
to the qmaster spool directory.

If you will install shadow master hosts or if you want to be able to start
the qmaster daemon on other hosts (see the corresponding section in the
Grid Engine Installation and Administration Manual for details) the account
on the shadow master hosts also needs read/write access to this directory.

Enter a qmaster spool directory [/gridware/sge/MyCell/spool/qmaster] >>

Using qmaster spool directory >/gridware/sge/MyCell/spool/qmaster<.
Hit <RETURN> to continue >>

จะรัน sge บนเครื่อง Windows ด้วยหรือไม่

Windows Execution Host Support
------------------------------

Are you going to install Windows Execution Hosts? (y/n) [n] >>

ตรวจสอบไฟล์ permission

Verifying and setting file permissions
--------------------------------------

Did you install this version with >pkgadd< or did you already verify
and set the file permissions of your distribution (enter: y) (y/n) [y] >>

We do not verify file permissions. Hit <RETURN> to continue >>

คารใช้ DNS domain ชื่อเดียวกัน

Select default Grid Engine hostname resolving method
----------------------------------------------------

Are all hosts of your cluster in one DNS domain? If this is
the case the hostnames

   >hostA< and >hostA.foo.com<

would be treated as equal, because the DNS domain name >foo.com<
is ignored when comparing hostnames.

Are all hosts of your cluster in a single DNS domain (y/n) [y] >>

Ignoring domain name when comparing hostnames.

Hit <RETURN> to continue >>

จะเปิดการใช้ Grid Engine JMX MBean server หรือไม่ ในที่นี้จะตอบ “n” คือไม่ใช้

Grid Engine JMX MBean server
----------------------------

In order to use the SGE Inspect or the Service Domain Manager (SDM)
SGE adapter you need to configure a JMX server in qmaster. Qmaster
will then load a Java Virtual Machine through a shared library.
NOTE: Java 1.5 or later is required for the JMX MBean server.

Do you want to enable the JMX MBean server (y/n) [y] >> n

โปรแกรมจะเริ่มสร้างไฟล์ ไดเรคทอรี ต่างๆ ที่จะใช้

Making directories
------------------

creating directory: /gridware/sge/MyCell/spool/qmaster
creating directory: /gridware/sge/MyCell/spool/qmaster/job_scripts
Hit <RETURN> to continue >>

เลือกวิธีการ spooling

Setup spooling
--------------
Your SGE binaries are compiled to link the spooling libraries
during runtime (dynamically). So you can choose between Berkeley DB
spooling and Classic spooling method.
Please choose a spooling method (berkeleydb|classic) [berkeleydb] >>

The Berkeley DB spooling method provides two configurations!

Local spooling:
The Berkeley DB spools into a local directory on this host (qmaster host)
This setup is faster, but you can't setup a shadow master host

Berkeley DB Spooling Server:
If you want to setup a shadow master host, you need to use
Berkeley DB Spooling Server!
In this case you have to choose a host with a configured RPC service.
The qmaster host connects via RPC to the Berkeley DB. This setup is more
failsafe, but results in a clear potential security hole. RPC communication
(as used by Berkeley DB) can be easily compromised. Please only use this
alternative if your site is secure or if you are not concerned about
security. Check the installation guide for further advice on how to achieve
failsafety without compromising security.

Do you want to use a Berkeley DB Spooling Server? (y/n) [n] >>

Hit <RETURN> to continue >>

Berkeley Database spooling parameters
-------------------------------------

Please enter the database directory now, even if you want to spool locally,
it is necessary to enter this database directory.

Default: [/gridware/sge/MyCell/spool/spooldb] >>

creating directory: /gridware/sge/MyCell/spool/spooldb
Dumping bootstrapping information
Initializing spooling database

Hit <RETURN> to continue >>

ขอบเขตของ group id เพิ่มเติม ที่ sge ใช้

Grid Engine group id range
--------------------------

When jobs are started under the control of Grid Engine an additional group id
is set on platforms which do not support jobs. This is done to provide maximum
control for Grid Engine jobs.

This additional UNIX group id range must be unused group id's in your system.
Each job will be assigned a unique id during the time it is running.
Therefore you need to provide a range of id's which will be assigned
dynamically for jobs.

The range must be big enough to provide enough numbers for the maximum number
of Grid Engine jobs running at a single moment on a single host. E.g. a range
like >20000-20100< means, that Grid Engine will use the group ids from
20000-20100 and provides a range for 100 Grid Engine jobs at the same time
on a single host.

You can change at any time the group id range in your cluster configuration.

Please enter a range [20000-20100] >>

Using >20000-20100< as gid range. Hit <RETURN> to continue >>

Grid Engine cluster configuration
---------------------------------

Please give the basic configuration parameters of your Grid Engine
installation:

   <execd_spool_dir>

The pathname of the spool directory of the execution hosts. User >sgeadmin<
must have the right to create this directory and to write into it.

Default: [/gridware/sge/MyCell/spool] >>

อีเมล์สำหรับการแจ้งปัญหา

Grid Engine cluster configuration (continued)
---------------------------------------------

<administrator_mail>

The email address of the administrator to whom problem reports are sent.

It is recommended to configure this parameter. You may use >none<
if you do not wish to receive administrator mail.

Please enter an email address in the form >user@foo.com<.

Default: [none] >>

The following parameters for the cluster configuration were configured:

   execd_spool_dir        /gridware/sge/MyCell/spool
   administrator_mail     none

Do you want to change the configuration parameters (y/n) [n] >>

การสร้างไฟล์คอนฟิก

Creating local configuration
----------------------------
Creating >act_qmaster< file
Adding default complex attributes
Adding default parallel environments (PE)
Adding SGE default usersets
Adding >sge_aliases< path aliases file
Adding >qtask< qtcsh sample default request file
Adding >sge_request< default submit options file
Creating >sgemaster< script
Creating >sgeexecd< script
Creating settings files for >.profile/.cshrc<

Hit <RETURN> to continue >>

สร้าง startup script เวลาบู๊ตเครื่อง

qmaster startup script
----------------------

We can install the startup script that will
start qmaster at machine boot (y/n) [y] >>

cp /gridware/sge/MyCell/common/sgemaster /etc/init.d/sgemaster.MyCluster
/usr/lib/lsb/install_initd /etc/init.d/sgemaster.MyCluster

Hit <RETURN> to continue >>

รันเซอร์วิส sge_qmaster

Grid Engine qmaster startup
---------------------------

Starting qmaster daemon. Please wait ...
   starting sge_qmaster

Hit <RETURN> to continue >>

ระบุชื่อ host สำหรับรันโปรแกรม sge_execd ในที่นี้จะใส่สองเครื่องคือ “cent55-node1″ และ “cent55-node2″

Adding Grid Engine hosts
------------------------

Please now add the list of hosts, where you will later install your execution
daemons. These hosts will be also added as valid submit hosts.

Please enter a blank separated list of your execution hosts. You may
press <RETURN> if the line is getting too long. Once you are finished
simply press <RETURN> without entering a name.

You also may prepare a file with the hostnames of the machines where you plan
to install Grid Engine. This may be convenient if you are installing Grid
Engine on many hosts.

Do you want to use a file which contains the list of hosts (y/n) [n] >>

ใส่ชื่อเครื่อง cent55-node1

Adding admin and submit hosts
-----------------------------

Please enter a blank seperated list of hosts.

Stop by entering <RETURN>. You may repeat this step until you are
entering an empty list. You will see messages from Grid Engine
when the hosts are added.

Host(s): cent55-node1
cent55-node1.spalinux.com added to administrative host list
cent55-node1.spalinux.com added to submit host list

ใส่ชื่อเครื่อง cent55-node2

Adding admin and submit hosts
-----------------------------

Please enter a blank seperated list of hosts.

Stop by entering <RETURN>. You may repeat this step until you are
entering an empty list. You will see messages from Grid Engine
when the hosts are added.

Host(s): cent55-node2
cent55-node2.spalinux.com added to administrative host list
cent55-node2.spalinux.com added to submit host list
Hit <RETURN> to continue >>

เมื่อใส่ชื่อเครื่องหมดแล้ว กด [enter] ผ่าน

Adding admin and submit hosts
-----------------------------

Please enter a blank seperated list of hosts.

Stop by entering <RETURN>. You may repeat this step until you are
entering an empty list. You will see messages from Grid Engine
when the hosts are added.

Host(s):
Finished adding hosts. Hit <RETURN> to continue >>

ระบุชื่อเครื่องเพิ่มเติมสำหรับ shadow host ในที่นี้ไม่ได้ใช้

If you want to use a shadow host, it is recommended to add this host
to the list of administrative hosts.

If you are not sure, it is also possible to add or remove hosts after the
installation with <qconf -ah hostname> for adding and <qconf -dh hostname>
for removing this host

Attention: This is not the shadow host installation
procedure.
You still have to install the shadow host separately

Do you want to add your shadow host(s) now? (y/n) [y] >>

Adding Grid Engine shadow hosts
-------------------------------

Please now add the list of hosts, where you will later install your shadow
daemon.

Please enter a blank separated list of your execution hosts. You may
press <RETURN> if the line is getting too long. Once you are finished
simply press <RETURN> without entering a name.

You also may prepare a file with the hostnames of the machines where you plan
to install Grid Engine. This may be convenient if you are installing Grid
Engine on many hosts.

Do you want to use a file which contains the list of hosts (y/n) [n] >>

Adding admin hosts
------------------

Please enter a blank seperated list of hosts.

Stop by entering <RETURN>. You may repeat this step until you are
entering an empty list. You will see messages from Grid Engine
when the hosts are added.

Host(s):
Finished adding hosts. Hit <RETURN> to continue >>

Creating the default <all.q> queue and <allhosts> hostgroup
-----------------------------------------------------------

root@cent55-sge.spalinux.com added "@allhosts" to host group list
root@cent55-sge.spalinux.com added "all.q" to cluster queue list

Hit <RETURN> to continue >>

การคอนฟิก Scheduler Tuning

Scheduler Tuning
----------------

The details on the different options are described in the manual.

Configurations
--------------
1) Normal
          Fixed interval scheduling, report limited scheduling information,
          actual + assumed load

2) High
          Fixed interval scheduling, report limited scheduling information,
          actual load

3) Max
          Immediate Scheduling, report no scheduling information,
          actual load

Enter the number of your preferred configuration and hit <RETURN>!
Default configuration is [1] >>

We're configuring the scheduler with >Normal< settings!
Do you agree? (y/n) [y] >>

แนะวิธีการใช้ sge

Using Grid Engine
-----------------

You should now enter the command:

   source /gridware/sge/MyCell/common/settings.csh

if you are a csh/tcsh user or

   # . /gridware/sge/MyCell/common/settings.sh

if you are a sh/ksh user.

This will set or expand the following environment variables:

   - $SGE_ROOT         (always necessary)
   - $SGE_CELL         (if you are using a cell other than >default<)
   - $SGE_CLUSTER_NAME (always necessary)
   - $SGE_QMASTER_PORT (if you haven't added the service >sge_qmaster<)
   - $SGE_EXECD_PORT   (if you haven't added the service >sge_execd<)
   - $PATH/$path       (to find the Grid Engine binaries)
   - $MANPATH          (to access the manual pages)

Hit <RETURN> to see where Grid Engine logs messages >>

Grid Engine messages
--------------------

Grid Engine messages can be found at:

   /tmp/qmaster_messages (during qmaster startup)
   /tmp/execd_messages   (during execution daemon startup)

After startup the daemons log their messages in their spool directories.

   Qmaster:     /gridware/sge/MyCell/spool/qmaster/messages
   Exec daemon: <execd_spool_dir>/<hostname>/messages

Grid Engine startup scripts
---------------------------

Grid Engine startup scripts can be found at:

   /gridware/sge/MyCell/common/sgemaster (qmaster)
   /gridware/sge/MyCell/common/sgeexecd (execd)

Do you want to see previous screen about using Grid Engine again (y/n) [n] >>

Your Grid Engine qmaster installation is now completed
------------------------------------------------------

Please now login to all hosts where you want to run an execution daemon
and start the execution host installation procedure.

If you want to run an execution daemon on this host, please do not forget
to make the execution host installation in this host as well.

All execution hosts must be administrative hosts during the installation.
All hosts which you added to the list of administrative hosts during this
installation procedure can now be installed.

You may verify your administrative hosts with the command

   # qconf -sh

and you may add new administrative hosts with the command

   # qconf -ah <hostname>

Please hit <RETURN> >>

ใช้คำสั่ง ps ตรวจสอบโปรเซส sge_qmaster

[root@cent55-sge sge]# ps -ef | grep sge
sgeadmin  4667     1  1 13:55 ?        00:00:00 /gridware/sge/bin/lx24-amd64/sge_qmaster

การเปิด/ปิด เซอร์วิส sge_qmaster

การปิดเซอร์วิส sge_qmaster

[root@cent55-sge ~]# /etc/init.d/sgemaster.MyCluster stop
   shutting down Grid Engine qmaster

การเปิดหรือรันเซอร์วิส qmaster

[root@cent55-sge ~]# /etc/init.d/sgemaster.MyCluster start
   starting sge_qmaster

ข้อมูลอ้างอิง

• ติดตั้ง Sun Grid Engine บน CentOS 5.5
• คอนฟิก Sun Grid Engine execution (execd) host

ในระบบ Sun Grid Engine ประกอบด้วยเครื่องที่ทำหน้าที่ควบคุมการส่ง job ที่เรียกว่า “sge qmaster” อย่างน้อยหนึ่งเครื่อง

ส่วนเครื่องที่ทำหน้าที่รัน job เรียกว่า “sge execution host” หรือ “sge execd” มีหลายๆ เครื่อง ช่วยกันรันงานที่ได้รับมาจาก “qmaster”

เวอร์ชั่น open source ที่สามารถดาวน์โหลดมาใช้งานได้อย่างถูกต้องล่าสุดคือ 6.2u5 ส่วนเวอร์ชั่นที่ใหม่กว่านี้ทาง Oracle ให้ทดลองใช้ได้ 90 วัน และขายเป็น commercial

ใช้ google.com ค้นหา “Sun Grid Engine 6.2 Update 5 download” เพื่อดาวน์โหลดไฟล์รูปแบบ rpm สำหรับติดตั้งบน Linux x64 จาก Download Center

ข้อมูลไฟล์ที่เลือกดาวน์โหลดในหน้า Download Sun Grid Engine 6.2 Update 5 for Linux, English

• File Description: Sun Grid Engine 6.2 Update 5, Linux x64 (required), rpm format
• File Name: sge62u5_linux24-x64_rpm.zip
• Size: 28.16 MB

ระบบทดสอบ

ในที่นี้ใช้ CentOS 5.5 (x64) โดยลง package group ตามนี้

• Base
• Development Tools
• Editors
• GNOME Desktop Environment
• X Window System

ติดตั้งไฟล์ rpm

ตัวอย่างไฟล์ที่ดาวน์โหลด

[root@cent55-sge sge]# ls -l
total 28844
-rw-r--r-- 1 root root 29533073 Jan  8 12:36 sge62u5_linux24-x64_rpm.zip

แตกไฟล์ด้วยคำสั่ง unzip

[root@cent55-sge sge]# unzip sge62u5_linux24-x64_rpm.zip
Archive:  sge62u5_linux24-x64_rpm.zip
  inflating: sge6_2u5/sun-sge-bin-linux24-x64-6.2-5.x86_64.rpm
  inflating: sge6_2u5/sun-sge-common-6.2-5.noarch.rpm

ไฟล์ที่แตกได้จะมีสองไฟล์

[root@cent55-sge sge]# cd sge6_2u5/

[root@cent55-sge sge6_2u5]# ls -l
total 29048
-rw-r--r-- 1 root root 25583219 Dec 16  2009 sun-sge-bin-linux24-x64-6.2-5.x86_64.rpm
-rw-r--r-- 1 root root  4161238 Dec 16  2009 sun-sge-common-6.2-5.noarch.rpm

ทุกเครื่องไม่ว่าจะเป็น qmaster host  หรือ execution host จะต้องติดตั้งไฟล์ rpm ทั้งสองนี้

ติดตั้งไฟล์ “sun-sge-common” ก่อน

[root@cent55-sge sge6_2u5]# rpm -ivh sun-sge-common-6.2-5.noarch.rpm
Preparing...                ########################################### [100%]
   1:sun-sge-common         ########################################### [100%]

ติดตั้งไฟล์ “sun-sge-bin-linux24-x64″

[root@cent55-sge sge6_2u5]# rpm -ivh sun-sge-bin-linux24-x64-6.2-5.x86_64.rpm
error: Failed dependencies:
        libXm.so.3()(64bit) is needed by sun-sge-bin-linux24-x64-6.2-5.x86_64
        libXp.so.6()(64bit) is needed by sun-sge-bin-linux24-x64-6.2-5.x86_64

หากเจอ “error” แบบนี้ ต้องติดตั้ง library ที่ฟ้องขึ้นมาก่อน ในที่นี้ทั้งสอง library สามารถติดตั้งไฟล์ rpm จากแผ่นติดตั้ง CentOS 5.5 ได้

[root@cent55-sge sge6_2u5]# mount /dev/cdrom /media
mount: block device /dev/cdrom is write-protected, mounting read-only

[root@cent55-sge sge6_2u5]# cd /media/CentOS/

สำหรับ “libXm.so.3″ ต้องติดตั้งไฟล์ rpm ชื่อ “openmotif22-2.2.3-18.x86_64.rpm”

[root@cent55-sge CentOS]# rpm -ivh openmotif22-2.2.3-18.x86_64.rpm
Preparing...                ########################################### [100%]
   1:openmotif22            ########################################### [100%]

หมายเหตุ ในแผ่นดีวีดีติดตั้ง CentOS 5.5 (x64) จะมีไฟล์ rpm ติดตั้ง openmotif อยู่สองเวอร์ชั่น เนื่องจาก sge ใช้ libXm.so.3 ซึ่งมีอยู่ในไฟล์ “openmotif22-2.2.3″ เลยต้องติดตั้งไฟล์เวอร์ชั่นนี้  ส่วน “openmotif-2.3.1″ เวอร์ชั่นของ libXm จะเป็น “libXm.so.4″ ไม่สามารถใช้กับ sge ได้

ใช้คำสั่ง rpm ดูไฟล์ที่จะติดตั้ง เพื่อเปรียบเทียบเวอร์ชั่นของ “libXm”

[root@cent55-sge CentOS]# rpm -qilp openmotif22-2.2.3-18.x86_64.rpm | grep libXm
/usr/lib64/libXm.so.3
/usr/lib64/libXm.so.3.0.2

[root@cent55-sge CentOS]# rpm -qilp openmotif-2.3.1-2.el5_4.1.x86_64.rpm | grep libXm
/usr/lib64/libXm.so.4
/usr/lib64/libXm.so.4.0.1

สำหรับ “libXp” ต้องติดตั้งไฟล์ rpm ชื่อ “libXp-1.0.0-8.1.el5.x86_64.rpm”

[root@cent55-sge CentOS]# rpm -ivh libXp-1.0.0-8.1.el5.x86_64.rpm
Preparing...                ########################################### [100%]
   1:libXp                  ########################################### [100%]

ทดลองติดตั้ง sge อีกครั้ง

[root@cent55-sge CentOS]# cd -
/root/sge/sge6_2u5

[root@cent55-sge sge6_2u5]# rpm -ivh sun-sge-bin-linux24-x64-6.2-5.x86_64.rpm
Preparing...                ########################################### [100%]
   1:sun-sge-bin-linux24-x64########################################### [100%]

คอนฟิกเบื้องต้นสำหรับ sge

สร้าง user และ group สำหรับรัน sge

[root@cent55-sge sge6_2u5]# groupadd sgeadmin
[root@cent55-sge sge6_2u5]# useradd -g sgeadmin sgeadmin
[root@cent55-sge sge6_2u5]# id sgeadmin
uid=502(sgeadmin) gid=500(sgeadmin) groups=500(sgeadmin)

ตั้งค่า PATH การติดตั้ง sge

[root@cent55-sge sge6_2u5]# export SGE_ROOT=/gridware/sge
[root@cent55-sge sge6_2u5]# echo $SGE_ROOT

เปลี่ยน user group ของ PATH ที่จะติดตั้งเป็น sgeadmin

[root@cent55-sge sge]# chown sgeadmin.sgeadmin /gridware/sge

ต้องแก้ไขไฟล์ /etc/hosts เพื่อ map ชื่อ hostname ของเครื่องที่ทำหน้าที่เป็น qmaster host จาก 127.0.0.1 เป็น IP Address ของพอร์ต LAN

[root@cent55-sge sge6_2u5]# cat /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1        cent55-sge.spalinux.com cent55-sge localhost.localdomain localhost
::1              localhost6.localdomain6 localhost6

สมมติว่าพอร์ต LAN ของเครื่องนี้ IP คือ 192.168.55.10 ต้องแก้ไขไฟล์นี้เป็นดังนี้

เพื่อความสะดวก แนะนำให้เพิ่มชื่อเครื่องและ IP address ที่จะทำหน้าที่เป็น execution host ด้วยเลย

[root@cent55-sge sge6_2u5]# cat /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1        localhost.localdomain localhost
::1              localhost6.localdomain6 localhost6
192.168.55.10    cent55-sge.spalinux.com cent55-sge

192.168.55.11    cent55-node1.spalinux.com cent55-node1
192.168.55.12    cent55-node2.spalinux.com cent55-node2

 เพิ่มชื่อและหมายเลขพอร์ตสำหรับ sge ในไฟล์ /etc/services

[root@cent55-sge sge6_2u5]# cat /etc/services
...
# Local services
sge_qmaster 10500/tcp
sge_execd   10501/tcp

ข้อมูลอ้างอิง

• Oracle Grid Engine
• Oracle Grid Engine – Wikipedia
• Globus Toolkit Tutorial – Chapter 3: Deploying Sun Grid Engine (SGE)
• คอนฟิก Sun Grid Engine qmaster host
• คอนฟิก Sun Grid Engine execution (execd) host

ดังนั้นขณะที่เครื่องที่ 1 (centos54-a) ทำหน้าที่เป็น primary ของดิสก์ drbd0 อยู่  เครื่องที่ 2 (centos54-b) จะไม่สามารถ mount ดิสก์ drbd0 นี้ขึ้นมาใช้งานได้

ในบทความนี้จะแสดงการทดสอบใช้คำสั่งเพื่อเปลี่ยนโหมด Primary, Secondary ระหว่างเครื่องทั้งสอง

ตรวจสอบสถานะบนเครื่อง centos54-a

[root@centos54-a ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs         ro                 ds                 p  mounted  fstype
0:r0   Connected  Primary/Secondary  UpToDate/UpToDate  C  /export  ext3

[root@centos54-a ~]# df -h /export
Filesystem            Size  Used Avail Use% Mounted on
/dev/drbd0            950M   18M  885M   2% /export

ทดสอบ mount ดิสก์บนเครื่อง centos54-b

[root@centos54-b ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs         ro                 ds                 p  mounted  fstype
0:r0   Connected  Secondary/Primary  UpToDate/UpToDate  C

[root@centos54-b ~]# mount /dev/drbd0 /export
mount: block device /dev/drbd0 is write-protected, mounting read-only
mount: Wrong medium type

ในกรณีที่ต้องการเปลี่ยนให้เครื่องที่ 2 (centos54-b) ทำหน้าที่เป็น primary  เช่นในกรณีที่ต้องการซ่อมบำรุงเครื่องที่ 1 สามารถทำได้ดังนี้

บนเครื่องที่ 1 ปิดเซอร์วิส DRBD

[root@centos54-a ~]# service drbd stop
Stopping all DRBD resources:
.
[root@centos54-a ~]# service drbd status
drbd not loaded

ตรวจสอบสถานะบนเครื่องที่ 2 หลังจากปิดเซอร์วิสบนเครื่องที่ 1

[root@centos54-b ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs            ro                 ds                 p  mounted  fstype
0:r0   WFConnection  Secondary/Unknown  UpToDate/DUnknown  C

แม้เครื่อง Primary ปิดไปแล้ว บนเครื่องที่ 2 ที่ยังอยู่ในโหมด Secondary ก็ยัง mount ดิสก์ ไม่ได้

[root@centos54-b ~]# mount /dev/drbd0 /export
mount: block device /dev/drbd0 is write-protected, mounting read-only
mount: Wrong medium type

ต้องเปลี่ยนสถานะบนเครื่องที่ 2 ให้เป็น primary ด้วยคำสั่ง drbdadm primary

[root@centos54-b ~]# drbdadm primary all

ตรวจสอบสถานะบนเครื่องที่ 2

[root@centos54-b ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs            ro               ds                 p  mounted  fstype
0:r0   WFConnection  Primary/Unknown  UpToDate/DUnknown  C

เมื่ออยู่ในโหมด primary แล้ว ก็สามารถ mount ดิสก์ขึ้นมาใช้งานได้

[root@centos54-b ~]# mount /dev/drbd0 /export
[root@centos54-b ~]# df -h /export
Filesystem            Size  Used Avail Use% Mounted on
/dev/drbd0            950M   18M  885M   2% /export

ทดลองสร้างไฟล์ในดิสก์ drbd0

[root@centos54-b ~]# cd /export/
[root@centos54-b export]# ls
lost+found
[root@centos54-b export]# echo "hello world from node 2" > test-file-on-node-2.txt
[root@centos54-b export]# ls -l
total 20
drwx------ 2 root root 16384 Feb  6 15:46 lost+found
-rw-r--r-- 1 root root    24 Feb  6 17:17 test-file-on-node-2.txt

รันเซอร์วิส DRBD บนเครื่องที่ 1 ขึ้นมาอีกครั้ง ตอนนี้เครื่องที่ 1 จะทำหน้าที่เป็น Secondary และจะทำการ replicate ข้อมูลมาจากเครื่องที่ 2 (Primary) โดยอัตโนมัติ

[root@centos54-a ~]# service drbd start
Starting DRBD resources: [ d(r0) s(r0) n(r0) ].

[root@centos54-a ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs         ro                 ds                 p  mounted  fstype
0:r0   Connected  Secondary/Primary  UpToDate/UpToDate  C

บนเครื่องที่ 2 เปลี่ยนให้เป็นโหมด Secondary

[root@centos54-b ~]# drbdadm secondary all
0: State change failed: (-12) Device is held open by someone
Command 'drbdsetup 0 secondary' terminated with exit code 11

หากมีการเรียกใช้ดิสก์ drbd อยู่ จะไม่สามารถเปลี่ยนโหมดจาก Primary ไปเป็น Secondary ได้ ต้อง umount ดิสก์ออกไปก่อนถึงจะเปลี่ยนโหมดได้

[root@centos54-b ~]# umount /export
[root@centos54-b ~]# drbdadm secondary all

ตรวจสอบสถานะบนเครื่องที่ 2

[root@centos54-b ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs         ro                   ds                 p  mounted  fstype
0:r0   Connected  Secondary/Secondary  UpToDate/UpToDate  C

เปลี่ยนโหมดบนเครื่องที่ 1 ให้เป็น Primary เพื่อเรียกใช้ดิสก์ได้

[root@centos54-a ~]# drbdadm primary all
[root@centos54-a ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs         ro                 ds                 p  mounted  fstype
0:r0   Connected  Primary/Secondary  UpToDate/UpToDate  C

mount ดิสก์ และตรวจสอบไฟล์ที่อยู่ใน drbd0 จะเห็นไฟล์ที่สร้างจากเครื่องที่ 2

[root@centos54-a ~]# mount /dev/drbd0 /export
[root@centos54-a ~]# cd /export/
[root@centos54-a export]# ls -l
total 20
drwx------ 2 root root 16384 Feb  6 15:46 lost+found
-rw-r--r-- 1 root root    24 Feb  6 17:17 test-file-on-node-2.txt
[root@centos54-a export]# cat test-file-on-node-2.txt
hello world from node 2

ตรวจสอบไฟล์ /var/log/messages

เมื่อมีปัญหาเกี่ยวกับการใช้ DBRD นอกจากการใช้คำสั่ง service เพื่อตรวจสอบสถานะแล้ว ไฟล์ /var/log/messages จะแสดงการเปลี่ยนแปลงทั้งหมดของ DRBD ที่เกิดขึ้น ซึ่งสามารถนำมาใช้ช่วยในการแก้ปัญหาได้

ตัวอย่างข้อความในไฟล์ /var/log/messages ที่เกิดขึ้น เมื่อมีการเปลี่ยนโหมด

[root@centos54-a ~]# tail /var/log/messages
...
Feb  6 17:19:38 centos54-a kernel: block drbd0: peer( Primary -> Secondary )
Feb  6 17:21:04 centos54-a kernel: block drbd0: role( Secondary -> Primary )
...

ข้อมูลอ้างอิง

• ติดตั้งและคอนฟิก DRBD

เมื่อมีการเปลี่ยนแปลงข้อมูลที่อยูในดิสก์เครื่องหนึ่ง (primary) การเปลี่ยนแปลงนั้นจะถูก replicate ไปยังอีกเครื่อง (secondary) โดยอัตโนมัติ

DRBD ประกอบด้วยสองส่วนคือ

1. Kernel module – DRBD ทำหน้าที่ใน kernel โดยจะสร้าง virtual block device คั่นกลางระหว่าง physical disk กับ filesystem ที่สร้างอยู่ ไม่ว่าจะเป็น ext3, ext4, xfs
2. User space administration tools – เป็นโปรแกรมที่ช่วยในการจัดการ DRBD ได้ง่ายขึ้น หลักๆ จะเป็น drbdadm

ในบทความนี้จะแสดงการติดตั้งโปรแกรม DRBD และคอนฟิกเป็นแบบ Single-primary mode คือ ณ เวลาใดเวลาหนึ่ง มีเครื่องเดียวเท่านั้นที่สามารถ อ่าน เขียน ข้อมูลได้

คำเตือน ติดตั้งและคอนฟิก DRBD บนเครื่องทดสอบให้เข้าใจก่อน เพราะบางคำสั่งอาจกระทบข้อมูลดิสก์หรือ partition ที่มีอยู่ในเครื่องได้ ทำให้ข้อมูลเสียหายได้

ระบบสำหรับการทดสอบ

ในที่นี้จะติดตั้ง CentOS 5.4 พร้อมคอนฟิกให้สองเครื่องติดต่อ ping กันได้ และปิดคุณสมบัติ firewall ทั้งหมด

เครื่องที่ 1

• Hostname:   centos54-a.spalinux.com
• IP Address: 10.3.3.51

เครื่องที่ 2

• Hostname:   centos54-b.spalinux.com
• IP Address: 10.3.3.52

แก้ไขไฟล์ /etc/hosts เพื่อให้ทั้งสองเครื่องอ้างอิงจากชื่อเครื่องได้

ตัวอย่างคอนฟิกของเครื่องที่ 1

[root@centos54-a ~]# hostname
centos54-a.spalinux.com

[root@centos54-a ~]# cat /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1       localhost.localdomain localhost
::1             localhost6.localdomain6 localhost6

10.3.3.51       centos54-a centos54-a.spalinux.com
10.3.3.52       centos54-b centos54-b.spalinux.com

ตัวอย่างคอนฟิกของเครื่องที่ 2

[root@centos54-b ~]# hostname
centos54-b.spalinux.com

[root@centos54-b ~]# cat /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1       localhost.localdomain localhost
::1             localhost6.localdomain6 localhost6

10.3.3.51       centos54-a centos54-a.spalinux.com
10.3.3.52       centos54-b centos54-b.spalinux.com

ทั้งสองเครื่อง ต้องสร้าง partition สำหรับใช้เป็นดิสก์ DRBD โดยไม่ต้องสร้าง filesystem ใดๆ ทั้งสิ้นบน partition นี้ สมมติว่าเป็น /dev/sda5 บนทั้งสองเครื่อง

หมายเหตุ

• แนะนำให้สร้าง partition ทั้งสองเครื่องให้เหมือนกัน ขนาดเท่ากัน จะได้ง่ายต่อการคอนฟิก
• สำหรับการทดสอบเริ่มต้น แนะนำให้สร้างขนาด partition เล็กๆ ก่อน จะได้ใช้เวลาในการ sync ข้อมูลไม่นานมากนัก ในบทความนี้สร้างประมาณ 1 GBytes

ติดตั้งโปรแกรม DRBD

ไฟล์ติดตั้ง DRBD ในรูปแบบ rpm ของ CentOS 5.4 นั้น ไม่อยู่ในแผ่นดีวีดีติดตั้ง แต่จะอยู่ในส่วนของ extras สำหรับในเมืองไทยสามารถดาวน์โหลดได้จาก http://www.mirror.in.th/osarchive/centos/5.4/extras/

ดาวน์โหล์ด และติดตั้งไฟล์ rpm สองไฟล์ บนเครื่องทั้งสอง

• drbd83-8.3.2-6.el5_3.x86_64.rpm  – “User space administration tools”
• kmod-drbd83-8.3.2-6.el5_3.x86_64.rpm  – “Kernel Module”

ใช้คำสั่ง rpm เพื่อติดตั้ง

[root@centos54-a ~]# rpm -ivh drbd83-8.3.2-6.el5_3.x86_64.rpm
Preparing...                ########################################### [100%]
   1:drbd83                 ########################################### [100%]
[root@centos54-a ~]# rpm -ivh kmod-drbd83-8.3.2-6.el5_3.x86_64.rpm
Preparing...                ########################################### [100%]
   1:kmod-drbd83            ########################################### [100%]

คอนฟิก DRBD บนเครื่องที่ 1 (primary)

ไฟล์คอนฟิกหลักของ DRBD คือไฟล์ /etc/drbd.conf ต้องมีการแก้ไขไฟล์นี้ก่อนถึงจะเริ่มใช้งานได้ โดยมีไฟล์ตัวอย่างคอนฟิกอยู่ใน /usr/share/doc/drbd83/drbd.conf

ไฟล์คอนฟิก /etc/drbd.conf จากการติดตั้ง

[root@centos54-a ~]# cat /etc/drbd.conf
#
# please have a a look at the example configuration file in
# /usr/share/doc/drbd83/drbd.conf
#

สร้างไฟล์คอนฟิก /etc/drbd.conf บนเครื่องที่ 1 “centos54-a.spalinux.com” ดังนี้

[root@centos54-a ~]# cat /etc/drbd.conf
global {
    usage-count no;
}

common {
    syncer { rate 10M; }
}

resource r0 {
    protocol C;

    net {
        cram-hmac-alg "sha1";
        shared-secret "test1234";
    }

    on centos54-a.spalinux.com {
        device /dev/drbd0;
        disk /dev/sda5;
        address 10.3.3.51:8888;
        meta-disk internal;
    }

    on centos54-b.spalinux.com {
        device /dev/drbd0;
        disk /dev/sda5;
        address 10.3.3.52:8888;
        meta-disk internal;
    }
}

คำอธิบายเบื้องต้น

• shared-secret เป็นการกำหนดรหัสของเครื่องที่สามารถ replicate ข้อมูลกันได้ 
• r0 เป็นชื่อ resource ของ DRBD สามารถตั้งเป็นชื่อใดๆ ก็ได้ เพื่อสื่อความหมาย
• on ตามด้วยชื่อ hostname ที่ต้องการ replicate ข้อมูลกัน ส่วนในวงเล็บ { เป็นการกำหนดคอนฟิกของแต่ละเครื่อง
• disk คือชื่อ partition ที่สร้างไว้สำหรับการทำ DRBD ในที่นี้คือ /dev/sda5

ใช้คำสั่ง drbadm create-md เพื่อสร้าง meta data บน partition ที่จะทำเป็น DRBD

[root@centos54-a ~]# drbdadm create-md all
Writing meta data...
initializing activity log
NOT initialized bitmap
New drbd meta data block successfully created.

หาก partition ที่คอนฟิกเป็น DRBD มี filesystem อยู่ก่อนแล้ว จะไม่สามารถสร้าง DRBD ได้

[root@centos54-a ~]# drbdadm create-md all
md_offset 1011671040
al_offset 1011638272
bm_offset 1011605504

Found ext3 filesystem which uses 987964 kB
current configuration leaves usable 987896 kB

Device size would be truncated, which
would corrupt data and result in
'access beyond end of device' errors.
You need to either
   * use external meta data (recommended)
   * shrink that filesystem first
   * zero out the device (destroy the filesystem)
Operation refused.

Command 'drbdmeta 0 v08 /dev/sda5 internal create-md' terminated with exit code 40
drbdadm create-md r0: exited with code 40

วิธีการแก้ไขคือต้องลบข้อมูลของ filesystem บน partition /dev/sda5 นี้ออก วิธีการง่ายสุดคือใช้คำสั่ง dd

คำเตือน คำสั่ง dd จะลบข้อมูลทั้งหมดบน partition ที่ระบุ

[root@centos54-a ~]# dd if=/dev/zero of=/dev/sda5
dd: writing to `/dev/sda5': No space left on device
1975933+0 records in
1975932+0 records out
1011677184 bytes (1.0 GB) copied, 87.2749 seconds, 11.6 MB/s

แล้วถึงสามารถสร้าง meta data ของ DRBD ได้

[root@centos54-a ~]# drbdadm create-md all
Writing meta data...
initializing activity log
NOT initialized bitmap
New drbd meta data block successfully created.

ใช้คำสั่ง service เพื่อรันเซอร์วิส DRBD

[root@centos54-a ~]# service drbd start
Starting DRBD resources: [ d(r0) s(r0) n(r0) ]..........
***************************************************************
 DRBD's startup script waits for the peer node(s) to appear.
 - In case this node was already a degraded cluster before the
   reboot the timeout is 0 seconds. [degr-wfc-timeout]
 - If the peer was available before the reboot the timeout will
   expire after 0 seconds. [wfc-timeout]
   (These values are for resource 'r0'; 0 sec -> wait forever)
 To abort waiting enter 'yes' [  20]:yes

ในครั้งแรกที่รันเซอร์วิส บนเครื่อง primary โปรแกรมจะรอให้เครื่อง peer (secondary) เข้ามาเชื่อมต่อ หากไม่ต้องการให้รอ ให้พิมพ์คำว่า “yes” แล้ว [Enter]

ใช้คำสั่ง service status เพื่อตรวจสอบสถานะของ DRBD

[root@centos54-a ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs            ro                 ds                     p  mounted  fstype
0:r0   WFConnection  Secondary/Unknown  Inconsistent/DUnknown  C

หรืออ่านจากไฟล์ /proc/drbd โดยตรง

[root@centos54-a ~]# cat /proc/drbd
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
 0: cs:WFConnection ro:Secondary/Unknown ds:Inconsistent/DUnknown C r----
    ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:987896

สร้างไดเรคทอรี /export สำหรับทดสอบ mount เพื่อใช้ดิสก์ drbd ที่สร้างขึ้น

[root@centos54-a ~]# mount /dev/drbd0 /export
mount: block device /dev/drbd0 is write-protected, mounting read-only
mount: Wrong medium type

ดิสก์นี้ยังไม่สามารถใช้ได้ ต้องใช้คำสั่ง drbdadm primary คอนฟิกให้ดิสก์ drbd บนเครื่องนี้ทำหน้าที่เป็น primary เพื่อให้สามารถ อ่าน เขียน ข้อมูลจากดิสก์ได้

[root@centos54-a ~]# drbdadm primary all
0: State change failed: (-2) Refusing to be Primary without at least one UpToDate disk
Command 'drbdsetup 0 primary' terminated with exit code 17

หากเป็นการเรียกใช้ครั้งแรก ต้องระบุออปชั่นดังนี้

[root@centos54-a ~]# drbdadm -- --overwrite-data-of-peer primary all
[root@centos54-a ~]#

ตรวจสอบสถานะ drbd อีกครั้ง สังเกตว่า ฟิลด์ ro จะเปลี่ยนจาก Seconday เป็น Primary และฟิลด์ ds จะเปลี่ยนจาก Inconsistent เป็น UpToDate

[root@centos54-a ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs            ro               ds                 p  mounted  fstype
0:r0   WFConnection  Primary/Unknown  UpToDate/DUnknown  C

ทดสอบการ mount ดิสก์อีกครั้ง

[root@centos54-a ~]# mount /dev/drbd0 /export
mount: you must specify the filesystem type

ก็ยังไม่สามารถ mount ได้ เพราะยังไม่มี filesystem บน /dev/drbd0

รันคำสั่ง mkfs.ext3 เพื่อสร้าง filesystem แบบ ext3

[root@centos54-a ~]# mkfs.ext3 /dev/drbd0
mke2fs 1.39 (29-May-2006)
Filesystem label=
OS type: Linux
Block size=4096 (log=2)
Fragment size=4096 (log=2)
123648 inodes, 246974 blocks
12348 blocks (5.00%) reserved for the super user
First data block=0
Maximum filesystem blocks=255852544
8 block groups
32768 blocks per group, 32768 fragments per group
15456 inodes per group
Superblock backups stored on blocks:
        32768, 98304, 163840, 229376

Writing inode tables: done
Creating journal (4096 blocks): done
Writing superblocks and filesystem accounting information: done

This filesystem will be automatically checked every 36 mounts or
180 days, whichever comes first.  Use tune2fs -c or -i to override.

ทดสอบการ mount อีกครั้ง จะสามารถใช้งานได้แล้ว

[root@centos54-a ~]# mount /dev/drbd0 /export

ตรวจสอบสถานะ DRBD

[root@centos54-a ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs            ro               ds                 p  mounted  fstype
0:r0   WFConnection  Primary/Unknown  UpToDate/DUnknown  C  /export  ext3

คอนฟิก DRBD บนเครื่องที่ 2 (secondary)

สร้างไฟล์คอนฟิก /etc/drbd.conf บนเครื่องที่ 2 เหมือนกับไฟล์ในเครื่องที่ 1

[root@centos54-b ~]# cat /etc/drbd.conf
global {
    usage-count no;
}

common {
    syncer { rate 10M; }
}

resource r0 {
    protocol C;

    net {
        cram-hmac-alg "sha1";
        shared-secret "test1234";
    }

    on centos54-a.spalinux.com {
        device /dev/drbd0;
        disk /dev/sda5;
        address 10.3.3.51:8888;
        meta-disk internal;
    }

    on centos54-b.spalinux.com {
        device /dev/drbd0;
        disk /dev/sda5;
        address 10.3.3.52:8888;
        meta-disk internal;
    }
}

ใช้คำสั่ง drbadm create-md เพื่อสร้าง meta data บน partition ที่จะทำเป็น DRBD

[root@centos54-b ~]# drbdadm create-md all
Writing meta data...
initializing activity log
NOT initialized bitmap
New drbd meta data block successfully created.

เช่นเดียวกัน หากมี filesystem อยู่บน partition ก่อนแล้ว ต้องใช้คำสั่ง dd เพื่อลบข้อมูลออก

ใช้คำสั่ง service เพื่อรันเซอร์วิส DRBD

[root@centos54-b ~]# service drbd start
Starting DRBD resources: [ d(r0) s(r0) n(r0) ].

เมื่อเริ่มต้นรันเซอร์วิส DRBD บนเครื่องที่ 2 จะเป็นการเริ่ม replicate ข้อมูลจากเครื่องที่ 1

ตรวจสอบสถานะ DRBD บนเครื่องที่ 2

[root@centos54-b ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs          ro                 ds                     p  mounted  fstype
...    sync'ed:    42.2%              (576248/987896)K
0:r0   SyncTarget  Secondary/Primary  Inconsistent/UpToDate  C

ตรวจสอบสถานะ DRBD บนเครื่องที่ 1

[root@centos54-a ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs          ro                 ds                     p  mounted  fstype
...    sync'ed:    43.0%              (567032/987896)K
0:r0   SyncSource  Primary/Secondary  UpToDate/Inconsistent  C  /export  ext3

เมื่อ replicate ข้อมูลเรียบร้อย (synced) ข้อมูลแล้ว สถานะจะเป็นดังนี้

ตรวจสอบสถานะ DRBD บนเครื่องที่ 2 เมื่อ synced ข้อมูลเรียบร้อย

[root@centos54-b ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs         ro                 ds                 p  mounted  fstype
0:r0   Connected  Secondary/Primary  UpToDate/UpToDate  C

ตรวจสอบสถานะ DRBD บนเครื่องที่ 1 เมื่อ synced ข้อมูลเรียบร้อย

[root@centos54-a ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs         ro                 ds                 p  mounted  fstype
0:r0   Connected  Primary/Secondary  UpToDate/UpToDate  C  /export  ext3

หลังจาก synced ข้อมูลระหว่างเครื่องเรียบร้อย เมื่อมีการเปลี่ยนแปลงข้อมูลในดิสก์บนเครื่องที่ 1 (primary) การเปลี่ยนแปลงนั้นจะถูก replicate ไปยังเครื่องที่ 2 (secondary) โดยอัตโนมัติ

ตัวอย่างการใช้คำสั่ง tcpdump  ตรวจสอบ packet ที่ส่งระหว่างเครื่องเพื่อการ replicate ข้อมูลของ DRBD

[root@centos54-b ~]# tcpdump -i eth0 -l -nn | grep 8888
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth0, link-type EN10MB (Ethernet), capture size 96 bytes
15:51:39.815802 IP 10.3.3.52.8888 > 10.3.3.51.42180: P 2834377596:2834377604(8) ack 2893184807 win 46 <nop,nop,timestamp 1772852 1818781>
15:51:39.816356 IP 10.3.3.51.42180 > 10.3.3.52.8888: P 1:9(8) ack 8 win 3216 <nop,nop,timestamp 1828655 1772852>
15:51:39.816394 IP 10.3.3.52.8888 > 10.3.3.51.42180: . ack 9 win 46 <nop,nop,timestamp 1772852 1828655>
15:51:44.888876 IP 10.3.3.1.4117 > 10.3.3.51.22: P 1560:1612(52) ack 1629 win 64271
15:51:49.815252 IP 10.3.3.51.42180 > 10.3.3.52.8888: P 9:17(8) ack 8 win 3216 <nop,nop,timestamp 1838655 1772852>
15:51:49.815330 IP 10.3.3.52.8888 > 10.3.3.51.42180: . ack 17 win 46 <nop,nop,timestamp 1782853 1838655>
15:51:49.815666 IP 10.3.3.52.8888 > 10.3.3.51.42180: P 8:16(8) ack 17 win 46 <nop,nop,timestamp 1782853 1838655>
15:51:49.847300 IP 10.3.3.51.42180 > 10.3.3.52.8888: . ack 16 win 3216 <nop,nop,timestamp 1838696 1782853>
15:51:50.937877 IP 10.3.3.51.8888 > 10.3.3.52.40284: . 3903780263:3903781711(1448) ack 2834246899 win 501 <nop,nop,timestamp 1839875 1683335>
...
[Ctrl-C]

ข้อมูลอ้างอิง

• DRBD
• CentOS 5.4 extras
• การใช้งาน DRBD เบื้องต้น

ระบบที่ทดสอบ

• Fedora 9
• heartbeat-2.1.3-1.fc9.i386.rpm

ข้อมูลพื้นฐาน
Primary Server (เครื่องหลัก): linux-ha01.example.com
Secondary Server (เครื่องสำรอง): linux-ha02.example.com
Virtual IP Address: 192.168.1.1
Default gateway: 192.168.1.254

ติดตั้งโปรแกรม
เริ่มต้นติดตั้งโปรแกรมตามตัวอย่างต่อไปนี้บนเครื่องทั้งสอง (ดูข้อมูลอ้างอิงสำหรับการดาวน์โหลด)

# rpm -ivh --nodeps fedora-usermgmt-core-0.10-1.fc8.noarch.rpm
# rpm -ivh --nodeps fedora-usermgmt-shadow-utils-0.10-1.fc8.noarch.rpm
# rpm -ivh fedora-usermgmt-default-fedora-setup-0.10-1.fc8.noarch.rpm
# rpm -ivh fedora-usermgmt-0.10-1.fc8.noarch.rpm
# rpm -ivh ipvsadm-1.24-11.i386.rpm
# rpm -ivh perl-MailTools-2.02-3.fc9.noarch.rpm
# rpm -ivh perl-TimeDate-1.16-8.fc9.noarch.rpm
# rpm -ivh perl-MailTools-2.02-3.fc9.noarch.rpm
# rpm -ivh ldirectord-2.1.3-1.fc9.i386.rpm
# rpm -ivh pils-2.1.3-1.fc9.i386.rpm
# rpm -ivh lm_sensors-3.0.1-5.fc9.i386.rpm
# rpm -ivh net-snmp-libs-5.4.1-14.fc9.i386.rpm
# rpm -ivh stonith-2.1.3-1.fc9.i386.rpm
# rpm -ivh heartbeat-2.1.3-1.fc9.i386.rpm

คอนฟิกไฟล์ของ heartbeat
สร้างไฟล์คอนฟิกขึ้นมาบนเครื่องทั้งสองให้เหมือนกัน โดยไฟล์คอนฟิกทั้งหมดของ heartbeat จะอยู่ใน /etc/ha.d/

ตัวอย่างคอนฟิกไฟล์ /etc/ha.d/ha.cf

logfacility daemon         # Log to syslog as facility "daemon"
node linux-ha01.example.com
node linux-ha02.example.com
keepalive 1                # Send one heartbeat each second
deadtime 10                # Declare nodes dead after 10 seconds
bcast eth0                 # Broadcast heartbeats on eth0 and eth1 interfaces
ping 192.168.1.254              # Ping our router to monitor ethernet connectivity
auto_failback no           # Try and keep resources on their "preferred" hosts
respawn hacluster /usr/lib/heartbeat/ipfail  # Failover on network failures

ตัวอย่างคอนฟิกไฟล์ /etc/ha.d/haresources

linux-ha01.example.com  192.168.1.1

สร้าง key สำหรับใส่ในไฟล์ authkeys โดยใช้คำสั่งดังนี้

# dd if=/dev/urandom count=4 2>/dev/null | md5sum | cut -c1-32
0a7ee4ce653744cb5ecbcbdc0ef52487

ตัวอย่างคอนฟิกไฟล์ /etc/ha.d/authkeys

auth 1
1 sha1 0a7ee4ce653744cb5ecbcbdc0ef52487

เริ่มต้นโปรแกรม heartbeat
เมื่อสร้างคอนฟิกทั้งสองเครื่องเรียบร้อยแล้ว ต้องเริ่มต้นโปรแกรม heartbeat ทั้องสองเคริ่องโดยแนะนำให้เริ่มจากเครื่องหลักก่อน

# /etc/init.d/heartbeat start
Starting High-Availability services:                                                           [  OK  ]

ทดสอบการใช้งาน
เราสามารถทดสอบการทำงานโดยใช้คำสั่ง ping ไปที่ Virtual IP Address จากเครื่องอื่นๆ โดยถ้าทั้งสองเครื่องทำงานปกติ เครื่องหลัก (Primary Server) จะทำหน้าที่เป็น Virtual IP แต่ถ้าเครื่องหลักมีปัญหา (อาจทดสอบโดยการดึงสาย LAN ออก) เครื่องสำรองจะทำหน้าที่เป็น Virtual IP แทน

ข้อมูลอ้างอิง

• The High Availability Linux Project
• Fedora 9 – Everything RPM Files