เลยต้องมาทดสอบกันหน่อย ในที่นี้จะทดสอบคอนฟิกเบื้องต้น

รายละเอียดรุ่น

• AirLive WL-5460AP v2
• 802.11g Multi-function Wireless Access Point
• LAN: 2 port LAN1, LAN2

ดีฟอลต์คอนฟิกจากโรงงาน

• AP default IP address : 192.168.100.252
• Subnet Mask : 255.255.255.0
• default passsword: airlive

คำแนะนำ ให้ทดสอบทำความเข้าใจ ก่อนที่จะต่อเชื่อม Access Point เข้ากับ network ที่ใช้งานจริงอยู่

เริ่มคอนฟิก Access Point

เซ็ต IP ของพอร์ต LAN เครื่อง PC หรือ Notebook ที่จะใช้คอนฟิกให้อยู่ใน Subnet 192.168.100.x (ห้ามตั้งชนกับ 192.168.100.252)

ต่อสายแลนเข้ากับพอร์ต LAN1 ของ AirLive

ใช้ Browser เปิดไปที่ http://192.168.100.252

หน้าเว็บขอบคุณที่เลือกใช้

คลิ้กที่แท็ป “Mode” เพิ่อเริ่มคอนฟิก Wireless

หน้าเว็บ “Wireless Mode”

•  เลือกโหมด AP (Access Point) แล้วกดปุ่ม [Setup]

หน้าเว็บ “AP Mode Settings” เพื่อแก้ไขค่าคอนฟิก Wireless

• แนะนำให้เปลี่ยนชื่อ SSID
• บรรทัด Secrity: กดปุ่ม [Setup] เพื่อตั้งค่ารหัส (Encryption key) => ไปที่หน้าเว็บ “Wireless Security Setup”
• บรรทัด Advanced Settings: กดปุ่ม [Setup] เพื่อเข้าสู่การตั้งค่าขั้นสูง => ไปที่หน้าเว็บ “Wireless Advanced Settings”

หน้าเว็บ “Wireless Security Setup”

• เลือก Encryption: ที่ต้องการใช้ เช่นเลือกเป็น WPA-PSK2 Mixed
• เลือก Pre-Shared Key Format: Passphrase
• ใส่ค่า Pre-Shared Key: ที่ต้องการ เป็นรหัสที่ Wireless Client ต้องใส่ก่อนที่จะเชื่อมต่อกับ Access Point ได้

กดปุ่ม [Apply Changes]

หมายเหตุ ข้อเสียอย่างหนึ่งของ Access Point ยี่ห้อนี้คือ เปลี่ยนคอนฟิกไปแล้ว จะมีผลหลังจาก “Reboot” เท่านั้น เพราะฉะนั้น แนะนำให้เปลี่ยนคอนฟิกทุกอย่างให้เรียบร้อย แล้วค่อย reboot ครั้งเดียว

หน้าเว็บ “Wireless Advanced Settings”

• แนะนำให้ปิดการ “Broadcast SSID:” โดยเปลี่ยนเป็น “Disabled”

กดปุ่ม [Apply Changes]

คอนฟิก DHCP Server บน Access Point

สำหรับการทดสอบนี้ จะคอนฟิกให้ Access Point แจก IP address ด้วย

คำเตือน ปิดการใช้งาน DHCP บน AP นี้ ก่อนจะเชื่อมต่อเข้ากับ network ที่มี DHCP Server อยู่แล้ว ยกเว้น คุณจะตั้งใจให้ AP ตัวนี้เป็น DHCP Server

คลิ้กแท็ป “TCP/IP” หน้าเว็บจะแสดง LAN Interface Setup

• บรรทัด DHCP: เลือกเป็น Server
• บรรทัด DHCP Client Range: ใส่ IP address ที่ต้องการแจก

เบื้องต้นทดลองเปลี่ยนคอนฟิกแค่นี้ก่อน กดแท็ป “Reboot” แล้วกดปุ่ม [Reboot] เพื่อรีบู๊ตอุปกรณ์

กดปุ่ม [OK] เพื่อยีนยันการ reboot

หน้าเว็บแสดงกำลัง Reboot เท่าที่จับเวลา ประมาณ 100 วินาที ถึงจะกลับมาใช้ได้ ใกล้เคียงกับแถบสีแดงที่ขึ้นบนหน้าเว็บเต็มพอดี เพราะฉะนั้นเปิดหน้า Rebooting ทิ้งไว้ได้เลย แต่ยกเว้นมีการเปลี่ยน IP ของ Access Point

ลองเซ็ต Wireless Client ตั้งค่า SSID, Encryption และ key ที่คอนฟิกไว้ แล้วลองเชื่อมต่อดู

หากต้องการดู Client ที่เชื่อมต่อ ให้คลิ้กแท็ป “Status” แล้วคลิ้กลิ้งค์ย่อย “Active Clients” ที่อยู่ข้างล่างแท็ป

ข้อมูลอ้างอิง

• www.airlive.com

ถ้าเป็นเครื่องที่เราสามารถดูแลได้ วิธีหนึ่งที่ทำได้คือ คอนฟิก Proxy ใน ฺBrowser ของแต่ละเครื่องที่จะใช้อินเตอร์เน็ต ชี้ไปยัง Proxy Server ที่ทำหน้าที่เก็บข้อมูลการใช้งาน

แต่ถ้าเราไม่สามารถควบคุมดูแลได้ หรือเครื่องที่ใช้งานมีการเปลี่ยนแปลงตลอดเวลา เช่นให้บริการอินเตอร์เน็ต สำหรับผู้มาติดต่องาน

ถ้าเป็นแบบนี้ แนะนำให้คอนฟิก Transparent Proxy บน Linux Router เพื่อให้ทำหน้าที่เก็บข้อมูลการใช้เว็บโดยอัตโนมัติ

ระบบทดสอบ

• Linux Router ติดตั้ง Squid มีพอร์ต LAN สองพอร์ต eth0, eth1
• เครื่องผู้ใช้งานทั้งหมดต่อพอร์ต eth0 ของ Linux Router
• พอร์ต eth1 ของ Linux Router ต่อไปยังอินเตอร์เน็ต

Redirect Web Traffic ให้เข้าไปใน Proxy Server

เริ่มแรกต้องบังคับให้การใช้เว็บอินเตอร์เน็ตทั้งหมดต้องผ่าน Linux Router เข้าพอร์ต eth0 แล้วออกอินเตอร์เน็ตทางพอร์ต eth1

ถ้าเราต้องการให้การใช้เว็บ (TCP Port 80) ทั้งหมด เข้าพอร์ต eth0 ต้องผ่านเข้าไปใน Proxy Server (TCP Port 3128) ก่อน เพื่อให้เก็บข้อมูลการใช้งาน สามารถใช้คำสั่ง iptables ตามตัวอย่าง

[root@router ~]# iptables -t nat -A PREROUTING -i eth0 -p tcp --dport 80 -j REDIRECT --to-port 3128

คอนฟิก Squid ให้ทำหน้าที่เป็น Transparent Proxy

อย่างที่สองคือต้องแก้ไขไฟล์คอนฟิก Squid ซึ่งอยู่ใน /etc/squid/squid.conf

การแก้ไขคอนฟิกขึ้นอยู่กับเวอร์ชั่นของ Squid ที่ติดตั้ง

คำแนะนำ : เพื่อคุณสมบัติและประสิทธิภาพที่ดีกว่า แนะนำให้ใช้เวอร์ชั่นใหม่ล่าสุดที่สามารถติดตั้งได้

เวอร์ชั่นเก่ากว่า 2.6

httpd_accel_host virtual
httpd_accel_port 80
httpd_accel_with_proxy on
httpd_accel_uses_host_header on

เวอร์ชั่น 2.6 – 3.0

http_port 3128 transparent

ตั้งแต่เวอร์ชั่น 3.1

http_port 3128 intercept

หรือ

http_port 3128 transparent

หลังการแก้ไขคอนฟิกไฟล์ของ squid ต้องรีสตาร์ตเซอร์วิส squid

[root@router ~]# service squid restart

สามารถดูข้อมูลการใช้งานเว็บได้ในไฟล์ /var/log/squid/access.log

ข้อมูลอ้างอิง

• คอนฟิก Squid Proxy Server
• squid : Optimising Web Delivery
• Quick HOWTO : Ch32 : Controlling Web Access with Squid

ตัวอย่างทั้งหมด แสดงการเพิ่ม และ ลบ route เพื่อไปยัง network “172.16.1.0/255.255.255.0″ โดยผ่าน gateway “192.168.1.254″

ส่วนการแสดง routing table นั้น จะแสดงผลลัพธ์เฉพาะส่วนที่เพิ่ม route เท่านั้น

Linux

[root@linux ~]# route add -net 172.16.1.0 netmask 255.255.255.0 gw 192.168.1.254

[root@linux ~]# netstat -rn
Kernel IP routing table
Destination     Gateway         Genmask         Flags   MSS Window  irtt Iface
172.16.1.0      192.168.1.254   255.255.255.0     UG      0 0          0 eth0

[root@linux ~]# route del -net 172.16.1.0 netmask 255.255.255.0 gw 192.168.1.254

MAC OS X

[root@osx ~]# route add -net 172.16.1.0 192.168.1.254 255.255.255.0
add net 172.16.1.0: gateway 192.168.1.254

[root@osx ~]# netstat -rn
Routing tables

Internet:
Destination        Gateway            Flags    Refs      Use  Netif Expire
172.16.1/24        192.168.1.254      UGSc        0        0    en0

[root@osx ~]# route delete -net 172.16.1.0 192.168.1.254 255.255.255.0
delete net 172.16.1.0: gateway 192.168.1.254

Solaris 

[root@solaris /]# route add -net 172.16.1.0 -netmask 255.255.255.0 192.168.1.254
add net 172.16.1.0: gateway 192.168.1.254 

[root@solaris /]# netstat -rnv

IRE Table: IPv4
  Destination             Mask           Gateway          Device Mxfrg Rtt   Ref Flg  Out  In/Fwd
-------------------- --------------- -------------------- ------ ----- ----- --- --- ----- ------
172.16.1.0           255.255.255.0   192.168.1.254               1500*    0    1 UG      0      0

[root@solaris /]# route delete -net 172.16.1.0 -netmask 255.255.255.0 192.168.1.254
delete net 172.16.1.0: gateway 192.168.1.254

Windows

C:\> route add 172.16.1.0 mask 255.255.255.0 192.168.1.254

C:\> netstat -rn

Active Routes:
Network Destination        Netmask          Gateway       Interface  Metric
       172.16.1.0      255.255.255.0     192.168.1.254  192.168.1.       1

C:\> route delete 172.16.1.0 mask 255.255.255.0 192.168.1.254

มีประโยชน์อย่างมาก เพื่อใช้ในการวิเคราะห์ ตรวจสอบ หรือแก้ปัญหาเกี่ยวกับ Network ได้

tcpdump ต้องรันด้วย root หรือเทียบเท่า และรันแบบ command line ติดตั้งมาเป็นดีฟอลต์บนลีนุกซ์เกือบทุกตระกูล เวอร์ชั่น จึงใช้งานได้สะดวก ไม่ต้องติดตั้งเพิ่มเติมเหมือนโปรแกรมอื่นๆ

ในที่นี้ขอแนะนำวิธีการใช้งานเบื้องต้นของ tcpdump

รันคำสั่ง tcpdump

ล็อกอินเป็น root แล้วพิมพ์คำสั่ง tcpdump

หมายเหตุ พอร์ตที่ใช้ในดักจับ packet ไม่จำเป็นต้องใส่ IP Address หรือเป็น IP ในกลุ่มเดียวกับ IP อื่นๆ ใน Network ที่ต้องการดักจับ ขอให้สถานะ Up พอ

หากไม่ระบุออปชั่นใดๆ เลย tcpdump จะเลือกดักจับ packet ที่เข้าออก พอร์ตแลนแรก โดยทั่วไปคือ eth0

ตัวอย่างการรันคำสั่งแบบไม่ระบุออปชั่น

[root@server ~]# tcpdump
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth0, link-type EN10MB (Ethernet), capture size 65535 bytes
09:15:53.948422 IP 192.168.1.102.jwalkserver > server.example.com.ssh: Flags [.], ack 1108, win 64623, length 0
09:15:53.955117 IP server.example.com.ssh > 192.168.1.102.jwalkserver: Flags [P.], seq 1108:1384, ack 1, win 8576, length 276
09:15:53.963948 IP server.example.com.ssh > 192.168.1.102.jwalkserver: Flags [P.], seq 1384:1548, ack 1, win 8576, length 164
09:15:53.964191 IP 192.168.1.102.jwalkserver > server.example.com.ssh: Flags [.], ack 1548, win 64183, length 0
09:15:53.972707 IP server.example.com.ssh > 192.168.1.102.jwalkserver: Flags [P.], seq 1548:1824, ack 1, win 8576, length 276
^C

102 packets captured
102 packets received by filter
0 packets dropped by kernel

กด [Ctrl-C] เพื่อออกจากคำสั่ง tcpdump ด้านล่างจะมีรายงานสรุปว่า ดักจับได้กี่ packet

ผลลัพธ์ที่แสดงจากคำสั่ง tcpdump จะแตกต่างกันไปขึ้นกับ Network Protocol ที่รับ/ส่ง เช่นถ้าเป็น IP Protocol (TCP, UDP) รูปแบบจะเป็น

• เวลา
• IP
• [Source IP Address].[Source Port]
• [Destination Address].[Destination Port]
• IP, TCP, UDP Headers

เลือกพอร์ตที่ดักจับ

ระบุออปชั่น “-i” แล้วตามด้วยชื่อพอร์ต เช่น ต้องการจับ packet ที่เข้าออก eth1

[root@server ~]# tcpdump -i eth1
tcpdump: WARNING: eth1: no IPv4 address assigned
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth1, link-type EN10MB (Ethernet), capture size 65535 bytes
^C

ในที่นี้ พอร์ต eth1 ไม่มีการใส่ IP Address จึงขึ้นฟ้อง “WARNING: eth1: no IPv4 address assigned” แต่ก็ยังสามารถดักจับ Traffic ได้

ไม่ต้องแปลง IP เป็นชื่อ hostname

ผลลัพธ์ที่แสดงออกมา โปรแกรม tcpdump จะพยายามแปลง IP Address ทั้งต้นทาง ปลายทาง ของ packet ที่ดักจับได้ ให้เป็นชื่อ hostname โดยใช้ไฟล์ /etc/hosts หรือ บริการ DNS

ถ้าหาก traffic มีปริมาณมาก แนะนำให้ปิดคุณสมบัติการพยายามแปลง IP เป็น ชื่อ hostname ออกซะ ด้วยการระบุออปชั่น “-n” เพื่อลดโหลด DNS

[root@server ~]# tcpdump -i eth0 -l -n
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth0, link-type EN10MB (Ethernet), capture size 65535 bytes
09:31:10.322145 IP 192.168.1.1.ssh > 192.168.1.102.jwalkserver: Flags [P.], seq 1901277915:1901278111, ack 2244887520, win 8576, length 196
09:31:10.322752 IP 192.168.1.102.jwalkserver > 192.168.1.1.ssh: Flags [.], ack 196, win 65535, length 0
09:31:10.330843 IP 192.168.1.1.ssh > 192.168.1.102.jwalkserver: Flags [P.], seq 196:472, ack 1, win 8576, length 276
09:31:10.332785 IP 192.168.1.1.ssh > 192.168.1.102.jwalkserver: Flags [P.], seq 472:636, ack 1, win 8576, length 164
09:31:10.333209 IP 192.168.1.102.jwalkserver > 192.168.1.1.ssh: Flags [.], ack 636, win 65095, length 0
^C

ไม่ต้องแปลง Port Number เป็นชื่อ Port Name

หากต้องการแสดงชื่อพอร์ต (TCP, UDP ports) เป็นตัวเลข (ไฟล์ /etc/services)  ให้ระบุออปชั่น “-n” เพิ่มอีกหนึ่ง หรือระบุเป็น “-nn” เลย

[root@server ~]# tcpdump -i eth0 -l -nn
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth0, link-type EN10MB (Ethernet), capture size 65535 bytes
09:39:38.800430 IP 192.168.1.102.1289 > 192.168.1.1.22: Flags [.], ack 196, win 65535, length 0
09:39:38.802793 IP 192.168.1.1.22 > 192.168.1.102.1289: Flags [P.], seq 196:456, ack 1, win 8576, length 260
09:39:38.805709 IP 192.168.1.1.22 > 192.168.1.102.1289: Flags [P.], seq 456:604, ack 1, win 8576, length 148
09:39:38.805963 IP 192.168.1.102.1289 > 192.168.1.1.22: Flags [.], ack 604, win 65127, length 0
09:39:38.808655 IP 192.168.1.1.22 > 192.168.1.102.1289: Flags [P.], seq 604:848, ack 1, win 8576, length 244
^C

ผลลัพธ์แบบสั้นๆ 

หากไม่สนใจ ข้อมูลใน IP, TCP, UDP Headers ต้องการรู้แค่ว่า IP อะไรคุยกัน ใช้พอร์ตอะไร แค่นั้นพอ ให้ระบุออปชั่น “-q”

[root@server ~]# tcpdump -i eth0 -l -nn -q
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth0, link-type EN10MB (Ethernet), capture size 65535 bytes
09:40:48.472427 IP 192.168.1.1.22 > 192.168.1.102.1289: tcp 196
09:40:48.473006 IP 192.168.1.102.1289 > 192.168.1.1.22: tcp 0
09:40:48.479252 IP 192.168.1.1.22 > 192.168.1.102.1289: tcp 164
09:40:48.487003 IP 192.168.1.1.22 > 192.168.1.102.1289: tcp 100
09:40:48.487311 IP 192.168.1.102.1289 > 192.168.1.1.22: tcp 0
^C

แสดงข้อมูล Layer 2 (MAC Address)

ระบุออปชั่น “-e”  หากต้องการแสดงข้อมูล Layer 2 หรือแสดง Source, Destination MAC Address ด้วย

[root@server ~]# tcpdump -i eth0 -l -nn -e -q
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth0, link-type EN10MB (Ethernet), capture size 65535 bytes
09:44:05.644395 00:11:22:33:44:55 > 00:55:66:77:88:99, IPv4, length 250: 192.168.1.1.22 > 192.168.1.102.1289: tcp 196
09:44:05.644959 00:55:66:77:88:99 > 00:11:22:33:44:55, IPv4, length 60: 192.168.1.102.1289 > 192.168.1.1.22: tcp 0
09:44:05.652121 00:11:22:33:44:55 > 00:55:66:77:88:99, IPv4, length 314: 192.168.1.1.22 > 192.168.1.102.1289: tcp 260
09:44:05.660897 00:11:22:33:44:55 > 00:55:66:77:88:99, IPv4, length 218: 192.168.1.1.22 > 192.168.1.102.1289: tcp 164
09:44:05.661173 00:55:66:77:88:99 > 00:11:22:33:44:55, IPv4, length 60: 192.168.1.102.1289 > 192.168.1.1.22: tcp 0
^C

 
save ผลลัพธ์เก็บในไฟล์

หากต้องการบันทึก (save) ผลลัพธ์ที่ดักจับได้ ให้เหมือนกับหน้าจอที่แสดงขึ้นมา ก็ใช้การ redirection

ตัวอย่าง การเก็บผลลัพธ์ลงไฟล์ ให้เหมือนกับที่แสดงขึ้นมา

[root@server ~]# tcpdump -i eth0 -l -nn -q > catpure-display.log
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth0, link-type EN10MB (Ethernet), capture size 65535 bytes
^C
7 packets captured
7 packets received by filter
0 packets dropped by kernel

หากต้องการหยุด ก็กดปุ่ม [Ctrl-C] เหมือนกัน

ใช้คำสั่ง cat เพื่อดูเนื้อหาไฟล์ที่บันทึก

[root@server ~]# cat capture-display.log
09:57:08.118314 IP 192.168.1.1.22 > 192.168.1.102.1289: tcp 196
09:57:08.118515 IP 192.168.1.102.1289 > 192.168.1.1.22: tcp 0
09:57:09.138258 IP 192.168.1.102.1289 > 192.168.1.1.22: tcp 36
09:57:09.355761 IP 192.168.1.102.1289 > 192.168.1.1.22: tcp 36
09:57:09.356025 IP 192.168.1.1.22 > 192.168.1.102.1289: tcp 0
^C

 แต่ถ้าต้องการบันทึกแบบเต็มรูปแบบ ให้ใช้ออปชั่น “-w” แล้วตามด้วยชื่อไฟล์ โดยทั่วไปนิยมบันทึกเป็นไฟล์นามสกุล “.cap”

[root@server ~]# tcpdump -i eth0 -w capture-raw.cap
tcpdump: listening on eth0, link-type EN10MB (Ethernet), capture size 65535 bytes
^C
24 packets captured
24 packets received by filter
0 packets dropped by kernel

ไฟล์ที่บันทึกด้วยออปชั่น “-w” สามารถนำมาเปิดย้อนหลังด้วยคำสั่ง tcpdump ตามด้วยออปชั่น “-r”  นอกจากนี้ ยังสามารถนำไปเปิดกับโปรแกรม Wireshark ได้อีกด้วย

[root@server ~]# tcpdump -r capture-raw.cap -l -nn
reading from file capture-raw.cap, link-type EN10MB (Ethernet)
10:00:14.959339 IP 192.168.1.102.1289 > 192.168.1.1.22: Flags [P.], seq 105:157, ack 236, win 65431, length 52
10:00:14.972070 IP 192.168.1.1.22 > 192.168.1.102.1289: Flags [P.], seq 236:288, ack 157, win 8576, length 52
10:00:15.137079 IP 192.168.1.102.1289 > 192.168.1.1.22: Flags [.], ack 288, win 65379, length 0
10:00:15.221339 IP 192.168.1.102.1289 > 192.168.1.1.22: Flags [P.], seq 157:209, ack 288, win 65379, length 52
10:00:15.227905 IP 192.168.1.1.22 > 192.168.1.102.1289: Flags [P.], seq 288:340, ack 209, win 8576, length 52
^C

ข้อมูลอ้างอิง

• ตรวจสอบสถานะของการ์ดเน็ตเวิร์กบนลีนุกซ์

คุณต้องเคยเจอปัญหานี้แน่นอน คือมีการพยายามเจาะระบบด้วยการ ssh เข้ามา ด้วย user, password ต่างๆ ที่คาดว่าจะมีในเครื่อง

ตัวอย่างไฟล์ /var/log/secure แสดงถึงการพยายาม ssh แต่ไม่สำเร็จ

May  2 16:39:27 server sshd[8309]: Invalid user john from x.x.x.x
May  2 16:39:27 server sshd[8310]: input_userauth_request: invalid user john
May  2 16:39:27 server sshd[8309]: pam_unix(sshd:auth): check pass; user unknown
May  2 16:39:27 server sshd[8309]: pam_unix(sshd:auth): authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=x.x.x.x
May  2 16:39:27 server sshd[8309]: pam_succeed_if(sshd:auth): error retrieving information about user john
May  2 16:39:29 server sshd[8309]: Failed password for invalid user john from x.x.x.x port 3291 ssh2
May  2 16:39:29 server sshd[8310]: Received disconnect from x.x.x.x: 11: Bye Bye

การป้องกัน หรือคำแนะนำอย่างแรก ที่พึงกระทำคือ ตั้ง user, password ให้ยากต่อการคาดเดา แต่เท่านั้นอาจไม่เพียงพอ

บทความนี้ขอเสนอวิธีการป้องกันด้วย fail2ban ซึ่งจะช่วยแบน ip ที่พยายาม login แต่ไม่สำเร็จได้

หลักการทำงานคร่าวๆ คือ โปรแกรม fail2ban จะคอยตรวจสอบไฟล์ที่ตั้งไว้ โดยค้นหาคำหรือประโยคที่เกิดขึ้นในไฟล์ เมื่อมีการ failed attempts เกิดขึ้นถึงจำนวนครั้งที่กำหนด fail2ban จะทำการบางอย่างที่ตั้งไว้ เช่น รันคำสั่ง iptables เพื่อ DROP packets ได้

ติดตั้งไฟล์ rpm

ในที่นี้ทดสอบบน Fedora 14 ต้องติดตั้งไฟล์ rpm เพิ่มเติมดังนี้

[root@fc14-x64 ~]# rpm -ivh gamin-python-0.1.10-8.fc14.x86_64.rpm
[root@fc14-x64 ~]# rpm -ivh shorewall-4.4.11.1-1.fc14.noarch.rpm
[root@fc14-x64 ~]# rpm -ivh fail2ban-0.8.4-25.fc14.noarch.rpm

เพื่อความชัดเจนในการทดสอบ จะรันคำสั่ง service iptables stop เพื่อเคลียร์ rule ของ iptables ทั้งหมดออกก่อน

[root@fc14-x64 ~]# service iptables stop
iptables: Flushing firewall rules:                         [  OK  ]
iptables: Setting chains to policy ACCEPT: filter          [  OK  ]
iptables: Unloading modules:                               [  OK  ]

ใช้คำสั่ง iptables เพื่อแสดง rule ที่ใช้งานอยู่

[root@fc14-x64 ~]# iptables -L -v -n
Chain INPUT (policy ACCEPT 46 packets, 3176 bytes)
 pkts bytes target     prot opt in     out     source               destination

Chain FORWARD (policy ACCEPT 0 packets, 0 bytes)
 pkts bytes target     prot opt in     out     source               destination

Chain OUTPUT (policy ACCEPT 40 packets, 5272 bytes)
 pkts bytes target     prot opt in     out     source               destination

ใช้คำสั่ง service เพื่อสตาร์ต fail2ban

[root@fc14-x64 ~]# service fail2ban start
Starting fail2ban:                                         [  OK  ]

ใช้คำสั่ง ps เพื่อดูโปรเซสของ fail2ban

[root@fc14-x64 ~]# ps -ef | grep fail2ban
root      1151     1  0 23:32 ?        00:00:00 /usr/bin/python /usr/bin/fail2ban-server -b -s /var/run/fail2ban/fail2ban.sock -x

ดูในไฟล์ /var/log/messages แสดงการเริ่มต้นทำงานของ fail2ban

[root@fc14-x64 ~]# tail /var/log/messages

May  6 23:35:32 fc14-x64 fail2ban.server : INFO   Changed logging target to SYSLOG for Fail2ban v0.8.4
May  6 23:35:32 fc14-x64 fail2ban.jail   : INFO   Creating new jail 'ssh-iptables'
May  6 23:35:32 fc14-x64 fail2ban.jail   : INFO   Jail 'ssh-iptables' uses Gamin
May  6 23:35:32 fc14-x64 fail2ban.filter : INFO   Added logfile = /var/log/secure
May  6 23:35:32 fc14-x64 fail2ban.filter : INFO   Set maxRetry = 5
May  6 23:35:32 fc14-x64 fail2ban.filter : INFO   Set findtime = 600
May  6 23:35:32 fc14-x64 fail2ban.actions: INFO   Set banTime = 600
May  6 23:35:32 fc14-x64 fail2ban.jail   : INFO   Jail 'ssh-iptables' started

ดีฟอลต์คอนฟิกไฟล์ rpm ที่ได้มาจาก Fedora 14 จะตรวจสอบเฉพาะการพยายาม SSH โดยดูในไฟล์ /var/log/secure

fail2ban จะสร้าง rule และ chain ใหม่ขึ้นมา ใน iptables

[root@fc14-x64 ~]# iptables -L -v -n
Chain INPUT (policy ACCEPT 92 packets, 7885 bytes)
 pkts bytes target     prot opt in     out     source               destination
   53  4052 fail2ban-SSH  tcp  --  *      *       0.0.0.0/0            0.0.0.0/0           tcp dpt:22

Chain FORWARD (policy ACCEPT 0 packets, 0 bytes)
 pkts bytes target     prot opt in     out     source               destination

Chain OUTPUT (policy ACCEPT 84 packets, 8087 bytes)
 pkts bytes target     prot opt in     out     source               destination

Chain fail2ban-SSH (1 references)
 pkts bytes target     prot opt in     out     source               destination
   53  4052 RETURN     all  --  *      *       0.0.0.0/0            0.0.0.0/0

ไฟล์คอนฟิกของ fail2ban

ไฟล์คอนฟิกของ fail2ban อยู่ใน /etc/fail2ban/

ไฟล์ /etc/fail2ban/jail.conf จะเป็นการกำหนดการทำงานของ fail2ban

คอนฟิกบางส่วนจากไฟล์ jail.conf

[root@fc14-x64 ~]# cat /etc/fail2ban/jail.conf
...
[DEFAULT]
...
# "bantime" is the number of seconds that a host is banned.
bantime  = 600

# A host is banned if it has generated "maxretry" during the last "findtime"
# seconds.
findtime  = 600
...
[ssh-iptables]

enabled  = true
filter   = sshd
action   = iptables[name=SSH, port=ssh, protocol=tcp]
           sendmail-whois[name=SSH, dest=root, sender=fail2ban@mail.com]
logpath  = /var/log/secure
maxretry = 5

คำอธิบายคร่าวๆ จากไฟล์ jail.conf คือ ให้ตรวจสอบ (filter) การ ssh โดยดูในไฟล์ (logpath) /var/log/secure ว่า ถ้ามีการ failed login เกิน (maxretry) ครั้ง ภายในเวลา (findtime) 600 วินาที ให้ทำการ (action) รัน iptables ด้วยออปชั่นในวงเล็บ

สามารถดูรายละเอียด filter ในไฟล์ /etc/fail2ban/filter.d/sshd.conf

[root@fc14-x64 ~]# cat /etc/fail2ban/filter.d/sshd.conf
...
[Definition]

_daemon = sshd
...
failregex = ^%(__prefix_line)s(?:error: PAM: )?Authentication failure for .* from <HOST>\s*$
            ^%(__prefix_line)s(?:error: PAM: )?User not known to the underlying authentication module for .* from <HOST>\s*$
            ^%(__prefix_line)sFailed (?:password|publickey) for .* from <HOST>(?: port \d*)?(?: ssh\d*)?$
            ^%(__prefix_line)sROOT LOGIN REFUSED.* FROM <HOST>\s*$
            ^%(__prefix_line)s[iI](?:llegal|nvalid) user .* from <HOST>\s*$
            ^%(__prefix_line)sUser \S+ from <HOST> not allowed because not listed in AllowUsers$
            ^%(__prefix_line)sauthentication failure; logname=\S* uid=\S* euid=\S* tty=\S* ruser=\S* rhost=<HOST>(?:\s+user=.*)?\s*$
            ^%(__prefix_line)srefused connect from \S+ \(<HOST>\)\s*$
            ^%(__prefix_line)sAddress <HOST> .* POSSIBLE BREAK-IN ATTEMPT!*\s*$
            ^%(__prefix_line)sUser \S+ from <HOST> not allowed because none of user's groups are listed in AllowGroups$

คำอธิบายจากไฟล์คอนฟิก filter คือ ให้ตรวจสอบหาคำหรือประโยคที่ระบุไว้ใน failregex (regular expression)

ส่วน action ที่ทำ หลังจาก maxretry ดูได้ในไฟล์  /etc/fail2ban/action.d/iptables.conf

[root@fc14-x64 ~]# cat /etc/fail2ban/action.d/iptables.conf
...
actionban = iptables -I fail2ban-<name> 1 -s <ip> -j DROP
...
actionunban = iptables -D fail2ban-<name> -s <ip> -j DROP

คำอธิบาย คือการรันคำสั่ง iptables เพื่อสร้าง rule เพื่อจะ ban <ip> ที่พยายามเข้ามา

และเมื่อเกินเวลา (bantime) 600 วินาที แล้ว ก็รันคำสั่ง iptables เพื่อลบ rule ที่สร้างขึ้น อนุญาตให้ <ip> สามารถเข้ามาได้อีกครั้ง

ทดสอบการ login fail

คำเตือน การทดลองใช้ fail2ban ให้ลองบนเครื่องที่สามารถ console ได้  เพราะการคอนฟิกหรือลอง login fail จะทำให้คุณไม่สามารถ ssh เข้าเครื่องนั้นได้ ช่วงเวลาหนึ่ง

สมมุติให้ลอง ssh login fail ด้วย root จาก 192.168.1.12

ดูไฟล์ /var/log/secure ที่เกิดขึ้นบน server

[root@fc14-x64 ~]# tail -f /var/log/secure
May  6 23:43:47 fc14-x64 unix_chkpwd[1340]: password check failed for user (root)
May  6 23:43:47 fc14-x64 sshd[1338]: pam_unix(sshd:auth): authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=192.168.1.12  user=root
May  6 23:43:49 fc14-x64 sshd[1338]: Failed password for root from 192.168.1.12 port 34811 ssh2

May  6 23:43:56 fc14-x64 unix_chkpwd[1342]: password check failed for user (root)
May  6 23:43:58 fc14-x64 sshd[1338]: Failed password for root from 192.168.1.12 port 34811 ssh2

May  6 23:44:00 fc14-x64 unix_chkpwd[1343]: password check failed for user (root)
May  6 23:44:01 fc14-x64 sshd[1338]: Failed password for root from 192.168.1.12 port 34811 ssh2
May  6 23:44:01 fc14-x64 sshd[1339]: Connection closed by 192.168.1.12
May  6 23:44:01 fc14-x64 sshd[1338]: PAM 2 more authentication failures; logname= uid=0 euid=0 tty=ssh ruser= rhost=192.168.1.12  user=root

May  6 23:44:16 fc14-x64 unix_chkpwd[1348]: password check failed for user (root)
May  6 23:44:16 fc14-x64 sshd[1346]: pam_unix(sshd:auth): authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=192.168.1.12  user=root
May  6 23:44:19 fc14-x64 sshd[1346]: Failed password for root from 192.168.1.12 port 34812 ssh2

May  6 23:44:22 fc14-x64 unix_chkpwd[1349]: password check failed for user (root)
May  6 23:44:25 fc14-x64 sshd[1346]: Failed password for root from 192.168.1.12 port 34812 ssh2
May  6 23:44:25 fc14-x64 sshd[1347]: Connection closed by 192.168.1.12
May  6 23:44:25 fc14-x64 sshd[1346]: PAM 1 more authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=192.168.1.12  user=root

เมื่อ login fail เกินค่า maxretry ที่ตั้งไว้ ในที่นี้คือ 5 ครั้ง สังเกตในไฟล์ /var/log/messages  โปรแกรม fail2ban จะทำการ action ขึ้นมา เพื่อ ban 192.168.1.12

[root@fc14-x64 ~]# tail /var/log/messages
May  6 23:44:27 fc14-x64 <28>fail2ban.actions: WARNING [ssh-iptables] Ban 192.168.1.12

ใช้คำสั่ง iptables เพื่อตรวจสอบ rule ที่เพิ่มขึ้น

[root@fc14-x64 ~]# iptables -L -v -n
Chain INPUT (policy ACCEPT 61 packets, 10699 bytes)
 pkts bytes target     prot opt in     out     source               destination
  453 37587 fail2ban-SSH  tcp  --  *      *       0.0.0.0/0            0.0.0.0/0           tcp dpt:22

Chain FORWARD (policy ACCEPT 0 packets, 0 bytes)
 pkts bytes target     prot opt in     out     source               destination

Chain OUTPUT (policy ACCEPT 60 packets, 7044 bytes)
 pkts bytes target     prot opt in     out     source               destination

Chain fail2ban-SSH (1 references)
 pkts bytes target     prot opt in     out     source               destination
    2   120 DROP       all  --  *      *       192.168.1.12            0.0.0.0/0
  451 37467 RETURN     all  --  *      *       0.0.0.0/0            0.0.0.0/0

สังเกตว่า rule ที่สร้างขึ้น จะ DROP เฉพาะการ ssh (tcp 22) เท่านั้น แปลว่า ip ที่ถูก ban ไป จะไม่สามารถ ssh เข้าเครื่อง server ได้อีก แต่ยังสามารถเปิด web (tcp 80) หรืออื่นๆ ได้ตามปกติ

คอนฟิกในไฟล์ jail.conf เมื่อมีการ ban เกิดขึ้น จะมีการส่ง mail หา root ด้วย

ตัวอย่าง mail ที่ส่งให้ root

From fail2ban@mail.com  Fri May  6 23:44:28 2011
Return-Path: <fail2ban@mail.com>
Date: Fri, 6 May 2011 23:44:27 +0700
Subject: [Fail2Ban] SSH: banned 192.168.1.12
From: Fail2Ban <fail2ban@mail.com>
To: root@fc14-x64.example.com
Status: R

Hi,

The IP 192.168.1.12 has just been banned by Fail2Ban after 5 attempts against SSH.
...

เมื่อเวลาผ่านไป เกินเวลา bantime ในที่นี้ 600 วินาที  โปรแกรม fail2ban ก็จะปลดการ ban ออก ดูได้จากไฟล์ /var/log/messsages

[root@fc14-x64 ~]# tail /var/log/messages
May  6 23:44:27 fc14-x64 <28>fail2ban.actions: WARNING [ssh-iptables] Ban 192.168.1.12
May  6 23:54:28 fc14-x64 <28>fail2ban.actions: WARNING [ssh-iptables] Unban 192.168.1.12

ใช้คำสั่ง iptables เพื่อตรวจสอบ rule ที่ใช้งานอยู่ หลังจาก unban

[root@fc14-x64 log]# iptables -L -v -n
Chain INPUT (policy ACCEPT 561 packets, 50572 bytes)
 pkts bytes target     prot opt in     out     source               destination
 1753  141K fail2ban-SSH  tcp  --  *      *       0.0.0.0/0            0.0.0.0/0           tcp dpt:22

Chain FORWARD (policy ACCEPT 0 packets, 0 bytes)
 pkts bytes target     prot opt in     out     source               destination

Chain OUTPUT (policy ACCEPT 501 packets, 50410 bytes)
 pkts bytes target     prot opt in     out     source               destination

Chain fail2ban-SSH (1 references)
 pkts bytes target     prot opt in     out     source               destination
 1751  141K RETURN     all  --  *      *       0.0.0.0/0            0.0.0.0/0

ลองนำไปใช้ดูครับ เพิ่มความปลอดภัยให้เครื่องได้อีกระดับ

ข้อมูลอ้างอิง

• Fail2ban

แทนที่จะซื้อ box ใหม่ ลองหาเครื่องเก่าๆ ที่ยังพอใช้งานได้อยู่ หากขนาดพื้นที่ดิสก์เก่าไม่พอ ก็ซื้อเฉพาะฮาร์ดดิสก์เท่านั้น แล้วติดตั้งโปรแกรม FreeNAS ภายในไม่ถึง10 นาที  (ไม่รวมเวลาดาวน์โหลดไฟล์ iso ขนาด 130 กว่า MB นะ) คุณก็จะได้ Storage Server ไว้ใช้ อย่างง่ายดาย คุณสมบัติ (features) เพียบ…

คำเตือน

• FreeNAS จะล้าง (Format) ข้อมูลทั้งหมดในดิสก์ของเครื่อง
• การทดลองรันแบบ LiveCD ค่าคอนฟิกที่สร้างทั้งหมดจะหายไป เมื่อมีการรีบู๊ตหรือปิดเครื่อง

FreeNAS เป็นโปรแกรม Open Source พัฒนาขึ้นมาบน FreeBSD รองรับการใช้งานได้หลากหลายเช่น CIFS (Samba), FTP, NFS, TFTP, AFP, RSYNC, Unison, iSCSI (initiator and target) and UPnP. สามารถคอนฟิกดิสก์เป็นแบบ RAID (0, 1, 5), ZFS, disk encryption ได้

การใช้งานผ่าน Web Interface สามารถลองใช้แบบ LiveCD หรือติดตั้งลงบนดิสก์

ในเริ่มต้น แนะนำในลองใช้แบบ LiveCD เพื่อดูคุณสมบัติต่างๆ ของโปรแกรม

เลือกดาวน์โหลดไฟล์เวอร์ชั่นล่าสุดของ Stable Releases (ล่าสุดที่เขียนคือ 0.7.2) หากเครื่องสามารถลงแบบ 64-bit ได้ แนะนำให้เลือก FreeNAS-amd64-LiveCD-0.7.2.5543.iso ถ้าไม่ได้ ก็ใช้เวอร์ชั่น 32-bit คือ FreeNAS-i386-LiveCD-0.7.2.5543.iso

ไฟล์ที่ดาวน์โหลดจะเป็นแบบ iso คือต้องนำมา burn ลง cd ก่อนแล้วนำไปใช้บู๊ตเครื่อง

ในบทความนี้จะทดลองใน VMware Server

หน้าจอบู๊ตเครื่อง

หน้าจอ Console แสดงข้อมูลคอนฟิกเบื้องต้น พร้อมใช้งาน

เมื่อบู๊ตเครื่องมาถึงขั้นตอนนี้ คุณก็มี Storage Server พร้อมใช้แล้ว หากต้องการแก้ไขคอนฟิก ก็ใส่ตัวเลขเมนู เพื่อเข้าไปแก้ไขได้ เช่นต้องการแก้ไข IP address สามารถทำได้โดยเข้าเมนู 2) Set LAN IP address

คำแนะนำ หากต้องการนำไปใช้งานจริง ต้องเลือกเมนู 9) Install/Upgrade to hard drive/flash device, etc. เพื่อเลือกติดตั้ง FreeNAS ลงบนดิสก์เลย

ดีฟอลต์ IP address คือ 192.168.1.250

เปิด browser เพื่อเริ่มใช้งาน FreeNAS

หน้าเว็บล็อกอินของ FreeNAS  ใส่ค่า Username, Password เริ่มต้นคือ admin, freenas

หน้าเว็บแสดงข้อมูล System Information

หน้าเว็บการจัดการดิสก์ (Disks Management)

ไปที่เมนู Disks -> Management เพื่อแสดงข้อมูลดิสก์ที่โปรแกรม FreeNAS รู้จัก

เริ่มต้นจะไม่มีดิสก์ใดแสดงเลย ต้องกดเครื่องหมาย + ด้านขวามือเพื่อเพิ่มดิสก์ที่มีอยู่ในเครื่อง ให้ FreeNAS รู้จัก

Add Disk

หน้าเว็บการเพิ่มดิสก์

หลังจากเพิ่มดิสก์ ต้องกดปุ่ม [Apply changes] เพื่อให้คอนฟิกที่เพิ่มเข้าไปมีผล

Format Disk

ไปที่เมนู Disks -> Format เพื่อ Format Disk

Disk: เลือกดิสก์ที่จะ format
File system: เลือก “UFS (GPT and Soft Updates”
Volume Label: ใส่ชื่อ Volume

กดปุ่ม [Format disk]

หน้าเว็บแสดงการ Format Disk

หลังจาก Format เครื่องแล้ว ต้อง mount ดิสก์ขึ้นมาใช้งานด้วย

Mount Disk

ไปที่เมนู Disks -> Mount Point กดเคื่องหมาย + เพื่อเริ่มการ mount ดิสก์

เลือก Disk และใส่ค่า Mount point name แล้วกด Add

หน้าเว็บ Disks Mount Point – Add

กดปุ่ม [Apply changes] เพื่อให้คอนฟิกที่เพิ่มมีผล หน้าเว็บแสดงการ mount point

CIFS/SMB Settings

หากต้องการแชร์ไฟล์แบบ Samba เพื่อให้เครื่อง Windows อื่นๆ มองเห็น ก็สามารถทำได้ง่ายๆ โดยไปที่เมนู Services -> CIFS/SMB

ในหน้า Settings คลิ้กเลือก [x] Enable แล้วใส่ค่าคอนฟิกต่างๆ เสร็จเรียบร้อยด้านล่างกดปุ่ม [Save and Restart]

หน้าเว็บแสดงการเปิด Services CIFS/SMB

ในหน้าเว็บเดียวกันนี้ คลิ้กแท็ป [Shares] เพื่อคอนฟิกชื่อและดิสก์ที่ใช้แชร์ไฟล์

กดเครื่องหมาย + เพื่อเพิ่มการ Share

ใส่ Name, Comment เลือก Path จาก Mount Point แล้วกดปุ่ม [Add]

หลังจากแก้ไข กดปุ่ม [Apply changes] เพื่อให้คอนฟิกใหม่มีผล

ทดลองเรียก Share Drive จากเครื่อง Windows

ข้อมูลอ้างอิง

• FreeNAS

ดังนั้นขณะที่เครื่องที่ 1 (centos54-a) ทำหน้าที่เป็น primary ของดิสก์ drbd0 อยู่  เครื่องที่ 2 (centos54-b) จะไม่สามารถ mount ดิสก์ drbd0 นี้ขึ้นมาใช้งานได้

ในบทความนี้จะแสดงการทดสอบใช้คำสั่งเพื่อเปลี่ยนโหมด Primary, Secondary ระหว่างเครื่องทั้งสอง

ตรวจสอบสถานะบนเครื่อง centos54-a

[root@centos54-a ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs         ro                 ds                 p  mounted  fstype
0:r0   Connected  Primary/Secondary  UpToDate/UpToDate  C  /export  ext3

[root@centos54-a ~]# df -h /export
Filesystem            Size  Used Avail Use% Mounted on
/dev/drbd0            950M   18M  885M   2% /export

ทดสอบ mount ดิสก์บนเครื่อง centos54-b

[root@centos54-b ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs         ro                 ds                 p  mounted  fstype
0:r0   Connected  Secondary/Primary  UpToDate/UpToDate  C

[root@centos54-b ~]# mount /dev/drbd0 /export
mount: block device /dev/drbd0 is write-protected, mounting read-only
mount: Wrong medium type

ในกรณีที่ต้องการเปลี่ยนให้เครื่องที่ 2 (centos54-b) ทำหน้าที่เป็น primary  เช่นในกรณีที่ต้องการซ่อมบำรุงเครื่องที่ 1 สามารถทำได้ดังนี้

บนเครื่องที่ 1 ปิดเซอร์วิส DRBD

[root@centos54-a ~]# service drbd stop
Stopping all DRBD resources:
.
[root@centos54-a ~]# service drbd status
drbd not loaded

ตรวจสอบสถานะบนเครื่องที่ 2 หลังจากปิดเซอร์วิสบนเครื่องที่ 1

[root@centos54-b ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs            ro                 ds                 p  mounted  fstype
0:r0   WFConnection  Secondary/Unknown  UpToDate/DUnknown  C

แม้เครื่อง Primary ปิดไปแล้ว บนเครื่องที่ 2 ที่ยังอยู่ในโหมด Secondary ก็ยัง mount ดิสก์ ไม่ได้

[root@centos54-b ~]# mount /dev/drbd0 /export
mount: block device /dev/drbd0 is write-protected, mounting read-only
mount: Wrong medium type

ต้องเปลี่ยนสถานะบนเครื่องที่ 2 ให้เป็น primary ด้วยคำสั่ง drbdadm primary

[root@centos54-b ~]# drbdadm primary all

ตรวจสอบสถานะบนเครื่องที่ 2

[root@centos54-b ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs            ro               ds                 p  mounted  fstype
0:r0   WFConnection  Primary/Unknown  UpToDate/DUnknown  C

เมื่ออยู่ในโหมด primary แล้ว ก็สามารถ mount ดิสก์ขึ้นมาใช้งานได้

[root@centos54-b ~]# mount /dev/drbd0 /export
[root@centos54-b ~]# df -h /export
Filesystem            Size  Used Avail Use% Mounted on
/dev/drbd0            950M   18M  885M   2% /export

ทดลองสร้างไฟล์ในดิสก์ drbd0

[root@centos54-b ~]# cd /export/
[root@centos54-b export]# ls
lost+found
[root@centos54-b export]# echo "hello world from node 2" > test-file-on-node-2.txt
[root@centos54-b export]# ls -l
total 20
drwx------ 2 root root 16384 Feb  6 15:46 lost+found
-rw-r--r-- 1 root root    24 Feb  6 17:17 test-file-on-node-2.txt

รันเซอร์วิส DRBD บนเครื่องที่ 1 ขึ้นมาอีกครั้ง ตอนนี้เครื่องที่ 1 จะทำหน้าที่เป็น Secondary และจะทำการ replicate ข้อมูลมาจากเครื่องที่ 2 (Primary) โดยอัตโนมัติ

[root@centos54-a ~]# service drbd start
Starting DRBD resources: [ d(r0) s(r0) n(r0) ].

[root@centos54-a ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs         ro                 ds                 p  mounted  fstype
0:r0   Connected  Secondary/Primary  UpToDate/UpToDate  C

บนเครื่องที่ 2 เปลี่ยนให้เป็นโหมด Secondary

[root@centos54-b ~]# drbdadm secondary all
0: State change failed: (-12) Device is held open by someone
Command 'drbdsetup 0 secondary' terminated with exit code 11

หากมีการเรียกใช้ดิสก์ drbd อยู่ จะไม่สามารถเปลี่ยนโหมดจาก Primary ไปเป็น Secondary ได้ ต้อง umount ดิสก์ออกไปก่อนถึงจะเปลี่ยนโหมดได้

[root@centos54-b ~]# umount /export
[root@centos54-b ~]# drbdadm secondary all

ตรวจสอบสถานะบนเครื่องที่ 2

[root@centos54-b ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs         ro                   ds                 p  mounted  fstype
0:r0   Connected  Secondary/Secondary  UpToDate/UpToDate  C

เปลี่ยนโหมดบนเครื่องที่ 1 ให้เป็น Primary เพื่อเรียกใช้ดิสก์ได้

[root@centos54-a ~]# drbdadm primary all
[root@centos54-a ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs         ro                 ds                 p  mounted  fstype
0:r0   Connected  Primary/Secondary  UpToDate/UpToDate  C

mount ดิสก์ และตรวจสอบไฟล์ที่อยู่ใน drbd0 จะเห็นไฟล์ที่สร้างจากเครื่องที่ 2

[root@centos54-a ~]# mount /dev/drbd0 /export
[root@centos54-a ~]# cd /export/
[root@centos54-a export]# ls -l
total 20
drwx------ 2 root root 16384 Feb  6 15:46 lost+found
-rw-r--r-- 1 root root    24 Feb  6 17:17 test-file-on-node-2.txt
[root@centos54-a export]# cat test-file-on-node-2.txt
hello world from node 2

ตรวจสอบไฟล์ /var/log/messages

เมื่อมีปัญหาเกี่ยวกับการใช้ DBRD นอกจากการใช้คำสั่ง service เพื่อตรวจสอบสถานะแล้ว ไฟล์ /var/log/messages จะแสดงการเปลี่ยนแปลงทั้งหมดของ DRBD ที่เกิดขึ้น ซึ่งสามารถนำมาใช้ช่วยในการแก้ปัญหาได้

ตัวอย่างข้อความในไฟล์ /var/log/messages ที่เกิดขึ้น เมื่อมีการเปลี่ยนโหมด

[root@centos54-a ~]# tail /var/log/messages
...
Feb  6 17:19:38 centos54-a kernel: block drbd0: peer( Primary -> Secondary )
Feb  6 17:21:04 centos54-a kernel: block drbd0: role( Secondary -> Primary )
...

ข้อมูลอ้างอิง

• ติดตั้งและคอนฟิก DRBD

เมื่อมีการเปลี่ยนแปลงข้อมูลที่อยูในดิสก์เครื่องหนึ่ง (primary) การเปลี่ยนแปลงนั้นจะถูก replicate ไปยังอีกเครื่อง (secondary) โดยอัตโนมัติ

DRBD ประกอบด้วยสองส่วนคือ

1. Kernel module – DRBD ทำหน้าที่ใน kernel โดยจะสร้าง virtual block device คั่นกลางระหว่าง physical disk กับ filesystem ที่สร้างอยู่ ไม่ว่าจะเป็น ext3, ext4, xfs
2. User space administration tools – เป็นโปรแกรมที่ช่วยในการจัดการ DRBD ได้ง่ายขึ้น หลักๆ จะเป็น drbdadm

ในบทความนี้จะแสดงการติดตั้งโปรแกรม DRBD และคอนฟิกเป็นแบบ Single-primary mode คือ ณ เวลาใดเวลาหนึ่ง มีเครื่องเดียวเท่านั้นที่สามารถ อ่าน เขียน ข้อมูลได้

คำเตือน ติดตั้งและคอนฟิก DRBD บนเครื่องทดสอบให้เข้าใจก่อน เพราะบางคำสั่งอาจกระทบข้อมูลดิสก์หรือ partition ที่มีอยู่ในเครื่องได้ ทำให้ข้อมูลเสียหายได้

ระบบสำหรับการทดสอบ

ในที่นี้จะติดตั้ง CentOS 5.4 พร้อมคอนฟิกให้สองเครื่องติดต่อ ping กันได้ และปิดคุณสมบัติ firewall ทั้งหมด

เครื่องที่ 1

• Hostname:   centos54-a.spalinux.com
• IP Address: 10.3.3.51

เครื่องที่ 2

• Hostname:   centos54-b.spalinux.com
• IP Address: 10.3.3.52

แก้ไขไฟล์ /etc/hosts เพื่อให้ทั้งสองเครื่องอ้างอิงจากชื่อเครื่องได้

ตัวอย่างคอนฟิกของเครื่องที่ 1

[root@centos54-a ~]# hostname
centos54-a.spalinux.com

[root@centos54-a ~]# cat /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1       localhost.localdomain localhost
::1             localhost6.localdomain6 localhost6

10.3.3.51       centos54-a centos54-a.spalinux.com
10.3.3.52       centos54-b centos54-b.spalinux.com

ตัวอย่างคอนฟิกของเครื่องที่ 2

[root@centos54-b ~]# hostname
centos54-b.spalinux.com

[root@centos54-b ~]# cat /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1       localhost.localdomain localhost
::1             localhost6.localdomain6 localhost6

10.3.3.51       centos54-a centos54-a.spalinux.com
10.3.3.52       centos54-b centos54-b.spalinux.com

ทั้งสองเครื่อง ต้องสร้าง partition สำหรับใช้เป็นดิสก์ DRBD โดยไม่ต้องสร้าง filesystem ใดๆ ทั้งสิ้นบน partition นี้ สมมติว่าเป็น /dev/sda5 บนทั้งสองเครื่อง

หมายเหตุ

• แนะนำให้สร้าง partition ทั้งสองเครื่องให้เหมือนกัน ขนาดเท่ากัน จะได้ง่ายต่อการคอนฟิก
• สำหรับการทดสอบเริ่มต้น แนะนำให้สร้างขนาด partition เล็กๆ ก่อน จะได้ใช้เวลาในการ sync ข้อมูลไม่นานมากนัก ในบทความนี้สร้างประมาณ 1 GBytes

ติดตั้งโปรแกรม DRBD

ไฟล์ติดตั้ง DRBD ในรูปแบบ rpm ของ CentOS 5.4 นั้น ไม่อยู่ในแผ่นดีวีดีติดตั้ง แต่จะอยู่ในส่วนของ extras สำหรับในเมืองไทยสามารถดาวน์โหลดได้จาก http://www.mirror.in.th/osarchive/centos/5.4/extras/

ดาวน์โหล์ด และติดตั้งไฟล์ rpm สองไฟล์ บนเครื่องทั้งสอง

• drbd83-8.3.2-6.el5_3.x86_64.rpm  – “User space administration tools”
• kmod-drbd83-8.3.2-6.el5_3.x86_64.rpm  – “Kernel Module”

ใช้คำสั่ง rpm เพื่อติดตั้ง

[root@centos54-a ~]# rpm -ivh drbd83-8.3.2-6.el5_3.x86_64.rpm
Preparing...                ########################################### [100%]
   1:drbd83                 ########################################### [100%]
[root@centos54-a ~]# rpm -ivh kmod-drbd83-8.3.2-6.el5_3.x86_64.rpm
Preparing...                ########################################### [100%]
   1:kmod-drbd83            ########################################### [100%]

คอนฟิก DRBD บนเครื่องที่ 1 (primary)

ไฟล์คอนฟิกหลักของ DRBD คือไฟล์ /etc/drbd.conf ต้องมีการแก้ไขไฟล์นี้ก่อนถึงจะเริ่มใช้งานได้ โดยมีไฟล์ตัวอย่างคอนฟิกอยู่ใน /usr/share/doc/drbd83/drbd.conf

ไฟล์คอนฟิก /etc/drbd.conf จากการติดตั้ง

[root@centos54-a ~]# cat /etc/drbd.conf
#
# please have a a look at the example configuration file in
# /usr/share/doc/drbd83/drbd.conf
#

สร้างไฟล์คอนฟิก /etc/drbd.conf บนเครื่องที่ 1 “centos54-a.spalinux.com” ดังนี้

[root@centos54-a ~]# cat /etc/drbd.conf
global {
    usage-count no;
}

common {
    syncer { rate 10M; }
}

resource r0 {
    protocol C;

    net {
        cram-hmac-alg "sha1";
        shared-secret "test1234";
    }

    on centos54-a.spalinux.com {
        device /dev/drbd0;
        disk /dev/sda5;
        address 10.3.3.51:8888;
        meta-disk internal;
    }

    on centos54-b.spalinux.com {
        device /dev/drbd0;
        disk /dev/sda5;
        address 10.3.3.52:8888;
        meta-disk internal;
    }
}

คำอธิบายเบื้องต้น

• shared-secret เป็นการกำหนดรหัสของเครื่องที่สามารถ replicate ข้อมูลกันได้ 
• r0 เป็นชื่อ resource ของ DRBD สามารถตั้งเป็นชื่อใดๆ ก็ได้ เพื่อสื่อความหมาย
• on ตามด้วยชื่อ hostname ที่ต้องการ replicate ข้อมูลกัน ส่วนในวงเล็บ { เป็นการกำหนดคอนฟิกของแต่ละเครื่อง
• disk คือชื่อ partition ที่สร้างไว้สำหรับการทำ DRBD ในที่นี้คือ /dev/sda5

ใช้คำสั่ง drbadm create-md เพื่อสร้าง meta data บน partition ที่จะทำเป็น DRBD

[root@centos54-a ~]# drbdadm create-md all
Writing meta data...
initializing activity log
NOT initialized bitmap
New drbd meta data block successfully created.

หาก partition ที่คอนฟิกเป็น DRBD มี filesystem อยู่ก่อนแล้ว จะไม่สามารถสร้าง DRBD ได้

[root@centos54-a ~]# drbdadm create-md all
md_offset 1011671040
al_offset 1011638272
bm_offset 1011605504

Found ext3 filesystem which uses 987964 kB
current configuration leaves usable 987896 kB

Device size would be truncated, which
would corrupt data and result in
'access beyond end of device' errors.
You need to either
   * use external meta data (recommended)
   * shrink that filesystem first
   * zero out the device (destroy the filesystem)
Operation refused.

Command 'drbdmeta 0 v08 /dev/sda5 internal create-md' terminated with exit code 40
drbdadm create-md r0: exited with code 40

วิธีการแก้ไขคือต้องลบข้อมูลของ filesystem บน partition /dev/sda5 นี้ออก วิธีการง่ายสุดคือใช้คำสั่ง dd

คำเตือน คำสั่ง dd จะลบข้อมูลทั้งหมดบน partition ที่ระบุ

[root@centos54-a ~]# dd if=/dev/zero of=/dev/sda5
dd: writing to `/dev/sda5': No space left on device
1975933+0 records in
1975932+0 records out
1011677184 bytes (1.0 GB) copied, 87.2749 seconds, 11.6 MB/s

แล้วถึงสามารถสร้าง meta data ของ DRBD ได้

[root@centos54-a ~]# drbdadm create-md all
Writing meta data...
initializing activity log
NOT initialized bitmap
New drbd meta data block successfully created.

ใช้คำสั่ง service เพื่อรันเซอร์วิส DRBD

[root@centos54-a ~]# service drbd start
Starting DRBD resources: [ d(r0) s(r0) n(r0) ]..........
***************************************************************
 DRBD's startup script waits for the peer node(s) to appear.
 - In case this node was already a degraded cluster before the
   reboot the timeout is 0 seconds. [degr-wfc-timeout]
 - If the peer was available before the reboot the timeout will
   expire after 0 seconds. [wfc-timeout]
   (These values are for resource 'r0'; 0 sec -> wait forever)
 To abort waiting enter 'yes' [  20]:yes

ในครั้งแรกที่รันเซอร์วิส บนเครื่อง primary โปรแกรมจะรอให้เครื่อง peer (secondary) เข้ามาเชื่อมต่อ หากไม่ต้องการให้รอ ให้พิมพ์คำว่า “yes” แล้ว [Enter]

ใช้คำสั่ง service status เพื่อตรวจสอบสถานะของ DRBD

[root@centos54-a ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs            ro                 ds                     p  mounted  fstype
0:r0   WFConnection  Secondary/Unknown  Inconsistent/DUnknown  C

หรืออ่านจากไฟล์ /proc/drbd โดยตรง

[root@centos54-a ~]# cat /proc/drbd
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
 0: cs:WFConnection ro:Secondary/Unknown ds:Inconsistent/DUnknown C r----
    ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:987896

สร้างไดเรคทอรี /export สำหรับทดสอบ mount เพื่อใช้ดิสก์ drbd ที่สร้างขึ้น

[root@centos54-a ~]# mount /dev/drbd0 /export
mount: block device /dev/drbd0 is write-protected, mounting read-only
mount: Wrong medium type

ดิสก์นี้ยังไม่สามารถใช้ได้ ต้องใช้คำสั่ง drbdadm primary คอนฟิกให้ดิสก์ drbd บนเครื่องนี้ทำหน้าที่เป็น primary เพื่อให้สามารถ อ่าน เขียน ข้อมูลจากดิสก์ได้

[root@centos54-a ~]# drbdadm primary all
0: State change failed: (-2) Refusing to be Primary without at least one UpToDate disk
Command 'drbdsetup 0 primary' terminated with exit code 17

หากเป็นการเรียกใช้ครั้งแรก ต้องระบุออปชั่นดังนี้

[root@centos54-a ~]# drbdadm -- --overwrite-data-of-peer primary all
[root@centos54-a ~]#

ตรวจสอบสถานะ drbd อีกครั้ง สังเกตว่า ฟิลด์ ro จะเปลี่ยนจาก Seconday เป็น Primary และฟิลด์ ds จะเปลี่ยนจาก Inconsistent เป็น UpToDate

[root@centos54-a ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs            ro               ds                 p  mounted  fstype
0:r0   WFConnection  Primary/Unknown  UpToDate/DUnknown  C

ทดสอบการ mount ดิสก์อีกครั้ง

[root@centos54-a ~]# mount /dev/drbd0 /export
mount: you must specify the filesystem type

ก็ยังไม่สามารถ mount ได้ เพราะยังไม่มี filesystem บน /dev/drbd0

รันคำสั่ง mkfs.ext3 เพื่อสร้าง filesystem แบบ ext3

[root@centos54-a ~]# mkfs.ext3 /dev/drbd0
mke2fs 1.39 (29-May-2006)
Filesystem label=
OS type: Linux
Block size=4096 (log=2)
Fragment size=4096 (log=2)
123648 inodes, 246974 blocks
12348 blocks (5.00%) reserved for the super user
First data block=0
Maximum filesystem blocks=255852544
8 block groups
32768 blocks per group, 32768 fragments per group
15456 inodes per group
Superblock backups stored on blocks:
        32768, 98304, 163840, 229376

Writing inode tables: done
Creating journal (4096 blocks): done
Writing superblocks and filesystem accounting information: done

This filesystem will be automatically checked every 36 mounts or
180 days, whichever comes first.  Use tune2fs -c or -i to override.

ทดสอบการ mount อีกครั้ง จะสามารถใช้งานได้แล้ว

[root@centos54-a ~]# mount /dev/drbd0 /export

ตรวจสอบสถานะ DRBD

[root@centos54-a ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs            ro               ds                 p  mounted  fstype
0:r0   WFConnection  Primary/Unknown  UpToDate/DUnknown  C  /export  ext3

คอนฟิก DRBD บนเครื่องที่ 2 (secondary)

สร้างไฟล์คอนฟิก /etc/drbd.conf บนเครื่องที่ 2 เหมือนกับไฟล์ในเครื่องที่ 1

[root@centos54-b ~]# cat /etc/drbd.conf
global {
    usage-count no;
}

common {
    syncer { rate 10M; }
}

resource r0 {
    protocol C;

    net {
        cram-hmac-alg "sha1";
        shared-secret "test1234";
    }

    on centos54-a.spalinux.com {
        device /dev/drbd0;
        disk /dev/sda5;
        address 10.3.3.51:8888;
        meta-disk internal;
    }

    on centos54-b.spalinux.com {
        device /dev/drbd0;
        disk /dev/sda5;
        address 10.3.3.52:8888;
        meta-disk internal;
    }
}

ใช้คำสั่ง drbadm create-md เพื่อสร้าง meta data บน partition ที่จะทำเป็น DRBD

[root@centos54-b ~]# drbdadm create-md all
Writing meta data...
initializing activity log
NOT initialized bitmap
New drbd meta data block successfully created.

เช่นเดียวกัน หากมี filesystem อยู่บน partition ก่อนแล้ว ต้องใช้คำสั่ง dd เพื่อลบข้อมูลออก

ใช้คำสั่ง service เพื่อรันเซอร์วิส DRBD

[root@centos54-b ~]# service drbd start
Starting DRBD resources: [ d(r0) s(r0) n(r0) ].

เมื่อเริ่มต้นรันเซอร์วิส DRBD บนเครื่องที่ 2 จะเป็นการเริ่ม replicate ข้อมูลจากเครื่องที่ 1

ตรวจสอบสถานะ DRBD บนเครื่องที่ 2

[root@centos54-b ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs          ro                 ds                     p  mounted  fstype
...    sync'ed:    42.2%              (576248/987896)K
0:r0   SyncTarget  Secondary/Primary  Inconsistent/UpToDate  C

ตรวจสอบสถานะ DRBD บนเครื่องที่ 1

[root@centos54-a ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs          ro                 ds                     p  mounted  fstype
...    sync'ed:    43.0%              (567032/987896)K
0:r0   SyncSource  Primary/Secondary  UpToDate/Inconsistent  C  /export  ext3

เมื่อ replicate ข้อมูลเรียบร้อย (synced) ข้อมูลแล้ว สถานะจะเป็นดังนี้

ตรวจสอบสถานะ DRBD บนเครื่องที่ 2 เมื่อ synced ข้อมูลเรียบร้อย

[root@centos54-b ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs         ro                 ds                 p  mounted  fstype
0:r0   Connected  Secondary/Primary  UpToDate/UpToDate  C

ตรวจสอบสถานะ DRBD บนเครื่องที่ 1 เมื่อ synced ข้อมูลเรียบร้อย

[root@centos54-a ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:07:55
m:res  cs         ro                 ds                 p  mounted  fstype
0:r0   Connected  Primary/Secondary  UpToDate/UpToDate  C  /export  ext3

หลังจาก synced ข้อมูลระหว่างเครื่องเรียบร้อย เมื่อมีการเปลี่ยนแปลงข้อมูลในดิสก์บนเครื่องที่ 1 (primary) การเปลี่ยนแปลงนั้นจะถูก replicate ไปยังเครื่องที่ 2 (secondary) โดยอัตโนมัติ

ตัวอย่างการใช้คำสั่ง tcpdump  ตรวจสอบ packet ที่ส่งระหว่างเครื่องเพื่อการ replicate ข้อมูลของ DRBD

[root@centos54-b ~]# tcpdump -i eth0 -l -nn | grep 8888
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth0, link-type EN10MB (Ethernet), capture size 96 bytes
15:51:39.815802 IP 10.3.3.52.8888 > 10.3.3.51.42180: P 2834377596:2834377604(8) ack 2893184807 win 46 <nop,nop,timestamp 1772852 1818781>
15:51:39.816356 IP 10.3.3.51.42180 > 10.3.3.52.8888: P 1:9(8) ack 8 win 3216 <nop,nop,timestamp 1828655 1772852>
15:51:39.816394 IP 10.3.3.52.8888 > 10.3.3.51.42180: . ack 9 win 46 <nop,nop,timestamp 1772852 1828655>
15:51:44.888876 IP 10.3.3.1.4117 > 10.3.3.51.22: P 1560:1612(52) ack 1629 win 64271
15:51:49.815252 IP 10.3.3.51.42180 > 10.3.3.52.8888: P 9:17(8) ack 8 win 3216 <nop,nop,timestamp 1838655 1772852>
15:51:49.815330 IP 10.3.3.52.8888 > 10.3.3.51.42180: . ack 17 win 46 <nop,nop,timestamp 1782853 1838655>
15:51:49.815666 IP 10.3.3.52.8888 > 10.3.3.51.42180: P 8:16(8) ack 17 win 46 <nop,nop,timestamp 1782853 1838655>
15:51:49.847300 IP 10.3.3.51.42180 > 10.3.3.52.8888: . ack 16 win 3216 <nop,nop,timestamp 1838696 1782853>
15:51:50.937877 IP 10.3.3.51.8888 > 10.3.3.52.40284: . 3903780263:3903781711(1448) ack 2834246899 win 501 <nop,nop,timestamp 1839875 1683335>
...
[Ctrl-C]

ข้อมูลอ้างอิง

• DRBD
• CentOS 5.4 extras
• การใช้งาน DRBD เบื้องต้น

ติดตั้งไฟล์ rpm

ไฟล์ rpm ที่ต้องใช้ เพื่อคอนฟิกเครื่องให้ทำหน้าที่เป็น iSCSI target ได้ คือ “scsi-target-utils”

ตัวอย่างการติดตั้งไฟล์ rpm สำหรับ Fedora 11

[root@fc11-server ~]# rpm -i scsi-target-utils-0.9.5-1.fc11.x86_64.rpm
error: Failed dependencies:
        perl(Config::General) is needed by scsi-target-utils-0.9.5-1.fc11.x86_64

หากเจอ error แบบนี้ ต้องลงไฟล์ rpm ชื่อ perl-Config-General ก่อน

[root@fc11-server ~]# rpm -i perl-Config-General-2.42-2.fc11.noarch.rpm
[root@fc11-server ~]# rpm -i scsi-target-utils-0.9.5-1.fc11.x86_64.rpm

รันเซอร์วิส tgtd

รันเซอร์วิส tgtd (The Generic storage Target Daemon) ก่อน โดยใช้คำสั่ง service

[root@fc11-server ~]# /etc/init.d/tgtd start
Starting SCSI target daemon:                               [  OK  ]

สร้าง target ใหม่

ใช้คำสั่ง tgtadm เพื่อสร้าง target ใหม่ โดยพารามิเตอร์ที่ต้องระบุคือ target id (–tid) และชื่อ target (-T)

เราสามารถสร้างได้หลาย target ในเซิร์ฟเวอร์เครื่องหนึ่ง แต่ต้องมี id และชื่อแตกต่างกัน สำหรับ  id เราสามารถรันตัวเลขเริ่มจาก 1 ได้ ส่วนชื่อ target ที่นิยมกันจะตั้งชื่อในรูปแบบ iqn (iSCSI Qualified Name)

รูปแบบชื่อแบบ iqn

iqn.yyyy-mm.{reversed domain name}:resource_name

ในบทความนี้ตั้งชื่อเป็น iqn.2001-04.com.example:storage.test.disk-01

ตัวอย่างการสร้าง target ใหม่

[root@fc11-server ~]# tgtadm --lld iscsi --op new --mode target --tid 1 -T iqn.2001-04.com.example:storage.test.disk-01

หลังจากที่สร้างแล้ว สามารถใช้คำสั่ง tgtadm –op show เพื่อตรวจสอบคอนฟิก target ที่ทำงานอยู่ได้

[root@fc11-server ~]# tgtadm --lld iscsi --op show --mode target
Target 1: iqn.2001-04.com.example:storage.test.disk-01
    System information:
        Driver: iscsi
        State: ready
    I_T nexus information:
    LUN information:
        LUN: 0
            Type: controller
            SCSI ID: IET     00010000
            SCSI SN: beaf10
            Size: 0 MB
            Online: Yes
            Removable media: No
            Backing store: No backing store
    Account information:
    ACL information:

เพิ่ม logical unit เข้า target

เมื่อสร้าง target แล้ว จะยังไม่สามารถใช้งานได้ทันที ต้องเพิ่ม logical unit ที่จะทำหน้าที่เป็น storage ของ target นี้ก่อน

เราสามารถใช้ disk partition หรือ LVM logical volume เพื่อทำหน้าที่เป็น logical unit ได้ ในที่นี้จะใช้ disk partition /dev/sdb1

คำเตือน!!! ข้อมูลใน disk ที่จะใช้เป็น logical unit จะถูกทำลายทั้งหมด จาก initiator

ตัวอย่างการเพิ่ม logical unit เข้า target

[root@fc11-server ~]# tgtadm --lld iscsi --op new --mode logicalunit --tid 1 --lun 1 -b /dev/sdb1

ตรวจสอบหลังจากการเพิ่ม logical unit

[root@fc11-server ~]# tgtadm --lld iscsi --op show --mode target
Target 1: iqn.2001-04.com.example:storage.test.disk-01
    System information:
        Driver: iscsi
        State: ready
    I_T nexus information:
    LUN information:
        LUN: 0
            Type: controller
            SCSI ID: IET     00010000
            SCSI SN: beaf10
            Size: 0 MB
            Online: Yes
            Removable media: No
            Backing store: No backing store
        LUN: 1
            Type: disk
            SCSI ID: IET     00010001
            SCSI SN: beaf11
            Size: 40049 MB
            Online: Yes
            Removable media: No
            Backing store: /dev/sdb1
    Account information:
    ACL information:

คอนฟิก bind target

สุดท้ายต้องระบุการ bind เพื่อเป็นการอนุญาตให้เครื่อง client หรือ initiator สามารถเข้ามาใช้ (access) target ได้

เบื้องต้น เราจะอนุญาตทั้งหมดให้เข้ามาใช้ได้ ด้วยการระบบออปชั่น “-I ALL”

[root@fc11-server ~]# tgtadm --lld iscsi --op bind --mode target --tid 1 -I ALL

ตรวจสอบหลังจากคอนฟิก

[root@fc11-server ~]# tgtadm --lld iscsi --op show --mode target
Target 1: iqn.2001-04.com.example:storage.test.disk-01
    System information:
        Driver: iscsi
        State: ready
    I_T nexus information:
    LUN information:
        LUN: 0
            Type: controller
            SCSI ID: IET     00010000
            SCSI SN: beaf10
            Size: 0 MB
            Online: Yes
            Removable media: No
            Backing store: No backing store
        LUN: 1
            Type: disk
            SCSI ID: IET     00010001
            SCSI SN: beaf11
            Size: 40049 MB
            Online: Yes
            Removable media: No
            Backing store: /dev/sdb1
    Account information:
    ACL information:
        ALL

ทดสอบจาก iSCSI initiator

ทดสอบรันคำสั่ง iscsiadm -m discovery จากเครื่องอื่น เพื่อทดสอบการค้นหา target ที่เพิ่งสร้างขึ้น  สมมติว่าเคื่อง server ที่ทำหน้าที่ target มี ip address เป็น 192.168.1.1

[root@fc11-client ~]# iscsiadm -m discovery -t sendtargets -p 192.168.1.1
192.168.1.1:3260,1 iqn.2001-04.com.example:storage.test.disk-01

ข้อมูลอ้างอิง

• คอนฟิก iSCSI initiator บน Linux

iSCSI ทำงานในรูปแบบ Server-Client โดย ฝั่ง Client หรือเรียกว่า Initiator ทำหน้าที่ส่ง SCSI command ไปยัง storage ของ Server ปลายทาง ที่เรียกว่า Target

บทความนี้กล่าวถึงวิธีการติดตั้งโปรแกรมและคอนฟิก iSCSI ฝั่ง Client เพื่อให้สามารถเรียกใช้ดิสก์ (target) จาก server ได้ โดยฝั่ง server อาจเป็น Storage Array หรือ Server ที่ถูกคอนฟิกเพื่อทำหน้าที่เป็น target ได้

ตัวอย่างในบทความนี้ ถือว่าฝั่ง server คอนฟิกสร้าง volume ชื่อ “vol-01″ และอนุญาตให้เครื่องที่เราจะคอนฟิกสามารถใช้งานได้ (access)

ติดตั้งไฟล์ rpm

ตัวอย่างการติดตั้งไฟล์ rpm สำหรับ Fedora 11

[root@fc11-64a ~]# rpm -i iscsi-initiator-utils-6.2.0.870-8.fc11.x86_64.rpm

ค้นหา target

เริ่มต้น ต้องค้นหาชื่อ target ปลายทางจาก IP ที่ระบุ โดยใช้คำสั่ง iscsiadm โหมด discovery

[root@fc11-64a ~]# iscsiadm -m discovery -t sendtargets -p 192.168.1.1:3260
Starting iscsid:                                           [  OK  ]
192.168.1.1:3260,1 iqn.2000-10.com.example:0-999999-b8f877804-bfd0000000c13f3e-vss-control
192.168.1.1:3260,1 iqn.2000-10.com.example:0-999999-141376505-58c000000654afe7-vol-01

หากเป็นการเรียกใช้คำสั่ง iscsiadm ครั้งแรก เซอร์วิส iscsid จะถูกรันขึ้นมาโดยอัตโนมัติ

ตัวอย่างข้อความที่เกิดขึ้นในไฟล์ /var/log/messages ซึ่งไฟล์นี้จะมีประโยชน์มากในการตรวจสอบ และแก้ไขปัญหาที่อาจเกิดขึ้น

[root@fc11-64a ~]# tail -f /var/log/messages
...
Nov 14 16:24:31 fc11-64a kernel: Loading iSCSI transport class v2.0-870.
Nov 14 16:24:31 fc11-64a kernel: iscsi: registered transport (tcp)
Nov 14 16:24:31 fc11-64a kernel: iscsi: registered transport (iser)
Nov 14 16:24:31 fc11-64a iscsid: iSCSI logger with pid=6014 started!
Nov 14 16:24:32 fc11-64a iscsid: transport class version 2.0-870. iscsid version 2.0-870
Nov 14 16:24:32 fc11-64a iscsid: iSCSI daemon with pid=6016 started!

login เข้า target ที่ต้องการ

เมื่อเราทราบชื่อ target ที่ต้องการใช้แล้ว สามารถใช้คำสั่ง iscsiadm โหมด node ระบุออปชั่น ‘-l’ เพื่อ login เข้าสู่ target ได้

[root@fc11-64a ~]# iscsiadm -m node -p 192.168.1.1 -T iqn.2000-10.com.example:0-999999-141376505-58c000000654afe7-vol-01 -l
Logging in to [iface: default, target: iqn.2000-10.com.example:0-999999-141376505-58c000000654afe7-vol-01, portal: 192.168.1.1,3260]
Login to [iface: default, target: iqn.2000-10.com.example:0-999999-141376505-58c000000654afe7-vol-01, portal: 192.168.1.1,3260]: successful

ตัวอย่างข้อความที่เกิดขึ้นในไฟล์ /var/log/messages

[root@fc11-64a ~]# tail -f /var/log/messages
...
Nov 14 16:28:20 fc11-64a kernel: scsi6 : iSCSI Initiator over TCP/IP
Nov 14 16:28:30 fc11-64a kernel: scsi 6:0:0:0: Direct-Access     EXAMPLE  100E-00         x.x  PQ: 0 ANSI: 5
Nov 14 16:28:30 fc11-64a kernel: sd 6:0:0:0: [sdb] 209725440 512-byte hardware sectors: (107 GB/100 GiB)
Nov 14 16:28:30 fc11-64a kernel: sd 6:0:0:0: [sdb] Write Protect is off
Nov 14 16:28:30 fc11-64a kernel: sd 6:0:0:0: [sdb] Write cache: disabled, read cache: enabled, doesn't support DPO or FUA
Nov 14 16:28:30 fc11-64a kernel: sd 6:0:0:0: [sdb] 209725440 512-byte hardware sectors: (107 GB/100 GiB)
Nov 14 16:28:30 fc11-64a kernel: sd 6:0:0:0: [sdb] Write Protect is off
Nov 14 16:28:30 fc11-64a kernel: sd 6:0:0:0: [sdb] Write cache: disabled, read cache: enabled, doesn't support DPO or FUA
Nov 14 16:28:30 fc11-64a kernel: sdb: unknown partition table
Nov 14 16:28:30 fc11-64a kernel: sd 6:0:0:0: [sdb] Attached SCSI disk
Nov 14 16:28:30 fc11-64a kernel: sd 6:0:0:0: Attached scsi generic sg2 type 0
Nov 14 16:28:30 fc11-64a iscsid: connection1:0 is operational now

จากไฟล์ /var/log/messages เมื่อ login เข้า target สำเร็จ volume จะถูก map เป็นดิสก์ (sdb) ให้เราสามารถเรียกใช้ได้

ใช้คำสั่ง fdisk ตรวจสอบ

[root@fc11-64a ~]# fdisk -l /dev/sdb

Disk /dev/sdb: 107.3 GB, 107379425280 bytes
255 heads, 63 sectors/track, 13054 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x00000000

Disk /dev/sdb doesn't contain a valid partition table

เราสามารถสร้าง partition แล้วสร้าง filesystem ตามที่ต้องการได้เหมือนดิสก์ทั่วๆ ไป

ใช้คำสั่ง fdisk เพื่อสร้าง partition

[root@fc11-64a ~]# fdisk /dev/sdb
Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel
Building a new DOS disklabel with disk identifier 0x52c1bb70.
Changes will remain in memory only, until you decide to write them.
After that, of course, the previous content won't be recoverable.

The number of cylinders for this disk is set to 13054.
There is nothing wrong with that, but this is larger than 1024,
and could in certain setups cause problems with:
1) software that runs at boot time (e.g., old versions of LILO)
2) booting and partitioning software from other OSs
   (e.g., DOS FDISK, OS/2 FDISK)
Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)

Command (m for help): n
Command action
   e   extended
   p   primary partition (1-4)
p
Partition number (1-4): 1
First cylinder (1-13054, default 1):
Using default value 1
Last cylinder, +cylinders or +size{K,M,G} (1-13054, default 13054):
Using default value 13054

Command (m for help): p

Disk /dev/sdb: 107.3 GB, 107379425280 bytes
255 heads, 63 sectors/track, 13054 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x52c1bb70

   Device Boot      Start         End      Blocks   Id  System
/dev/sdb1               1       13054   104856223+  83  Linux

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.

ใช้คำสั่ง mkfs.xfs เพื่อสร้าง filesystem แบบ xfs บน partition ที่ถูกสร้างขึ้น

[root@fc11-64a ~]# mkfs.xfs /dev/sdb1
meta-data=/dev/sdb1              isize=256    agcount=4, agsize=6553514 blks
         =                       sectsz=512   attr=2
data     =                       bsize=4096   blocks=26214055, imaxpct=25
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0
log      =internal log           bsize=4096   blocks=12799, version=2
         =                       sectsz=512   sunit=0 blks, lazy-count=0
realtime =none                   extsz=4096   blocks=0, rtextents=0

ใช้คำสั่ง mount เพื่อ mount filesystem

[root@fc11-64a ~]# mount /dev/sdb1 /mnt/vol-01/
[root@fc11-64a ~]# cd /mnt/vol-01/
[root@fc11-64a vol-01]# df -h .
Filesystem            Size  Used Avail Use% Mounted on
/dev/sdb1             100G  4.2M  100G   1% /mnt/vol-01

เลิกใช้งาน disk

เมื่อจะเลิกใช้งาน ต้อง umount ก่อน

[root@fc11-64a ~]# umount /mnt/vol-01
[root@fc11-64a ~]#

ใช้คำสั่ง iscsiadm โหมด node ระบุออปชั่น ‘-u’ เพื่อจะ logout ออกจาก target

[root@fc11-64a ~]# iscsiadm -m node -p 192.168.1.1 -T iqn.2000-10.com.example:0-999999-141376505-58c000000654afe7-vol-01 -u
Logging out of session [sid: 1, target: iqn.2000-10.com.example:0-999999-141376505-58c000000654afe7-vol-01, portal: 192.168.1.1,3260]
Logout of [sid: 1, target: iqn.2000-10.com.example:0-999999-141376505-58c000000654afe7-vol-01, portal: 192.168.1.1,3260]: successful

หลังจาก logout แล้ว ตรวจสอบด้วยคำสั่ง fdisk จะไม่เห็นดิสก์ที่ map ไว้

[root@fc11-64a ~]# fdisk -l /dev/sdb
[root@fc11-64a ~]#

ข้อมูลอ้างอิง

• คอนฟิก iSCSI target บน Linux
• iSCSI – Wikipedia
• man iscsiadm (8)