SpaLinux.com » Programming http://spalinux.com Resources for Relaxing Linux System Administrators Sat, 21 Jan 2012 16:07:59 +0000 en hourly 1 http://wordpress.org/?v=3.3 เขียนโปรแกรมโหลดเว็บเพจด้วย PHP cURL http://spalinux.com/2011/12/program-php-curl-to-load-web-page http://spalinux.com/2011/12/program-php-curl-to-load-web-page#comments Thu, 22 Dec 2011 16:11:06 +0000 editor http://spalinux.com/?p=1574 จากที่ได้นำเสนอ วิธีการใช้ cURL เพื่อโหลดเว็บเพจ ซึ่งเป็นการรันคำสั่งแบบ command line มาแล้ว

คราวนี้จะเป็นการเขียนโปรแกรม PHP โดยเรียกใช้ฟังก์ชั่นในโมดูล curl เพื่อโหลดเว็บเพจ

ตรวจสอบโมดูล php curl

ก่อนที่เราจะเรียกใช้ฟังก์ชั่นจากโมดูล curl เพื่อเขียนโปรแกรมใน PHP ได้นั้น จำเป็นต้องมีโมดูล curl ติดตั้งอยู่แล้ว ซึ่งสามารถตรวจสอบได้ด้วยการรันคำสั่ง php ตามด้วยออปชั่น ‘-m’ ดูผลลัพธ์ที่ได้

ตัวอย่างการรันคำสั่ง php ด้วยออปชั่น ‘-m’ เพื่อดูว่ามีโมดูล curl หรือไม่

[user1@dev ~]$ php -m | grep curl
curl

ถ้าไม่มี ต้องติดตั้งเพิ่มเติม ซึ่งอาจจะด้วยการใช้ rpm หรือ yum ก็ได้

เริ่มใช้ฟังก์ชั่น curl

เริ่มต้นด้วยตัวอย่างการเขียนโปรแกรมโดยใช้ฟังก์ชั่น curl แบบง่ายสุด เพื่อโหลดเว็บเพจ มีสามขั้นตอนคือ

  • curl_init ระบุเว็บไซต์ที่ต้องการโหลด
  • curl_exec โหลดหน้าเว็บและแสดงผลลัพธ์
  • curl_close สิ้นสุดการใช้ curl

เช่นต้องการโหลดเว็บ www.php.net

[user1@dev ~]$ cat curl.php
<?php

// Create a curl handle
$ch = curl_init('http://www.php.net');

// Execute
$ret = curl_exec($ch);

// Close handle
curl_close($ch);

?>

ทดลองรันโปรแกรมที่เขียน

[user1@dev ~]$ php curl.php
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN"
                      "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="en" lang="en">
<head>
 <title>PHP: Hypertext Preprocessor</title>
 <style type="text/css" media="all">
  @import url("http://static.php.net/www.php.net/styles/site.css");
  @import url("http://static.php.net/www.php.net/styles/phpnet.css");

 </style>
...

สังเกตว่าผลลัพธ์การโหลด หรือไฟล์เว็บเพจจะแสดงผลออกหน้าจอเลย เมื่อใช้ฟังก์ชั่น curl_exec() ไม่ได้เก็บไว้ในตัวแปร $ret

หากต้องการเก็บผลลัพธ์ที่ได้ไว้ในตัวแปรก่อน เพื่อนำไปประมวลผล ต้องใช้ฟังก์ชั่น curl_setopt เพื่อตั้งค่า CURLOPT_RETURNTRANSFER ให้เป็น true

<?php

// Create a curl handle
$ch = curl_init('http://www.php.net');

// Set curl options
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);

// Execute
$ret = curl_exec($ch);

// Return
print 'return = ' . $ret . "\n";

// Close handle
curl_close($ch);

?>

ลองรันโปรแกรมหลังจากแก้ไขแล้ว

[user1@dev ~]$ php curl.php
return = <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN"
                      "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="en" lang="en">
<head>
 <title>PHP: Hypertext Preprocessor</title>
 <style type="text/css" media="all">
  @import url("http://static.php.net/www.php.net/styles/site.css");
  @import url("http://static.php.net/www.php.net/styles/phpnet.css");

 </style>
...

 

ดูรายละเอียดการโหลดเว็บเพจ

หากต้องการดูข้อมูลรายละเอียดของการโหลดเว็บเพจ สามารถใช้ฟังก์ชั่น curl_getinfo() ได้

<?php

// Create a curl handle
$ch = curl_init('http://www.php.net');

// Set curl options
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);

// Execute
$ret = curl_exec($ch);

// Get information about the last transfer
$get_info = curl_getinfo($ch);

print_r($get_info);

// Close handle
curl_close($ch);

?>

ผลการรันโปรแกรม จะแสดงค่าเกี่ยวกับการโหลดเว็บเพจทั้งหมด

[user1@dev ~]$ php curl.php
Array
(
    [url] => http://www.php.net
    [content_type] => text/html;charset=utf-8
    [http_code] => 200
    [header_size] => 382
    [request_size] => 50
    [filetime] => -1
    [ssl_verify_result] => 0
    [redirect_count] => 0
    [total_time] => 1.523659
    [namelookup_time] => 0.006906
    [connect_time] => 0.249598
    [pretransfer_time] => 0.249602
    [size_upload] => 0
    [size_download] => 45325
    [speed_download] => 29747
    [speed_upload] => 0
    [download_content_length] => -1
    [upload_content_length] => 0
    [starttransfer_time] => 0.551071
    [redirect_time] => 0
    [certinfo] => Array
        (
        )

)

 

แต่ถ้าต้องการแสดงเฉพาะบางค่า เช่นขนาดไฟล์เว็บเพจที่โหลด ต้องระบุ CURLINFO_SIZE_DOWNLOAD ไว้ในฟังก์ชั่น curl_getinfo() ด้วย

<?php

// Create a curl handle
$ch = curl_init('http://www.php.net');

// Set curl options
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);

// Execute
$ret = curl_exec($ch);

// Get information about the last transfer
$get_info_size_download = curl_getinfo($ch, CURLINFO_SIZE_DOWNLOAD);

print 'SIZE_DOWNLOAD = ' . $get_info_size_download . "\n";

// Close handle
curl_close($ch);

?>

ผลการรันโปรแกรม

[user1@dev ~]$ php curl.php
SIZE_DOWNLOAD = 45325

 

ข้อมูลอ้างอิง

]]> http://spalinux.com/2011/12/program-php-curl-to-load-web-page/feed 0 วิธีการใช้ cURL เพื่อโหลดเว็บเพจ http://spalinux.com/2011/12/using-curl-to-load-web-page http://spalinux.com/2011/12/using-curl-to-load-web-page#comments Fri, 16 Dec 2011 16:19:34 +0000 editor http://spalinux.com/?p=1565 จากที่เคยแนะนำ วิธีการใช้คำสั่ง wget รันเป็นคำสั่งบน comand line เพื่อโหลดเว็บเพจได้ มาครั้งนี้ ขอแนะนำอีกคำสั่งคือ cURL โปรแกรมทำหน้าที่คล้ายกันแต่มีคุณสมบัติมากกว่า แถม curl ยังมี library (libcurl) ที่ภาษาต่างๆ เช่น PHP นำไปพัฒนาสร้างเป็นฟังก์ชั่นให้เรียกใช้ในการเขียนโปรแกรมได้


เริ่มต้นการใช้ด้วยการรันคำสั่ง curl ตามด้วย URL ของเว็บไซต์ เช่นต้องการโหลดเว็บหน้าแรกของ www.apple.com

[user1@dev ~]$ curl http://www.apple.com
 <!DOCTYPE html>
 <html xmlns="http://www.w3.org/1999/xhtml" xml:lang="en-US" lang="en-US">
 <head>
 <meta http-equiv="content-type" content="text/html; charset=utf-8" />
 <meta name="Author" content="Apple Inc." />
 <meta name="viewport" content="width=1024" />
 <meta http-equiv="X-UA-Compatible" content="IE=EmulateIE7, IE=9" />
 <link id="globalheader-stylesheet" rel="stylesheet" href="http://images.apple.com/global/nav/styles/navigation.css" type="text/css" />
 <title>Apple</title>
 ...

ดีฟอลต์ผลลัพธ์ที่ได้จะแสดงผลออกทางหน้าจอ (stdout)

ออปชั่น -o (output)

ระบุออปชั่น “-o’ ถ้าต้องการบันทึกผลลัพธ์เป็นไฟล์

[user1@dev dev]$ curl -o apple-index.html http://www.apple.com
 % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
 Dload  Upload   Total   Spent    Left  Speed
 100  9346  100  9346    0     0  31031      0 --:--:-- --:--:-- --:--:-- 59151

ไฟล์ผลลัพธ์ที่ได้

[user1@dev dev]$ ls -l
 total 12
 -rw-r--r--. 1 user1 users 9346 Dec 16 22:56 apple-index.html

[user1@dev dev]$ head apple-index.html
 <!DOCTYPE html>
 <html xmlns="http://www.w3.org/1999/xhtml" xml:lang="en-US" lang="en-US">
 <head>
 <meta http-equiv="content-type" content="text/html; charset=utf-8" />
 <meta name="Author" content="Apple Inc." />
 <meta name="viewport" content="width=1024" />
 <meta http-equiv="X-UA-Compatible" content="IE=EmulateIE7, IE=9" />
 <link id="globalheader-stylesheet" rel="stylesheet" href="http://images.apple.com/global/nav/styles/navigation.css" type="text/css" />
<title>Apple</title>

ออปชั่น -v (verbose)

หากต้องการดูรายละเอียด ขั้นตอนการโหลดเว็บเพจ สามารถทำได้โดยการระบุออปชั่น “-v”

[user1@dev dev]$ curl -v http://www.apple.com
 * About to connect() to www.apple.com port 80 (#0)
 *   Trying 118.214.125.15... connected
 * Connected to www.apple.com (118.214.125.15) port 80 (#0)
 > GET / HTTP/1.1
 > User-Agent: curl/7.21.7 (x86_64-redhat-linux-gnu) libcurl/7.21.7 NSS/3.12.10.0 zlib/1.2.5 libidn/1.22 libssh2/1.2.7
 > Host: www.apple.com
 > Accept: */*
 >
 < HTTP/1.1 200 OK
 < Content-Type: text/html; charset=UTF-8
 < Server: Apache/2.2.3 (Oracle)
 < Cache-Control: max-age=531
 < Expires: Fri, 16 Dec 2011 16:06:55 GMT
 < Date: Fri, 16 Dec 2011 15:58:04 GMT
 < Content-Length: 9346
 < Connection: keep-alive
 <
 <!DOCTYPE html>
 <html xmlns="http://www.w3.org/1999/xhtml" xml:lang="en-US" lang="en-US">
 <head>
 <meta http-equiv="content-type" content="text/html; charset=utf-8" />
 <meta name="Author" content="Apple Inc." />
 <meta name="viewport" content="width=1024" />
 <meta http-equiv="X-UA-Compatible" content="IE=EmulateIE7, IE=9" />
 <link id="globalheader-stylesheet" rel="stylesheet" href="http://images.apple.com/global/nav/styles/navigation.css" type="text/css" />
<title>Apple</title>
 ...

ออปชั่น -h (help)

ระบุออปชั่น “-h” เพื่อดูออปชั่นอื่นๆ พร้อมคำอธิบายคร่าวๆ

[user1@dev ~]$ curl  --help
Usage: curl [options...] <url>
Options: (H) means HTTP/HTTPS only, (F) means FTP only
     --anyauth       Pick "any" authentication method (H)
 -a, --append        Append to target file when uploading (F/SFTP)
     --basic         Use HTTP Basic Authentication (H)
     --cacert FILE   CA certificate to verify peer against (SSL)
     --capath DIR    CA directory to verify peer against (SSL)
 -E, --cert CERT[:PASSWD] Client certificate file and password (SSL)
     --cert-type TYPE Certificate file type (DER/PEM/ENG) (SSL)
...

ข้อมูลอ้างอิง

]]> http://spalinux.com/2011/12/using-curl-to-load-web-page/feed 0 ตัดบางส่วนจากข้อความภาษาไทยด้วย PHP Multibyte String http://spalinux.com/2011/11/get-part-from-thai-sentence-using-php-multibyte-string http://spalinux.com/2011/11/get-part-from-thai-sentence-using-php-multibyte-string#comments Tue, 22 Nov 2011 14:02:09 +0000 editor http://spalinux.com/?p=1503 โปรแกรมประเภทเว็บบอร์ดหรือเว็บ Social ที่ต้องการตัดบางส่วนจากข้อความหรือบทความที่ยาว เพื่อเป็นตัวอย่าง แสดงในหน้าแรก หรือการ Share หัวข้อบทความเป็นตัวอย่าง จากเว็บไซต์อื่นๆ

หากเป็นภาษาอังกฤษ สามารถทำได้อย่างง่าย แต่ปัญหาคือเวลาตัดคำภาษาไทย มักจะไม่ได้ตามที่ต้องการ และอาจมีอักษรประหลาดแสดงขึ้นมาด้วย

ในบทความนี้จะแสดงการใช้ฟังก์ชั่น PHP Multibyte String เพื่อตัดบางส่วนของข้อความได้ตามต้องการได้

หมายเหตุ เครื่องที่ใช้ทดสอบ ตั้งค่าภาษาในรูปแบบ UTF-8

$ echo $LANG
en_US.UTF-8

ถ้าเป็นภาษาอังกฤษ สามารถเขียนโปรแกรม PHP โดยใช้ฟังก์ชั่น substr เช่นต้องการข้อความโดยตัดตั้งแต่อักษรตัวแรก (0) ยาวไปจำนวน 7 ตัว

<?php
$en_msg = 'This is an example';
print substr($en_msg, 0, 7) . "\n";
?>

รันโปรแกรม ก็จะได้ข้อความตามที่ต้องการ

$ php test-substr.php
This is

แต่ถ้าเป็นข้อความภาษาไทย ข้อความที่ตัดได้จะไม่ใช่ เช่น ต้องการตั้งแต่อักษรตัวแรก (0) ยาวไปจำนวน 15 ตัวอักษร<

<?php
$th_msg = 'ตัวอย่างข้อความภาษาไทยที่ใช้ทดสอบ';
print substr($th_msg, 0, 15) . "\n";
?>

ทดลองรันจะได้ตามตัวอย่าง

$ php test-substr.php
ตัวอย

เนื่องมาจากฟังก์ชั่น substr ไม่สามารถจัดการตัวอักษร UTF-8 ได้อย่างถูกต้อง จำเป็นต้องเปลี่ยนไปใช้ฟังก์ชั่น Multibyte String substr (mb_substr)

รูปแบบการใช้ฟังก์ชั่น mb_substr จะเหมือนกับ substr เพียงแต่ต้องระบุรูปแบบของภาษาด้วย<

<?php
$th_msg = 'ตัวอย่างข้อความภาษาไทยที่ใช้ทดสอบ';
print mb_substr($th_msg, 0, 15, 'UTF-8');
?>

ทดลองรันโปรแกรม

$ php test-substr.php
PHP Fatal error:  Call to undefined function mb_substr() in /home/user1/mbstring/test-substr.php on line 3
หากขึ้น error แบบนี้ แสดงว่าไม่ได้ติดตั้งโมดูล Multibyte String ใน PHP

ต้องคอมไพล์ PHP ใหม่ หรือติดตั้งไฟล์ rpm ชื่อ php-mbstring เพิ่มเติม

สามารถรัน php ตามด้วยออปชั่น ‘-m’ เพื่อดูว่ามีโมดูล mbstring แล้วหรือไม่

หากติดตั้งเพิ่มเติมเรียบร้อยแล้ว

$ php -m | grep mbstring
mbstring

ทดลองรันอีกครั้ง ก็จะขึ้นจำนวนตัวอักษรถูกต้อง

$ php test-substr.php
ตัวอย่างข้อความ

ข้อมูลอ้างอิง

]]> http://spalinux.com/2011/11/get-part-from-thai-sentence-using-php-multibyte-string/feed 0 เขียนโปรแกรมด้วย PHP DOM เพื่อดึงข้อมูลจากไฟล์ HTML http://spalinux.com/2011/11/programming-using-php-dom-to-parse-html-file http://spalinux.com/2011/11/programming-using-php-dom-to-parse-html-file#comments Sat, 12 Nov 2011 17:02:54 +0000 editor http://spalinux.com/?p=1493 ได้รับข้อมูลในรูปแบบไฟล์ HTML เพื่อให้ดึงค่าจากบางฟิลด์ (field) ออกมา ใช้ในการทำรายงาน

ในตอนแรกลองเขียนโปรแกรม PHP ขึ้นมาเอง โดยใช้ Regular Expression ทำไปซักพัก เริ่มยากขึ้น เหตุเพราะรูปแบบอันหลากหลายของไฟล์ HTML ไม่ว่าจะเป็นตัวอักษรพิมพ์ใหญ่เล็ก การเรียงลำดับ tag การเว้นวรรค

พบวิธีการดึงข้อมูลโดยใช้ PHP DOM ง่ายขึ้นเยอะ เลยนำมาแชร์เล่าสู่กันฟัง

ตัวอย่างไฟล์ test.html เพื่อจะดึงข้อมูล

$ cat test.html

<html>
<head>
<title>My Page</title>
</head>
<body>
<table>
 <tr>
  <td id="head_id">Id</td>
  <td id="head_name">Name</td>
 </tr>
 <tr>
  <td id="data_id1"><a href="view.php?id=1">1</a></td>
  <td id="data_name1">Alice</td>
 </tr>
 <tr>
  <td id="data_id2"><a href="view.php?id=2">2</a></td>
  <td id="data_name2">Bob</td>
 </tr>
 <tr>
  <td id="data_id3"><a href="view.php?id=3">3</a></td>
  <td id="data_name3">Carl</td>
 </tr>
</table>
</body>
</html>

เริ่มต้นโหลดไฟล์ html ด้วย php dom

เขียนไฟล์ php เริ่มต้นโหลดไฟล์ html

<?php
$html = new DOMDocument();
$html->loadHTMLFile('test.html');
var_dump($html);
?>

คำอธิบาย

  • สร้าง object จาก class ชื่อ DOMDocument ตั้งไว้เป็นตัวแปรชื่อ $html
  • เรียก method ชื่อ loadHTMLFile เพื่อโหลดไฟล์ HTML ที่ต้องการดึงข้อมูล (parse)

ทดลองรันโปรแกรม

$ php parse-dom.php
PHP Fatal error:  Class 'DOMDocument' not found in /var/www/html/php/dom/parse-dom.php on line 3
$

รันแล้ว error แบบนี้ เพราะว่าไม่มี php module ที่ชื่อ dom

ต้องติดตั้ง extension ชื่อ libxml เพิ่มเติม ทำได้สองแบบ

หากคอมไพล์ php เอง ต้อง คอมไพล์ใหม่ด้วยการระบุออปชั่น –enable-libxml เพิ่มเติมตอนรัน configure

แต่ถ้าติดตั้ง php จาก rpm บน Fedora, RedHat หรือ CentOS ต้องติดตั้งไฟล์ php-xml เพิ่มเติม

ตัวอย่างติดตั้ง rpm เพิ่มเติม บน CentOS 5.5 (updates)

[root@web updates]# rpm -ivh php53-xml-5.3.3-1.el5.x86_64.rpm
Preparing...                ########################################### [100%]
   1:php53-xml              ########################################### [100%]

รัน php ด้วยออปชั่น -m เพื่อดู  module ที่เพิ่มขึ้นมา

$ php -m
...
dom
wddx
xmlreader
xmlwriter
xsl

ทดลองรันโปรแกรมอีกครั้ง

$ php parse-dom.php
object(DOMDocument)#1 (0) {
}

ดึงข้อมูลตาม html tag ที่ต้องการ

ทำได้โดยง่ายด้วย method ชื่อ getElementsByTagName() ระบุชื่อ tag ที่ต้องการค้นหา

ตัวอย่าง ต้องการดึงข้อมูลที่อยู่ใน tag “td” หรือระหว่าง <td></td>

<?php
$html = new DOMDocument();
$html->loadHTMLFile('test.html');
$tds = $html->getElementsByTagName('td');
foreach ($tds as $td) {
    print $td->nodeValue . "\n";
}
?>

ทดลองรันโปรแกรม จะเห็นผลลัพธ์ที่ได้

$ php parse-dom.php
Id
Name
1
Alice
2
Bob
3
Carl

ดึงข้อมูลตาม id ในไฟล์ html ที่ต้องการ

ทำได้โดยใช้ method ชื่อ getElementById() ระบุ id ที่ต้องการค้นหา

ตัวอย่าง ต้องการดึงข้อมูลที่อยู่ใน tag ที่ระบุด้วย id “data_name2″

<?php
$html = new DOMDocument();
$html->loadHTMLFile('test.html');
$id2 = $html->getElementById('data_name2');
print $id2->nodeValue . "\n";
?>

ทดลองรันโปรแกรม จะเห็นผลลัพธ์ที่ได้

$ php parse-dom.php
Bob

ลองนำไปต่อยอด พัฒนากันต่อครับ

ข้อมูลอ้างอิง

]]> http://spalinux.com/2011/11/programming-using-php-dom-to-parse-html-file/feed 0 ปรับหน้าเว็บเพจให้พอดีหน้าจอ iPhone http://spalinux.com/2011/11/how-to-make-web-page-fit-on-iphone-screen http://spalinux.com/2011/11/how-to-make-web-page-fit-on-iphone-screen#comments Mon, 07 Nov 2011 17:47:56 +0000 editor http://spalinux.com/?p=1475 อยู่ในช่วงปรับเว็บเพจที่พัฒนาใช้งานบน PC ให้สามารถรันบน browser ใน มือถือได้ด้วย เลยต้องปรับแต่งหน้าจอเพื่อให้ผู้ใช้งานได้สะดวก

ในที่นี้ขอแชร์วิธีการเพิ่มขนาดเว็บเพจ เพื่อให้พอดีกับหน้าจอ Safari บน iPhone ด้วยการใช้ “viewport”

ตัวอย่างไฟล์ HTML แบบง่ายๆ สำหรับหน้าจอการ Login

<html>
<head>
<title>Login</title>
</head>
<body>
<div style="padding: 5px; background-color: #cccccc">
<form>
Username:<br>
<input type="text" name="username">
<br>
Password:<br>
<input type="text" name="password"><br>
<br>
<input type="submit" value="login">
</form>
</div>
</body>
</html>

เมื่อเปิดด้วย Safari บน iPhone จะเป็นแบบนี้

จะเห็นว่า ขนาดของฟอร์มมีขนาดเล็กเกินไป ผู้ใช้จำต้องขยายขนาด เพื่อจะกดใช้งาน ทำให้ไม่สะดวก

ได้ไอเดียมาจากหน้า login ของโปรแกรม wordpress โดยต้องเพิ่ม tag meta “viewport” ในไฟล์ HTML เพื่อให้ขนาดของเว็บเพจมีขนาดใหญ่ขึ้น

<html>
<head>
<title>Login</title>
<meta name="viewport" content="width=320; initial-scale=0.9; maximum-scale=1.0; user-scalable=0;" />
</head>
<body>
<div style="padding: 5px; background-color: #cccccc">
<form>
Username:<br>
<input type="text" name="username">
<br>
Password:<br>
<input type="text" name="password"><br>
<br>
<input type="submit" value="login">
</form>
</div>
</body>
</html>

เมื่อเปิดด้วย Safari บน iPhone ขนาดก็จะเพิ่มขึ้นมา


สามารถปรับเปลี่ยนตามที่ต้องการได้ ทดลองดูให้เหมาะกับเว็บเพจของคุณ

<html>
<head>
<title>Login</title>
<meta name="viewport" content="width=100%; initial-scale=1.4; maximum-scale=1.4; user-scalable=0;" /> </head>
<body>
<div style="padding: 5px; background-color: #cccccc">
<form>
Username:<br>
<input type="text" name="username">
<br>
Password:<br>
<input type="text" name="password"><br>
<br>
<input type="submit" value="login">
</form>
</div>
</body>
</html>

]]> http://spalinux.com/2011/11/how-to-make-web-page-fit-on-iphone-screen/feed 0 เลือกออปชัน grep ให้เหมาะ ลดเวลาค้นหาได้มาก http://spalinux.com/2011/06/choose-grep-option-to-minimize-run-time http://spalinux.com/2011/06/choose-grep-option-to-minimize-run-time#comments Fri, 24 Jun 2011 16:23:37 +0000 editor http://spalinux.com/?p=1387 ช่วงนี้รับงาน เพื่อเขียนโปรแกรมดึงข้อมูลจาก text file ทำเป็นรายงานสรุป โดยข้อมูลที่ได้มา มีจำนวนบรรทัดมากมายมหาศาล รวมๆ แล้วเป็น หมื่นล้านบรรทัด

ต้องหากระบวนการที่มีประสิทธิภาพมากที่สุดในการเขียนโปรแกรม และเมื่อได้วิธีการที่ผู้เขียนคิดว่าดีที่สุดแล้ว เลยนำมาเปรียบเทียบแชร์เล่าสู่กันฟัง

ข้อมูลที่อยู่ในไฟล์ แยกเป็นบรรทัด เหมือนกับ CSV ไฟล์ งานแรกที่ต้องทำคือ เขียนโปรแกรมเพื่อดึงข้อมูลเฉพาะบรรทัดที่มีคำที่ต้องการเท่านั้น

หมายเหตุ

  • เพื่อไม่ให้เวลาเพี้ยนไปเนื่องจากการทำ cached file บน Linux  ทุกครั้งก่อนรันคำสั่ง จะรัน cat เพื่อพยายามให้ไฟล์อยู่ใน cached เหมือนกันทุกครั้ง
  • เนื่องจากข้อมูลมีปริมาณมาก การแสดงผลออกหน้าจอจะทำให้เวลาที่ได้เพี้ยนไป ดังนั้น ในการรันทุกคำสั่ง output ที่ได้ จะถูกส่งไปยัง /dev/null
  • ใช้คำสั่ง time เพื่อจับเวลาในการรันคำสั่ง

ตัวอย่างการรันคำสั่ง cat ทุกครั้ง เพื่อพยายามโหลดไฟล์ข้อมูลเข้า cached

[user1@devel tmp]$ time cat test-data.txt > /dev/null
real    0m0.519s
user    0m0.247s
sys     0m0.272s

ใช้คำสั่ง wc -l เพื่อนับจำนวนบรรทัดของไฟล์ ไฟล์ข้อมูลที่ใช้ทดสอบ มีจำนวนบรรทัด 5,825,368 บรรทัด

[user1@devel tmp]$ wc -l cat test-data.txt
5813492

ต้องการดึงข้อมูลจากบรรทัดที่มีคำว่า “jan” หรือมีคำว่า “feb”

grep -E หรือ egrep (extended-regexp)

เราสามารถใช้คำสั่ง grep ตามด้วยออปชั่น -E หรือคำสั่ง egrep เพื่อเลือกเฉพาะบรรทัดที่มีคำที่ต้องการแบบมีเงื่อนไข extended regular expression

[user1@devel tmp]$ time grep -E "(jan|feb)" test-data.txt  > /dev/null
real    0m22.070s
user    0m19.298s
sys     0m3.038s

หรือใช้คำสั่ง egrep ก็ให้ผลเหมือนกัน

[user1@devel tmp]$ time egrep "(jan|feb)" test-data.txt > /dev/null
real    0m21.530s
user    0m19.133s
sys     0m2.831s

ใช้เวลาไปประมาณ 20 กว่าวินาที ก็ได้ผลลัพธ์ที่ต้องการ

แต่เมื่อคิดคำนวนคร่าวๆ   5 ล้านกว่าบรรทัด ใช้เวลา 20 วินาที แล้ว 10,000 ล้านบรรทัดล่ะ นี่ยังไม่รวมกระบวนการอื่นๆ ที่ต้องทำต่อไปอีกนะ –”

grep แยกทีละคำ

เมื่อคิดเรื่องเวลาแล้ว เลยหาวิธีใหม่ คือทดลอง grep แยกทีละคำ

หาเฉพาะที่มีคำว่า “jan” เวลาที่ใช้แค่ 1 วินาทีกว่าๆ

[user1@devel tmp]$ time grep "jan" test-data.txt > /dev/null
real    0m1.472s
user    0m1.522s
sys     0m0.375s

หาเฉพาะที่มีคำว่า “feb” เวลาที่ใช้ไม่ถึงวินาที

[user1@devel tmp]$ time grep "feb" test-data.txt > /dev/null
real    0m0.464s
user    0m0.381s
sys     0m0.108s

รวมๆ แล้ว เร็วกว่ามาก grep แยกทีละคำก็น่าจะดี แต่คงยุ่งยากในการเขียนโปรแกรมพอสมควร ยิ่งถ้ามีคำที่ต้องการค้นหาเพิ่มมาอีก

*** grep -P (perl-regexp) ***

อ่าน man page ของ grep พบอีกออปชั่น  -P เป็นการค้นหาคำแบบใช้เงื่อนไขของ Perl regular expression

[user1@devel tmp]$ time grep -P "(jan|feb)" test-data.txt > /dev/null
real    0m2.063s
user    0m2.143s
sys     0m0.358s

ลดลงเวลาลงเกือบ 10 เท่า เมื่อเปรียบเทียบกับ grep -E แถมไม่ต้องยุ่งยากกับการเขียนโปรแกรมมากนัก

]]> http://spalinux.com/2011/06/choose-grep-option-to-minimize-run-time/feed 0 การใช้งานเบื้องต้น Sun Grid Engine http://spalinux.com/2011/01/how_to_use_sun_grid_engine http://spalinux.com/2011/01/how_to_use_sun_grid_engine#comments Sat, 29 Jan 2011 09:22:25 +0000 editor http://spalinux.com/?p=1245 หลังจากติดตั้ง Sun Grid ทั้งเครื่อง qmaster และ execd host เรียบร้อยแล้ว บทความนี้จะแนะนำวิธีการใช้งานเบื้องต้นของ Sun Grid Engine เพื่อดูสถานะของเครื่อง งานที่รัน และวิธีการส่งงานอย่างง่ายๆ

ตั้งค่าตัวแปร setting.sh

ต้องรัน source ไฟล์ /gridware/sge/MyCell/common/settings.sh เพื่อตั้งค่าตัวแปรของ sge ก่อนที่จะรันคำสั่ง

วิธีการรัน ใช้คำสั่ง source หรือ . เว้นวรรคแล้วตามด้วยชื่อไฟล์ /gridware/sge/MyCell/common/settings.sh

[root@cent55-sge ~]# . /gridware/sge/MyCell/common/settings.sh

ลองรันคำสั่ง set เพื่อดูค่าตัวแปรที่ถูกตั้งค่า เกี่ยวกับ sge

[root@cent55-sge ~]# set | grep -i sge
MANPATH=/gridware/sge/man:/usr/share/man/en:/usr/share/man:/usr/local/share/man
PATH=/gridware/sge/bin/lx24-amd64:/usr/kerberos/sbin:/usr/kerberos/bin:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin
SGE_CELL=MyCell
SGE_CLUSTER_NAME=MyCluster
SGE_ROOT=/gridware/sge

คำสั่ง qconf ดูคอนฟิก

ใช้คำสั่ง qconf ตามด้วยออปชั่น เพื่อดูค่าคอนฟิกต่างๆ ของ sge

รันคำสั่ง qconf -ss เพื่อดูชื่อเครื่องที่มีสิทธิส่งงานหรือใช้คำสั่ง qsub ได้ (show a list of all submit hosts)

[root@cent55-sge ~]# qconf -ss
cent55-node1.spalinux.com
cent55-node2.spalinux.com
cent55-sge.spalinux.com

รันคำสั่ง qconf -sel เพื่อดูชื่อเครื่องที่ทำหน้าที่รันงาน (show a list of all exec servers)

[root@cent55-sge ~]# qconf -sel
cent55-node1.spalinux.com
cent55-node2.spalinux.com

คำสั่ง qstat ดูสถานะ

ใช้คำสั่ง qstat ตามด้วยออปชั่น เพื่อดูสถานะของงาน (job) และ queue ในการรันงาน

รันคำสั่ง qstat -f เพื่อดูสถานะของเครื่อง execd host และงานที่รัน

[root@cent55-sge ~]# qstat -f
queuename                      qtype resv/used/tot. load_avg arch          states
---------------------------------------------------------------------------------
all.q@cent55-node1.spalinux.co BIP   0/0/1          0.00     lx24-amd64
---------------------------------------------------------------------------------
all.q@cent55-node2.spalinux.co BIP   0/0/1          0.34     lx24-amd64

ทดสอบการส่ง job

เริ่มต้นจะทดลองส่ง job แบบง่ายๆ รันไฟล์ simple.sh ที่มาจากการติดตั้งโปรแกรม Sun Grid Engine

ไฟล์ simple เป็น shell script ที่รันคำสั่ง date รอ (sleep) 20 วินาที แล้วรันคำสั่ง date อีกครั้ง

[root@cent55-sge ~]# cat /gridware/sge/examples/jobs/simple.sh
#!/bin/sh
#
#
# (c) 2009 Sun Microsystems, Inc. All rights reserved. Use is subject to license terms.
# This is a simple example of a SGE batch script
# request Bourne shell as shell for job
#$ -S /bin/sh
#
# print date and time
date
# Sleep for 20 seconds
sleep 20
# print date and time again
date

ใช้คำสั่ง qsub ตามด้วยชื่อไฟล์ที่ต้องการรัน

[root@cent55-sge ~]# qsub /gridware/sge/examples/jobs/simple.sh
Your job 206 ("simple.sh") has been submitted

ใช้คำสั่ง qstat -f เพื่อดูสถานะของ job

[root@cent55-sge ~]# qstat -f
queuename                      qtype resv/used/tot. load_avg arch          states
---------------------------------------------------------------------------------
all.q@cent55-node1.spalinux.co BIP   0/0/1          0.00     lx24-amd64
---------------------------------------------------------------------------------
all.q@cent55-node2.spalinux.co BIP   0/0/1          0.09     lx24-amd64
############################################################################
 - PENDING JOBS - PENDING JOBS - PENDING JOBS - PENDING JOBS - PENDING JOBS
############################################################################
    206 0.00000 simple.sh  root         qw    01/29/2011 15:43:06     1

ทดลองพิมพ์คำสั่ง qstat -f ไปเรื่อยๆ ช่วงแรก job 206 จะอยู่ในสถานะ PENDING JOBS คือรอการรัน

ผ่านไปไม่นาน สถานะของ job 206 จะเริ่มรันบนเครื่อง execd host ในตัวอย่างนี้รันบนเครื่อง node1

[root@cent55-sge ~]# qstat -f
queuename                      qtype resv/used/tot. load_avg arch          states
---------------------------------------------------------------------------------
all.q@cent55-node1.spalinux.co BIP   0/1/1          0.00     lx24-amd64
    206 0.55500 simple.sh  root         r     01/29/2011 15:43:15     1
---------------------------------------------------------------------------------
all.q@cent55-node2.spalinux.co BIP   0/0/1          0.09     lx24-amd64

หากล็อกอินเครื่อง node1 แล้วใช้คำสั่ง ps  จะเห็นโปรเซสของ job 206

[root@cent55-node1 ~]# ps -ef
...
sgeadmin  2192  2129  0 15:43 ?        00:00:00 sge_shepherd-206 -bg
root      2193  2192  0 15:43 ?        00:00:00 -sh /gridware/sge/MyCell/spool/cent55-node1/job_scripts/206
root      2218  2193  0 15:43 ?        00:00:00 sleep 20
root      2221  1754  0 15:43 pts/0    00:00:00 ps -ef

ดูไฟล์โปรเซสที่รันบนเครื่อง node1 ซึ่งก็คือไฟล์ simple.sh นั่นเอง

[root@cent55-node1 ~]# cat /gridware/sge/MyCell/spool/cent55-node1/job_scripts/206
#!/bin/sh
#
#
# (c) 2009 Sun Microsystems, Inc. All rights reserved. Use is subject to license terms.
# This is a simple example of a SGE batch script
# request Bourne shell as shell for job
#$ -S /bin/sh
#
# print date and time
date
# Sleep for 20 seconds
sleep 20
# print date and time again
date

หลังจากรันงานเสร็จสิ้น สถานะ job 206 ก็จะหายไปจากคำสั่ง qstat

[root@cent55-sge ~]# qstat -f
queuename                      qtype resv/used/tot. load_avg arch          states
---------------------------------------------------------------------------------
all.q@cent55-node1.spalinux.co BIP   0/0/1          0.00     lx24-amd64
---------------------------------------------------------------------------------
all.q@cent55-node2.spalinux.co BIP   0/0/1          0.09     lx24-amd64

ผลลัพธ์ที่ได้จากการรันไฟล์ simple.sh จะถูกเก็บไว้บนเครื่อง execd host ที่ทำหน้าที่รัน เช่นในที่นี้คือบน node1

ไฟล์ simple.sh.o206 เก็บผลลัพธ์ standard output จากการรัน job 206

[root@cent55-node1 ~]# cat simple.sh.o206
Sat Jan 29 15:43:14 ICT 2011
Sat Jan 29 15:43:34 ICT 2011

ไฟล์ simple.sh.e206 เก็บผลลัพธ์ standard error จากการรัน job

[root@cent55-node1 ~]# cat simple.sh.e206

ในที่นี้ไม่มี error จากการรัน ไฟล์จึงว่างเปล่า

ข้อมูลอ้างอิง

]]> http://spalinux.com/2011/01/how_to_use_sun_grid_engine/feed 0 คอนฟิก Sun Grid Engine execution (execd) host http://spalinux.com/2011/01/configure_sun_grid_engine_execd_host http://spalinux.com/2011/01/configure_sun_grid_engine_execd_host#comments Sat, 29 Jan 2011 07:45:11 +0000 editor http://spalinux.com/?p=1237 เช่นเดียวกับเครื่องที่ทำหน้าที่เป็น qmaster  การเริ่มคอนฟิกเครื่อง execd host ก็ต้อง ติดตั้ง Sun Grid Engine บน CentOS 5.5 ก่อนแล้วค่อยคอนฟิกให้ทำหน้าที่เป็น execd host

หมายเหตุ ตัวอย่างในบทความนี้คอนฟิกบน node1 เครื่องเดียว ส่วนเครื่องอื่นๆ ที่จะทำหน้าที่เป็น execd host ด้วย ก็คอนฟิกแบบเดียวกัน

หลังจากติดตั้ง Sun Grid Engine แล้ว cd ไปยังไดเรคทอรีที่ติดตั้ง sge

[root@cent55-node1 sge6_2u5]# cd /gridware/sge/
[root@cent55-node1 sge]# ls -l
total 136
drwxr-xr-x  2 root root  4096 Jan  8 22:25 3rd_party
drwxr-xr-x  3 root root  4096 Jan  8 22:25 bin
drwxr-xr-x  3 root root  4096 Jan  8 22:25 catman
drwxr-xr-x  2 root root  4096 Jan  8 22:25 ckpt
drwxr-xr-x  5 root root  4096 Jan  8 22:25 doc
drwxr-xr-x  2 root root  4096 Jan  8 22:25 dtrace
drwxr-xr-x  5 root root  4096 Jan  8 22:25 examples
drwxr-xr-x  2 root root  4096 Jan  8 22:25 hadoop
drwxr-xr-x  2 root root  4096 Jan  8 22:25 include
-rwxr-xr-x  1 root root   125 Dec 11  2009 install_execd
-rwxr-xr-x  1 root root   125 Dec 11  2009 install_qmaster
-rwxr-xr-x  1 root root 59960 Dec 11  2009 inst_sge
drwxr-xr-x  3 root root  4096 Jan  8 22:25 lib
drwxr-xr-x  6 root root  4096 Jan  8 22:25 man
drwxr-xr-x  4 root root  4096 Jan  8 22:25 mpi
drwxr-xr-x  3 root root  4096 Jan  8 22:25 pvm
drwxr-xr-x  3 root root  4096 Jan  8 22:25 qmon
-rwxr-xr-x  1 root root  1289 Dec 11  2009 start_gui_installer
drwxr-xr-x 10 root root  4096 Jan  8 22:25 util
drwxr-xr-x  3 root root  4096 Jan  8 22:25 utilbin

ต้อง copy ไดเรคทอรี ของ cell ที่คอนฟิกไว้บนเครื่อง qmaster host

ล็อกอินเข้าเครื่อง sge แล้วรันคำสั่ง tar ใน /gridware/sge/ เพื่อรวมไฟล์ทั้งหมดที่อยู่ในไดเรคทอรีของ cell ในที่นี้เราตั้งชื่อเป็น MyCell

[root@cent55-sge ~]# cd /gridware/sge/
[root@cent55-sge sge]# tar jcvpf MyCell.tar.bz2 MyCell/
MyCell/
MyCell/spool/
MyCell/spool/qmaster/
MyCell/spool/qmaster/heartbeat
MyCell/spool/qmaster/arseqnum
MyCell/spool/qmaster/qmaster.pid
MyCell/spool/qmaster/messages
MyCell/spool/qmaster/job_scripts/
MyCell/spool/qmaster/jobseqnum
MyCell/spool/qmaster/lock
MyCell/spool/spooldb/
MyCell/spool/spooldb/__db.005
MyCell/spool/spooldb/__db.001
MyCell/spool/spooldb/sge_job
MyCell/spool/spooldb/__db.003
MyCell/spool/spooldb/log.0000000001
MyCell/spool/spooldb/__db.004
MyCell/spool/spooldb/__db.002
MyCell/spool/spooldb/sge
MyCell/spool/spooldb/__db.006
MyCell/common/
MyCell/common/settings.csh
MyCell/common/sgeexecd
MyCell/common/act_qmaster
MyCell/common/bootstrap
MyCell/common/sgemaster
MyCell/common/sge_aliases
MyCell/common/sge_request
MyCell/common/cluster_name
MyCell/common/qtask
MyCell/common/settings.sh

copy ไฟล์ ไปยังเครื่อง node1 โดยอาจใช้คำสั่ง scp หรืออื่นๆ ก็ได้

[root@cent55-sge sge]# scp MyCell.tar.bz2 cent55-node1:

กลับมายังเครื่อง node1 รันคำสั่ง tar เพื่อแตกไฟล์ ไว้ใน /gridware/sge/

[root@cent55-node1 sge]# tar jxvf /root/MyCell.tar.bz2
MyCell/
MyCell/spool/
MyCell/spool/qmaster/
MyCell/spool/qmaster/heartbeat
MyCell/spool/qmaster/arseqnum
MyCell/spool/qmaster/qmaster.pid
MyCell/spool/qmaster/messages
MyCell/spool/qmaster/job_scripts/
MyCell/spool/qmaster/jobseqnum
MyCell/spool/qmaster/lock
MyCell/spool/spooldb/
MyCell/spool/spooldb/__db.005
MyCell/spool/spooldb/__db.001
MyCell/spool/spooldb/sge_job
MyCell/spool/spooldb/__db.003
MyCell/spool/spooldb/log.0000000001
MyCell/spool/spooldb/__db.004
MyCell/spool/spooldb/__db.002
MyCell/spool/spooldb/sge
MyCell/spool/spooldb/__db.006
MyCell/common/
MyCell/common/settings.csh
MyCell/common/sgeexecd
MyCell/common/act_qmaster
MyCell/common/bootstrap
MyCell/common/sgemaster
MyCell/common/sge_aliases
MyCell/common/sge_request
MyCell/common/cluster_name
MyCell/common/qtask
MyCell/common/settings.sh

รันคำสั่ง ./install_execd หรือ ./inst_sge -x เพื่อติดตั้ง sge บนเครื่องนี้ให้ทำหน้าที่เป็น qmaster host

หน้าจอแสดงเริ่มต้นการติดตั้งเป็น sge execution host

[root@cent55-node1 sge]# ./inst_sge -x
Welcome to the Grid Engine execution host installation
------------------------------------------------------
If you haven't installed the Grid Engine qmaster host yet, you must execute
this step (with >install_qmaster<) prior the execution host installation.
For a sucessfull installation you need a running Grid Engine qmaster. It is
also neccesary that this host is an administrative host.
You can verify your current list of administrative hosts with
the command:
   # qconf -sh
You can add an administrative host with the command:
   # qconf -ah <hostname>
The execution host installation will take approximately 5 minutes.
Hit <RETURN> to continue >>

ตรวจสอบไดเรคทอรีหลัก

Checking $SGE_ROOT directory
----------------------------
The Grid Engine root directory is:
   $SGE_ROOT = /gridware/sge
If this directory is not correct (e.g. it may contain an automounter
prefix) enter the correct path to this directory or hit <RETURN>
to use default [/gridware/sge] >>
Your $SGE_ROOT directory: /gridware/sge
Hit <RETURN> to continue >>

ระบุชื่อ cell ที่คอนฟิกไว้บน qmaster ในที่นี้คือ MyCell

Grid Engine cells
-----------------
Please enter cell name which you used for the qmaster
installation or press <RETURN> to use [default] >> MyCell
Using cell: >MyCell<
Hit <RETURN> to continue >>

พอร์ตสำหรับรัน sge_execd

Grid Engine TCP/IP communication service
----------------------------------------
The port for sge_execd is currently set as service.
   sge_execd service set to port 10501
Hit <RETURN> to continue >>

หาก node นี้อยู่ใน administrative host บน sge qmaster แล้ว

Checking hostname resolving
---------------------------
This hostname is known at qmaster as an administrative host.
Hit <RETURN> to continue >>

คอนฟิกไดเรคทอรี spool

Execd spool directory configuration
-----------------------------------
You defined a global spool directory when you installed the master host.
You can use that directory for spooling jobs from this execution host
or you can define a different spool directory for this execution host.
ATTENTION: For most operating systems, the spool directory does not have to
be located on a local disk. The spool directory can be located on a
network-accessible drive. However, using a local spool directory provides
better performance.
FOR WINDOWS USERS: On Windows systems, the spool directory MUST be located
on a local disk. If you install an execution daemon on a Windows system
without a local spool directory, the execution host is unusable.
The spool directory is currently set to:
<</gridware/sge/MyCell/spool/cent55-node1>>
Do you want to configure a different spool directory
for this host (y/n) [n] >>
Creating local configuration
----------------------------
sgeadmin@cent55-node1.spalinux.com added "cent55-node1.spalinux.com" to configuration list
Local configuration for host >cent55-node1.spalinux.com< created.
Hit <RETURN> to continue >> 

สร้างไฟล์สำหรับรัน sge execd ตอนบู๊ตเครื่อง

execd startup script
--------------------
We can install the startup script that will
start execd at machine boot (y/n) [y] >>
cp /gridware/sge/MyCell/common/sgeexecd /etc/init.d/sgeexecd.MyCluster
/usr/lib/lsb/install_initd /etc/init.d/sgeexecd.MyCluster
Hit <RETURN> to continue >>
Grid Engine execution daemon startup
------------------------------------
Starting execution daemon. Please wait ...
   starting sge_execd
Hit <RETURN> to continue >>

เพิ่ม queue

 Adding a queue for this host
----------------------------
We can now add a queue instance for this host:
   - it is added to the >allhosts< hostgroup
   - the queue provides 1 slot(s) for jobs in all queues
     referencing the >allhosts< hostgroup
You do not need to add this host now, but before running jobs on this host
it must be added to at least one queue.
Do you want to add a default queue instance for this host (y/n) [y] >>
root@cent55-node1.spalinux.com modified "@allhosts" in host group list
root@cent55-node1.spalinux.com modified "all.q" in cluster queue list
Hit <RETURN> to continue >>

หน้าจอแสดงวิธีการใช้ sge

Using Grid Engine
-----------------
You should now enter the command:
   source /gridware/sge/MyCell/common/settings.csh
if you are a csh/tcsh user or
   # . /gridware/sge/MyCell/common/settings.sh
if you are a sh/ksh user.
This will set or expand the following environment variables:
   - $SGE_ROOT         (always necessary)
   - $SGE_CELL         (if you are using a cell other than >default<)
   - $SGE_CLUSTER_NAME (always necessary)
   - $SGE_QMASTER_PORT (if you haven't added the service >sge_qmaster<)
   - $SGE_EXECD_PORT   (if you haven't added the service >sge_execd<)
   - $PATH/$path       (to find the Grid Engine binaries)
   - $MANPATH          (to access the manual pages)
Hit <RETURN> to see where Grid Engine logs messages >>
Grid Engine messages
--------------------
Grid Engine messages can be found at:
   /tmp/qmaster_messages (during qmaster startup)
   /tmp/execd_messages   (during execution daemon startup)
After startup the daemons log their messages in their spool directories.
   Qmaster:     /gridware/sge/MyCell/spool/qmaster/messages
   Exec daemon: <execd_spool_dir>/<hostname>/messages
Grid Engine startup scripts
---------------------------
Grid Engine startup scripts can be found at:
   /gridware/sge/MyCell/common/sgemaster (qmaster)
   /gridware/sge/MyCell/common/sgeexecd (execd)
Do you want to see previous screen about using Grid Engine again (y/n) [n] >>
Your execution daemon installation is now completed.

ใช้คำสั่ง ps ตรวจสอบโปรเซส sge_execd

[root@cent55-node1 sge]# ps -ef | grep sge
sgeadmin  2346     1  0 22:37 ?        00:00:00 /gridware/sge/bin/lx24-amd64/sge_execd
root      2414  1668  0 22:39 pts/0    00:00:00 grep sge

 
การเปิด/ปิด เซอร์วิส sge_execd

การปิดเซอร์วิส sgeexecd

[root@cent55-node1 sge]# /etc/init.d/sgeexecd.MyCluster stop
   Shutting down Grid Engine execution daemon

การเปิดหรือรันเซอร์วิส sgeexecd

[root@cent55-node1 sge]# /etc/init.d/sgeexecd.MyCluster start
   starting sge_execd

 
ข้อมูลอ้างอิง

]]> http://spalinux.com/2011/01/configure_sun_grid_engine_execd_host/feed 0 คอนฟิก Sun Grid Engine qmaster host http://spalinux.com/2011/01/configure_sun_grid_engine_qmaster_host http://spalinux.com/2011/01/configure_sun_grid_engine_qmaster_host#comments Sat, 15 Jan 2011 16:48:59 +0000 editor http://spalinux.com/?p=1231 หลังจาก ติดตั้ง Sun Grid Engine บน CentOS 5.5 แล้ว บทความนี้จะกล่าวถึงวิธีการคอนฟิก sge ให้ทำหน้าที่เป็น qmaster host สำหรับจัดการเรื่อง job

เริ่มต้น ใช้คำสั่ง cd ไปยังไดเรคทอรีที่ติดตั้ง sge

[root@cent55-sge sge6_2u5]# cd /gridware/sge/
[root@cent55-sge sge]# ls -l
total 136
drwxr-xr-x  2 root root  4096 Jan  8 12:40 3rd_party
drwxr-xr-x  3 root root  4096 Jan  8 12:48 bin
drwxr-xr-x  3 root root  4096 Jan  8 12:40 catman
drwxr-xr-x  2 root root  4096 Jan  8 12:40 ckpt
drwxr-xr-x  5 root root  4096 Jan  8 12:40 doc
drwxr-xr-x  2 root root  4096 Jan  8 12:40 dtrace
drwxr-xr-x  5 root root  4096 Jan  8 12:48 examples
drwxr-xr-x  2 root root  4096 Jan  8 12:40 hadoop
drwxr-xr-x  2 root root  4096 Jan  8 12:40 include
-rwxr-xr-x  1 root root   125 Dec 11  2009 install_execd
-rwxr-xr-x  1 root root   125 Dec 11  2009 install_qmaster
-rwxr-xr-x  1 root root 59960 Dec 11  2009 inst_sge
drwxr-xr-x  3 root root  4096 Jan  8 12:48 lib
drwxr-xr-x  6 root root  4096 Jan  8 12:40 man
drwxr-xr-x  4 root root  4096 Jan  8 12:40 mpi
drwxr-xr-x  3 root root  4096 Jan  8 12:40 pvm
drwxr-xr-x  3 root root  4096 Jan  8 12:40 qmon
-rwxr-xr-x  1 root root  1289 Dec 11  2009 start_gui_installer
drwxr-xr-x 10 root root  4096 Jan  8 12:40 util
drwxr-xr-x  3 root root  4096 Jan  8 12:48 utilbin

รันคำสั่ง ./install_qmaster หรือ ./inst_sge -m เพื่อเริ่มคอนฟิก sge บนเครื่องนี้ ให้ทำหน้าที่เป็น qmaster host

[root@cent55-sge sge]# ./inst_sge -m
Sun Microsystems, Inc. ("Sun") SOFTWARE LICENSE AGREEMENT
READ THE TERMS OF THIS AGREEMENT ("AGREEMENT") CAREFULLY BEFORE OPENING
SOFTWARE MEDIA PACKAGE. BY OPENING SOFTWARE MEDIA PACKAGE, YOU AGREE TO THE
TERMS OF THIS AGREEMENT. IF YOU ARE ACCESSING SOFTWARE ELECTRONICALLY,
INDICATE YOUR ACCEPTANCE OF THESE TERMS BY SELECTING THE "ACCEPT" (OR
EQUIVALENT) BUTTON AT THE END OF THIS AGREEMENT. IF YOU DO NOT AGREE TO ALL
OF THE TERMS, PROMPTLY RETURN THE UNUSED SOFTWARE TO YOUR PLACE OF PURCHASE
FOR A REFUND OR, IF SOFTWARE IS ACCESSED ELECTRONICALLY, SELECT THE
"DECLINE" (OR "EXIT") BUTTON AT THE END OF THIS AGREEMENT. IF YOU HAVE
SEPARATELY AGREED TO LICENSE TERMS ("MASTER TERMS") FOR YOUR LICENSE TO THIS
SOFTWARE, THEN SECTIONS 1-6 OF THIS AGREEMENT ("SUPPLEMENTAL LICENSE TERMS")
SHALL SUPPLEMENT AND SUPERSEDE THE MASTER TERMS IN RELATION TO THIS
SOFTWARE.
...
...
17. Records and Documentation.? During the term of the SLA and Entitlement,
and for a period of three (3) years thereafter, You agree to keep proper
records and documentation of Your compliance with the SLA and Entitlement.
Upon Sun?s reasonable request, You will provide copies of such records and
documentation to Sun for the purpose of confirming Your compliance with the
terms and conditions of the SLA and Entitlement. This section will survive
any termination of the SLA and Entitlement. You may terminate this SLA and
Entitlement at any time by destroying all copies of the Software in which
case the obligations set forth in Section 7 of the SLA shall apply.
หน้าจอแสดง LICENSE AGREEMENT ตอบ "y" เพื่อยอมรับ
Do you agree with that license? (y/n) [n] >> y

หน้าแสดงการเริ่มต้นติดตั้ง

Welcome to the Grid Engine installation
---------------------------------------
Grid Engine qmaster host installation
-------------------------------------
Before you continue with the installation please read these hints:
   - Your terminal window should have a size of at least
     80x24 characters
   - The INTR character is often bound to the key Ctrl-C.
     The term >Ctrl-C< is used during the installation if you
     have the possibility to abort the installation
The qmaster installation procedure will take approximately 5-10 minutes.
Hit <RETURN> to continue >>

เลือก user ที่ไม่ใช่ root สำหรับรัน sge

Grid Engine admin user account
------------------------------
The current directory
   /gridware/sge
is owned by user
   sgeadmin
If user >root< does not have write permissions in this directory on *all*
of the machines where Grid Engine will be installed (NFS partitions not
exported for user >root< with read/write permissions) it is recommended to
install Grid Engine that all spool files will be created under the user id
of user >sgeadmin<.
IMPORTANT NOTE: The daemons still have to be started by user >root<.
Do you want to install Grid Engine as admin user >sgeadmin< (y/n) [y] >>
Installing Grid Engine as admin user >sgeadmin<
Hit <RETURN> to continue >>

ไดเรคทอรีหลักของ sge

Checking $SGE_ROOT directory
----------------------------
The Grid Engine root directory is:
   $SGE_ROOT = /gridware/sge
If this directory is not correct (e.g. it may contain an automounter
prefix) enter the correct path to this directory or hit <RETURN>
to use default [/gridware/sge] >>
Your $SGE_ROOT directory: /gridware/sge
Hit <RETURN> to continue >>

เลือกหมายเลขพอร์ตสำหรับรัน sge_qmaster

Grid Engine TCP/IP communication service
----------------------------------------
The port for sge_qmaster is currently set as service.
   sge_qmaster service set to port 10500
Now you have the possibility to set/change the communication ports by using the
>shell environment< or you may configure it via a network service, configured
in local >/etc/service<, >NIS< or >NIS+<, adding an entry in the form
    sge_qmaster <port_number>/tcp
to your services database and make sure to use an unused port number.
How do you want to configure the Grid Engine communication ports?
Using the >shell environment<:                           [1]
Using a network service like >/etc/service<, >NIS/NIS+<: [2]
(default: 2) >>
Grid Engine TCP/IP service >sge_qmaster<
----------------------------------------
Using the service
   sge_qmaster
for communication with Grid Engine.
Hit <RETURN> to continue >>

 เลือกหมายเลขพอร์ตสำหรับรัน sge_execd

 Grid Engine TCP/IP communication service
----------------------------------------
The port for sge_execd is currently set as service.
   sge_execd service set to port 10501
Now you have the possibility to set/change the communication ports by using the
>shell environment< or you may configure it via a network service, configured
in local >/etc/service<, >NIS< or >NIS+<, adding an entry in the form
    sge_execd <port_number>/tcp
to your services database and make sure to use an unused port number.
How do you want to configure the Grid Engine communication ports?
Using the >shell environment<:                           [1]
Using a network service like >/etc/service<, >NIS/NIS+<: [2]
(default: 2) >>
 
Grid Engine TCP/IP communication service
-----------------------------------------
Using the service
   sge_execd
for communication with Grid Engine.
Hit <RETURN> to continue >>

ตั้งชื่อ cell ในที่นี้จะตั้งเป็น MyCell

หมายเหตุ ชื่อ cell ใช้ในการจัดกลุ่มเพื่อส่งงานระหว่าง qmaster host และ execution host

 Grid Engine cells
-----------------
Grid Engine supports multiple cells.
If you are not planning to run multiple Grid Engine clusters or if you don't
know yet what is a Grid Engine cell it is safe to keep the default cell name
   default
If you want to install multiple cells you can enter a cell name now.
The environment variable
   $SGE_CELL=<your_cell_name>
will be set for all further Grid Engine commands.
Enter cell name [default] >> MyCell
Using cell >MyCell<.
Hit <RETURN> to continue >>

ตั้งชื่อ cluster ในที่นี้ตั้งเป็น MyCluster

Unique cluster name
-------------------
The cluster name uniquely identifies a specific Sun Grid Engine cluster.
The cluster name must be unique throughout your organization. The name
is not related to the SGE cell.
The cluster name must start with a letter ([A-Za-z]), followed by letters,
digits ([0-9]), dashes (-) or underscores (_).
Enter new cluster name or hit <RETURN>
to use default [p10500] >> MyCluster
creating directory: /gridware/sge/MyCell/common
Your $SGE_CLUSTER_NAME: MyCluster
Hit <RETURN> to continue >>

ไดเรคทอรี spool ของ qmaster

 Grid Engine qmaster spool directory
-----------------------------------
The qmaster spool directory is the place where the qmaster daemon stores
the configuration and the state of the queuing system.
The admin user >sgeadmin< must have read/write access
to the qmaster spool directory.
If you will install shadow master hosts or if you want to be able to start
the qmaster daemon on other hosts (see the corresponding section in the
Grid Engine Installation and Administration Manual for details) the account
on the shadow master hosts also needs read/write access to this directory.
Enter a qmaster spool directory [/gridware/sge/MyCell/spool/qmaster] >>
Using qmaster spool directory >/gridware/sge/MyCell/spool/qmaster<.
Hit <RETURN> to continue >>

จะรัน sge บนเครื่อง Windows ด้วยหรือไม่

Windows Execution Host Support
------------------------------
Are you going to install Windows Execution Hosts? (y/n) [n] >>

ตรวจสอบไฟล์ permission

Verifying and setting file permissions
--------------------------------------
Did you install this version with >pkgadd< or did you already verify
and set the file permissions of your distribution (enter: y) (y/n) [y] >>
We do not verify file permissions. Hit <RETURN> to continue >>

คารใช้ DNS domain ชื่อเดียวกัน

Select default Grid Engine hostname resolving method
----------------------------------------------------
Are all hosts of your cluster in one DNS domain? If this is
the case the hostnames
   >hostA< and >hostA.foo.com<
would be treated as equal, because the DNS domain name >foo.com<
is ignored when comparing hostnames.
Are all hosts of your cluster in a single DNS domain (y/n) [y] >>
Ignoring domain name when comparing hostnames.
Hit <RETURN> to continue >>

จะเปิดการใช้ Grid Engine JMX MBean server หรือไม่ ในที่นี้จะตอบ “n” คือไม่ใช้

Grid Engine JMX MBean server
----------------------------
In order to use the SGE Inspect or the Service Domain Manager (SDM)
SGE adapter you need to configure a JMX server in qmaster. Qmaster
will then load a Java Virtual Machine through a shared library.
NOTE: Java 1.5 or later is required for the JMX MBean server.
Do you want to enable the JMX MBean server (y/n) [y] >> n

โปรแกรมจะเริ่มสร้างไฟล์ ไดเรคทอรี ต่างๆ ที่จะใช้

Making directories
------------------
creating directory: /gridware/sge/MyCell/spool/qmaster
creating directory: /gridware/sge/MyCell/spool/qmaster/job_scripts
Hit <RETURN> to continue >>

เลือกวิธีการ spooling

Setup spooling
--------------
Your SGE binaries are compiled to link the spooling libraries
during runtime (dynamically). So you can choose between Berkeley DB
spooling and Classic spooling method.
Please choose a spooling method (berkeleydb|classic) [berkeleydb] >>
The Berkeley DB spooling method provides two configurations!
Local spooling:
The Berkeley DB spools into a local directory on this host (qmaster host)
This setup is faster, but you can't setup a shadow master host
Berkeley DB Spooling Server:
If you want to setup a shadow master host, you need to use
Berkeley DB Spooling Server!
In this case you have to choose a host with a configured RPC service.
The qmaster host connects via RPC to the Berkeley DB. This setup is more
failsafe, but results in a clear potential security hole. RPC communication
(as used by Berkeley DB) can be easily compromised. Please only use this
alternative if your site is secure or if you are not concerned about
security. Check the installation guide for further advice on how to achieve
failsafety without compromising security.
Do you want to use a Berkeley DB Spooling Server? (y/n) [n] >>
Hit <RETURN> to continue >>
Berkeley Database spooling parameters
-------------------------------------
Please enter the database directory now, even if you want to spool locally,
it is necessary to enter this database directory.
Default: [/gridware/sge/MyCell/spool/spooldb] >>
creating directory: /gridware/sge/MyCell/spool/spooldb
Dumping bootstrapping information
Initializing spooling database
Hit <RETURN> to continue >>

ขอบเขตของ group id เพิ่มเติม ที่ sge ใช้

Grid Engine group id range
--------------------------
When jobs are started under the control of Grid Engine an additional group id
is set on platforms which do not support jobs. This is done to provide maximum
control for Grid Engine jobs.
This additional UNIX group id range must be unused group id's in your system.
Each job will be assigned a unique id during the time it is running.
Therefore you need to provide a range of id's which will be assigned
dynamically for jobs.
The range must be big enough to provide enough numbers for the maximum number
of Grid Engine jobs running at a single moment on a single host. E.g. a range
like >20000-20100< means, that Grid Engine will use the group ids from
20000-20100 and provides a range for 100 Grid Engine jobs at the same time
on a single host.
You can change at any time the group id range in your cluster configuration.
Please enter a range [20000-20100] >>
Using >20000-20100< as gid range. Hit <RETURN> to continue >>
Grid Engine cluster configuration
---------------------------------
Please give the basic configuration parameters of your Grid Engine
installation:
   <execd_spool_dir>
The pathname of the spool directory of the execution hosts. User >sgeadmin<
must have the right to create this directory and to write into it.
Default: [/gridware/sge/MyCell/spool] >>

อีเมล์สำหรับการแจ้งปัญหา

Grid Engine cluster configuration (continued)
---------------------------------------------
<administrator_mail>
The email address of the administrator to whom problem reports are sent.
It is recommended to configure this parameter. You may use >none<
if you do not wish to receive administrator mail.
Please enter an email address in the form >user@foo.com<.
Default: [none] >>
 
The following parameters for the cluster configuration were configured:
   execd_spool_dir        /gridware/sge/MyCell/spool
   administrator_mail     none
Do you want to change the configuration parameters (y/n) [n] >>

การสร้างไฟล์คอนฟิก

Creating local configuration
----------------------------
Creating >act_qmaster< file
Adding default complex attributes
Adding default parallel environments (PE)
Adding SGE default usersets
Adding >sge_aliases< path aliases file
Adding >qtask< qtcsh sample default request file
Adding >sge_request< default submit options file
Creating >sgemaster< script
Creating >sgeexecd< script
Creating settings files for >.profile/.cshrc<
Hit <RETURN> to continue >>

สร้าง startup script เวลาบู๊ตเครื่อง

qmaster startup script
----------------------
We can install the startup script that will
start qmaster at machine boot (y/n) [y] >>
cp /gridware/sge/MyCell/common/sgemaster /etc/init.d/sgemaster.MyCluster
/usr/lib/lsb/install_initd /etc/init.d/sgemaster.MyCluster
Hit <RETURN> to continue >>

รันเซอร์วิส sge_qmaster

Grid Engine qmaster startup
---------------------------
Starting qmaster daemon. Please wait ...
   starting sge_qmaster
Hit <RETURN> to continue >>

ระบุชื่อ host สำหรับรันโปรแกรม sge_execd ในที่นี้จะใส่สองเครื่องคือ “cent55-node1″ และ “cent55-node2″

Adding Grid Engine hosts
------------------------
Please now add the list of hosts, where you will later install your execution
daemons. These hosts will be also added as valid submit hosts.
Please enter a blank separated list of your execution hosts. You may
press <RETURN> if the line is getting too long. Once you are finished
simply press <RETURN> without entering a name.
You also may prepare a file with the hostnames of the machines where you plan
to install Grid Engine. This may be convenient if you are installing Grid
Engine on many hosts.
Do you want to use a file which contains the list of hosts (y/n) [n] >>

ใส่ชื่อเครื่อง cent55-node1

Adding admin and submit hosts
-----------------------------
Please enter a blank seperated list of hosts.
Stop by entering <RETURN>. You may repeat this step until you are
entering an empty list. You will see messages from Grid Engine
when the hosts are added.
Host(s): cent55-node1
cent55-node1.spalinux.com added to administrative host list
cent55-node1.spalinux.com added to submit host list

ใส่ชื่อเครื่อง cent55-node2

Adding admin and submit hosts
-----------------------------
Please enter a blank seperated list of hosts.
Stop by entering <RETURN>. You may repeat this step until you are
entering an empty list. You will see messages from Grid Engine
when the hosts are added.
Host(s): cent55-node2
cent55-node2.spalinux.com added to administrative host list
cent55-node2.spalinux.com added to submit host list
Hit <RETURN> to continue >>

เมื่อใส่ชื่อเครื่องหมดแล้ว กด [enter] ผ่าน

Adding admin and submit hosts
-----------------------------
Please enter a blank seperated list of hosts.
Stop by entering <RETURN>. You may repeat this step until you are
entering an empty list. You will see messages from Grid Engine
when the hosts are added.
Host(s):
Finished adding hosts. Hit <RETURN> to continue >>

ระบุชื่อเครื่องเพิ่มเติมสำหรับ shadow host ในที่นี้ไม่ได้ใช้

If you want to use a shadow host, it is recommended to add this host
to the list of administrative hosts.
If you are not sure, it is also possible to add or remove hosts after the
installation with <qconf -ah hostname> for adding and <qconf -dh hostname>
for removing this host
Attention: This is not the shadow host installation
procedure.
You still have to install the shadow host separately
Do you want to add your shadow host(s) now? (y/n) [y] >>
Adding Grid Engine shadow hosts
-------------------------------
Please now add the list of hosts, where you will later install your shadow
daemon.
Please enter a blank separated list of your execution hosts. You may
press <RETURN> if the line is getting too long. Once you are finished
simply press <RETURN> without entering a name.
You also may prepare a file with the hostnames of the machines where you plan
to install Grid Engine. This may be convenient if you are installing Grid
Engine on many hosts.
Do you want to use a file which contains the list of hosts (y/n) [n] >>
Adding admin hosts
------------------
Please enter a blank seperated list of hosts.
Stop by entering <RETURN>. You may repeat this step until you are
entering an empty list. You will see messages from Grid Engine
when the hosts are added.
Host(s):
Finished adding hosts. Hit <RETURN> to continue >>
Creating the default <all.q> queue and <allhosts> hostgroup
-----------------------------------------------------------
root@cent55-sge.spalinux.com added "@allhosts" to host group list
root@cent55-sge.spalinux.com added "all.q" to cluster queue list
Hit <RETURN> to continue >>

การคอนฟิก Scheduler Tuning

Scheduler Tuning
----------------
The details on the different options are described in the manual.
Configurations
--------------
1) Normal
          Fixed interval scheduling, report limited scheduling information,
          actual + assumed load
2) High
          Fixed interval scheduling, report limited scheduling information,
          actual load
3) Max
          Immediate Scheduling, report no scheduling information,
          actual load
Enter the number of your preferred configuration and hit <RETURN>!
Default configuration is [1] >>
 
We're configuring the scheduler with >Normal< settings!
Do you agree? (y/n) [y] >>

แนะวิธีการใช้ sge

Using Grid Engine
-----------------
You should now enter the command:
   source /gridware/sge/MyCell/common/settings.csh
if you are a csh/tcsh user or
   # . /gridware/sge/MyCell/common/settings.sh
if you are a sh/ksh user.
This will set or expand the following environment variables:
   - $SGE_ROOT         (always necessary)
   - $SGE_CELL         (if you are using a cell other than >default<)
   - $SGE_CLUSTER_NAME (always necessary)
   - $SGE_QMASTER_PORT (if you haven't added the service >sge_qmaster<)
   - $SGE_EXECD_PORT   (if you haven't added the service >sge_execd<)
   - $PATH/$path       (to find the Grid Engine binaries)
   - $MANPATH          (to access the manual pages)
Hit <RETURN> to see where Grid Engine logs messages >>
Grid Engine messages
--------------------
Grid Engine messages can be found at:
   /tmp/qmaster_messages (during qmaster startup)
   /tmp/execd_messages   (during execution daemon startup)
After startup the daemons log their messages in their spool directories.
   Qmaster:     /gridware/sge/MyCell/spool/qmaster/messages
   Exec daemon: <execd_spool_dir>/<hostname>/messages
Grid Engine startup scripts
---------------------------
Grid Engine startup scripts can be found at:
   /gridware/sge/MyCell/common/sgemaster (qmaster)
   /gridware/sge/MyCell/common/sgeexecd (execd)
Do you want to see previous screen about using Grid Engine again (y/n) [n] >>
 
Your Grid Engine qmaster installation is now completed
------------------------------------------------------
Please now login to all hosts where you want to run an execution daemon
and start the execution host installation procedure.
If you want to run an execution daemon on this host, please do not forget
to make the execution host installation in this host as well.
All execution hosts must be administrative hosts during the installation.
All hosts which you added to the list of administrative hosts during this
installation procedure can now be installed.
You may verify your administrative hosts with the command
   # qconf -sh
and you may add new administrative hosts with the command
   # qconf -ah <hostname>
Please hit <RETURN> >>

ใช้คำสั่ง ps ตรวจสอบโปรเซส sge_qmaster

[root@cent55-sge sge]# ps -ef | grep sge
sgeadmin  4667     1  1 13:55 ?        00:00:00 /gridware/sge/bin/lx24-amd64/sge_qmaster

การเปิด/ปิด เซอร์วิส sge_qmaster

การปิดเซอร์วิส sge_qmaster

[root@cent55-sge ~]# /etc/init.d/sgemaster.MyCluster stop
   shutting down Grid Engine qmaster

การเปิดหรือรันเซอร์วิส qmaster

[root@cent55-sge ~]# /etc/init.d/sgemaster.MyCluster start
   starting sge_qmaster

ข้อมูลอ้างอิง

]]> http://spalinux.com/2011/01/configure_sun_grid_engine_qmaster_host/feed 0 ติดตั้ง Sun Grid Engine บน CentOS 5.5 http://spalinux.com/2011/01/install_sun_grid_engine_on_centos_5-5 http://spalinux.com/2011/01/install_sun_grid_engine_on_centos_5-5#comments Sat, 08 Jan 2011 18:03:59 +0000 editor http://spalinux.com/?p=1226 Sun Grid Engine (SGE) หรือชื่อใหม่ Oracle Grid Engine เป็นโปรแกรมที่ใช้ควบคุม จัดการ การกระจายงาน (job) ไปรันตามเครื่องต่างๆ (distributed resource management)

ในระบบ Sun Grid Engine ประกอบด้วยเครื่องที่ทำหน้าที่ควบคุมการส่ง job ที่เรียกว่า “sge qmaster” อย่างน้อยหนึ่งเครื่อง

ส่วนเครื่องที่ทำหน้าที่รัน job เรียกว่า “sge execution host” หรือ “sge execd” มีหลายๆ เครื่อง ช่วยกันรันงานที่ได้รับมาจาก “qmaster”

เวอร์ชั่น open source ที่สามารถดาวน์โหลดมาใช้งานได้อย่างถูกต้องล่าสุดคือ 6.2u5 ส่วนเวอร์ชั่นที่ใหม่กว่านี้ทาง Oracle ให้ทดลองใช้ได้ 90 วัน และขายเป็น commercial

ใช้ google.com ค้นหา “Sun Grid Engine 6.2 Update 5 download” เพื่อดาวน์โหลดไฟล์รูปแบบ rpm สำหรับติดตั้งบน Linux x64 จาก Download Center

ข้อมูลไฟล์ที่เลือกดาวน์โหลดในหน้า Download Sun Grid Engine 6.2 Update 5 for Linux, English

  • File Description: Sun Grid Engine 6.2 Update 5, Linux x64 (required), rpm format
  • File Name: sge62u5_linux24-x64_rpm.zip
  • Size: 28.16 MB

ระบบทดสอบ

ในที่นี้ใช้ CentOS 5.5 (x64) โดยลง package group ตามนี้

  • Base
  • Development Tools
  • Editors
  • GNOME Desktop Environment
  • X Window System

ติดตั้งไฟล์ rpm

ตัวอย่างไฟล์ที่ดาวน์โหลด

[root@cent55-sge sge]# ls -l
total 28844
-rw-r--r-- 1 root root 29533073 Jan  8 12:36 sge62u5_linux24-x64_rpm.zip

แตกไฟล์ด้วยคำสั่ง unzip

[root@cent55-sge sge]# unzip sge62u5_linux24-x64_rpm.zip
Archive:  sge62u5_linux24-x64_rpm.zip
  inflating: sge6_2u5/sun-sge-bin-linux24-x64-6.2-5.x86_64.rpm
  inflating: sge6_2u5/sun-sge-common-6.2-5.noarch.rpm

ไฟล์ที่แตกได้จะมีสองไฟล์

[root@cent55-sge sge]# cd sge6_2u5/
[root@cent55-sge sge6_2u5]# ls -l
total 29048
-rw-r--r-- 1 root root 25583219 Dec 16  2009 sun-sge-bin-linux24-x64-6.2-5.x86_64.rpm
-rw-r--r-- 1 root root  4161238 Dec 16  2009 sun-sge-common-6.2-5.noarch.rpm

ทุกเครื่องไม่ว่าจะเป็น qmaster host  หรือ execution host จะต้องติดตั้งไฟล์ rpm ทั้งสองนี้

ติดตั้งไฟล์ “sun-sge-common” ก่อน

[root@cent55-sge sge6_2u5]# rpm -ivh sun-sge-common-6.2-5.noarch.rpm
Preparing...                ########################################### [100%]
   1:sun-sge-common         ########################################### [100%]

ติดตั้งไฟล์ “sun-sge-bin-linux24-x64″

[root@cent55-sge sge6_2u5]# rpm -ivh sun-sge-bin-linux24-x64-6.2-5.x86_64.rpm
error: Failed dependencies:
        libXm.so.3()(64bit) is needed by sun-sge-bin-linux24-x64-6.2-5.x86_64
        libXp.so.6()(64bit) is needed by sun-sge-bin-linux24-x64-6.2-5.x86_64

หากเจอ “error” แบบนี้ ต้องติดตั้ง library ที่ฟ้องขึ้นมาก่อน ในที่นี้ทั้งสอง library สามารถติดตั้งไฟล์ rpm จากแผ่นติดตั้ง CentOS 5.5 ได้

[root@cent55-sge sge6_2u5]# mount /dev/cdrom /media
mount: block device /dev/cdrom is write-protected, mounting read-only
[root@cent55-sge sge6_2u5]# cd /media/CentOS/

สำหรับ “libXm.so.3″ ต้องติดตั้งไฟล์ rpm ชื่อ “openmotif22-2.2.3-18.x86_64.rpm”

[root@cent55-sge CentOS]# rpm -ivh openmotif22-2.2.3-18.x86_64.rpm
Preparing...                ########################################### [100%]
   1:openmotif22            ########################################### [100%]

หมายเหตุ ในแผ่นดีวีดีติดตั้ง CentOS 5.5 (x64) จะมีไฟล์ rpm ติดตั้ง openmotif อยู่สองเวอร์ชั่น เนื่องจาก sge ใช้ libXm.so.3 ซึ่งมีอยู่ในไฟล์ “openmotif22-2.2.3″ เลยต้องติดตั้งไฟล์เวอร์ชั่นนี้  ส่วน “openmotif-2.3.1″ เวอร์ชั่นของ libXm จะเป็น “libXm.so.4″ ไม่สามารถใช้กับ sge ได้

ใช้คำสั่ง rpm ดูไฟล์ที่จะติดตั้ง เพื่อเปรียบเทียบเวอร์ชั่นของ “libXm”

[root@cent55-sge CentOS]# rpm -qilp openmotif22-2.2.3-18.x86_64.rpm | grep libXm
/usr/lib64/libXm.so.3
/usr/lib64/libXm.so.3.0.2
[root@cent55-sge CentOS]# rpm -qilp openmotif-2.3.1-2.el5_4.1.x86_64.rpm | grep libXm
/usr/lib64/libXm.so.4
/usr/lib64/libXm.so.4.0.1

สำหรับ “libXp” ต้องติดตั้งไฟล์ rpm ชื่อ “libXp-1.0.0-8.1.el5.x86_64.rpm”

[root@cent55-sge CentOS]# rpm -ivh libXp-1.0.0-8.1.el5.x86_64.rpm
Preparing...                ########################################### [100%]
   1:libXp                  ########################################### [100%]

ทดลองติดตั้ง sge อีกครั้ง

[root@cent55-sge CentOS]# cd -
/root/sge/sge6_2u5
[root@cent55-sge sge6_2u5]# rpm -ivh sun-sge-bin-linux24-x64-6.2-5.x86_64.rpm
Preparing...                ########################################### [100%]
   1:sun-sge-bin-linux24-x64########################################### [100%]

คอนฟิกเบื้องต้นสำหรับ sge

สร้าง user และ group สำหรับรัน sge

[root@cent55-sge sge6_2u5]# groupadd sgeadmin
[root@cent55-sge sge6_2u5]# useradd -g sgeadmin sgeadmin
[root@cent55-sge sge6_2u5]# id sgeadmin
uid=502(sgeadmin) gid=500(sgeadmin) groups=500(sgeadmin)

ตั้งค่า PATH การติดตั้ง sge

[root@cent55-sge sge6_2u5]# export SGE_ROOT=/gridware/sge
[root@cent55-sge sge6_2u5]# echo $SGE_ROOT

เปลี่ยน user group ของ PATH ที่จะติดตั้งเป็น sgeadmin

[root@cent55-sge sge]# chown sgeadmin.sgeadmin /gridware/sge

ต้องแก้ไขไฟล์ /etc/hosts เพื่อ map ชื่อ hostname ของเครื่องที่ทำหน้าที่เป็น qmaster host จาก 127.0.0.1 เป็น IP Address ของพอร์ต LAN

[root@cent55-sge sge6_2u5]# cat /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1        cent55-sge.spalinux.com cent55-sge localhost.localdomain localhost
::1              localhost6.localdomain6 localhost6

สมมติว่าพอร์ต LAN ของเครื่องนี้ IP คือ 192.168.55.10 ต้องแก้ไขไฟล์นี้เป็นดังนี้

เพื่อความสะดวก แนะนำให้เพิ่มชื่อเครื่องและ IP address ที่จะทำหน้าที่เป็น execution host ด้วยเลย

[root@cent55-sge sge6_2u5]# cat /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1        localhost.localdomain localhost
::1              localhost6.localdomain6 localhost6
192.168.55.10    cent55-sge.spalinux.com cent55-sge
192.168.55.11    cent55-node1.spalinux.com cent55-node1
192.168.55.12    cent55-node2.spalinux.com cent55-node2

 เพิ่มชื่อและหมายเลขพอร์ตสำหรับ sge ในไฟล์ /etc/services

[root@cent55-sge sge6_2u5]# cat /etc/services
...
# Local services
sge_qmaster 10500/tcp
sge_execd   10501/tcp

ข้อมูลอ้างอิง

]]> http://spalinux.com/2011/01/install_sun_grid_engine_on_centos_5-5/feed 0