SpaLinux.com » Squid

ทดสอบค่าคอนฟิก Squid Cache Size

editor — Sat, 25 Jul 2009 10:04:52 +0000

บทความนี้แสดงตัวอย่างการทดสอบโดยใช้โปรแกรม wget โหลดไฟล์ผ่าน squid เพื่อดูผลของการตั้งค่า cache size ต่างๆ ว่ามีผลต่อการโหลดไฟล์ การ HIT cache อย่างไร

ในแต่ละการทดสอบ มีการแสดงไฟล์ log ของ squid ด้วย คือไฟล์

access_log (/var/log/squid/access_log) เก็บข้อมูลการใช้งาน proxy ว่ามาจากเครื่อง “client” ไหน เข้าเว็บไซต์ไหน รวมทั้งบอกผลการ HIT cache หรือไฟล์ที่โหลดนั้น มีอยู่ใน cache หรือยัง
store_log (/var/log/squid/store.log) เก็บรายละเอียดการสร้าง “SWAPOUT” หรือลบ “RELEASE” ไฟล์ cache

เครื่องที่ใช้ทดสอบ

web client: 192.168.1.2
web server: 192.168.1.1
proxy: 192.168.1.254

คอนฟิกของ squid ในส่วน cache size

maximum_object_size_in_memory 8 KB
maximum_object_size 4096 KB
cache_dir ufs /var/spool/squid 100 16 256

คอนฟิก proxy ของโปรแกรม wget

เพื่อให้โปรแกรม wget โหลดไฟล์ผ่าน proxy ต้องสร้างไฟล์ .wgetrc ใน home directory ของผู้ใช้ที่รันคำสั่ง wget แล้วใส่คอนฟิกดังนี้

[root@fc11-64min ~]# cat .wgetrc
http_proxy = http://192.168.1.254:3128/

คำอธิบาย

192.168.1.254 คือ ip ของ proxy
3128 คือพอร์ตของ proxy

ทดลองโหลดไฟล์ขนาด 7k

เริ่มต้นทดลองโหดลไฟล์ขนาด 7k (กิโลไบต์) ซึ่งน้อยกว่าค่า “maximum_object_size_in_memory” ที่ตั้งไว้ 8 KB

โหลดไฟล์ขนาด 7k ครั้งที่ 1 ขึ้น “TCP_MISS” หมายถึง squid ไม่มีไฟล์นี้อยู่ใน cache เมื่อโหลดเสร็จ squid จะเก็บไฟล์ไว้ใน cache ด้วย “SWAPOUT”

[root@fc11-64min ~]# wget http://192.168.1.1/files/tfile-7k.bin

==> access.log <==
1248507942.812     17 192.168.1.2 TCP_MISS/200 7417 GET http://192.168.1.1/files/tfile-7k.bin - DIRECT/192.168.1.1 application/octet-stream

==> store.log <==
1248507942.810 SWAPOUT 00 00000001 3F277563988F72945705D5ED41526CA2  200 1248507942 1248505810        -1 application/octet-stream 7000/7000 GET http://192.168.1.1/files/tfile-7k.bin

โหลดไฟล์ขนาด 7k ครั้งที่ 2 ขึ้น “TCP_MEM_HIT” หมายถึง squid มีไฟล์นี้ใน cache บน memory แล้ว สามารถดึงไฟล์จาก memory ได้เลย

[root@fc11-64min ~]# wget http://192.168.1.1/files/tfile-7k.bin

==> access.log <==
1248507971.779      0 192.168.1.1 TCP_MEM_HIT/200 7424 GET http://192.168.1.1/files/tfile-7k.bin - NONE/- application/octet-stream

ทดลองโหลดไฟล์ขนาด 9k

ทดลองโหลดไฟล์ 9k ซึ่งมีขนาดมากกว่า “maximum_object_size_in_memory” แต่ยังน้อยกว่าค่า “maximum_object_size” ซึ่งตั้งไว้ 4096 KB (4 Mbytes)

โหลดไฟล์ขนาด 9k ครั้งที่ 1 ขึ้น “TCP_MISS” หมายถึง squid ไม่มีไฟล์นี้อยู่ใน cache เมื่อโหลดเสร็จ squid จะเก็บไฟล์ไว้ใน cache ด้วย “SWAPOUT”

[root@fc11-64min ~]# wget http://192.168.1.1/files/tfile-9k.bin

==> access.log <==
1248508182.804      3 192.168.1.2 TCP_MISS/200 12418 GET http://192.168.1.1/files/tfile-9k.bin - DIRECT/192.168.1.1 application/octet-stream

==> store.log <==
1248508182.804 SWAPOUT 00 00000002 CEFDC390A1EE023973CBADC1A78D73C7  200 1248508182 1248508174        -1 application/octet-stream 12000/12000 GET http://192.168.1.1/files/tfile-9k.bin

โหลดไฟล์ขนาด 9k ครั้งที่ 2 ขึ้น “TCP_HIT” หมายถึง squid มีไฟล์นี้ใน cache แต่อยู่บน disk

[root@fc11-64min ~]# wget http://192.168.1.1/files/tfile-9k.bin

==> access.log <==
1248508281.238      0 192.168.1.2 TCP_HIT/200 12424 GET http://192.168.1.1/files/tfile-9k.bin - NONE/- application/octet-stream

ทดลองโหลดไฟล์ขนาด 5M

ทดลองโหลดไฟล์ 5M ซึ่งมีขนาดน้อยกว่า “maximum_object_size” ซึ่งตั้งไว้ 4096 KB (4 Mbytes)

โหลดไฟล์ขนาด 5k ครั้งที่ 1 ขึ้น “TCP_MISS” หมายถึง squid ไม่มีไฟล์นี้อยู่ใน cache เมื่อโหลดเสร็จ เนื่องจากมีขนาดไฟล์ใหญ่กว่าขนาด “maximum_object_size” โปรแกรม squid จะไม่เก็บไฟล์ไว้ใน cache ขึ้น “RELEASE”

[root@fc11-64min ~]# wget http://192.168.1.1/files/tfile-5M.bin

1248509577.012    197 192.168.1.2 TCP_MISS/200 5000422 GET http://192.168.1.1/files/tfile-5M.bin - DIRECT/192.168.1.1 application/octet-stream

==> store.log <==
1248509577.012 RELEASE -1 FFFFFFFF 81F5E27F6F4A2D2CFB41BF48899FBFE5  200 1248509576 1248505985        -1 application/octet-stream 5000000/5000000 GET http://192.168.1.1/files/tfile-5M.bin

ไม่ว่าจะโหลดไฟล์ที่มีขนาดใหญ่กว่า “maximum_object_size” โปรแกรม squid จะไม่เก็บ cache ไว้เลย

ขนาดรวมไฟล์ cache ทั้งหมด

เมื่อเก็บไฟล์ cache มากจนกระทั่งมีขนาดไฟล์รวมทั้งหมด มากกว่าที่คอนฟิกไว้ในส่วน “cache_dir” ในที่นี้คอนฟิกไว้ 100 (100Mbytes)

ตรวจสอบขนาดของ cache_dir ด้วยคำสั่ง du

[root@fc11-64min ~]# cd /var/spool/squid
[root@fc11-64min squid]# du -sh
105M    .

เมื่อทดลองโหลดไฟล์เพิ่มเติม squid จะทำการเก็บไฟล์ใหม่ที่โหลดเสร็จ “SWAPOUT” แต่เนื่องจากขนาดมากกว่า “cache_dir” ดังนั้นจำเป็นต้องลบบางไฟล์ใน cache ออกไป ด้วย “RELEASE”

เช่นทดลองไฟล์ 4M เพิ่มเติม

[root@fc11-64min ~]# wget http://192.168.1.1/files/tfile-4M.bin

==> access.log <==
1248509870.685     91 192.168.1.2 TCP_MISS/200 4000422 GET http://192.168.1.1/files/tfile-4M.bin - DIRECT/192.168.1.1 application/octet-stream

==> store.log <==
1248509870.683 SWAPOUT 00 0000000E 93E941E788327BE1F0E0F028A1114B49  200 1248509870 1248505053        -1 application/octet-stream 4000000/4000000 GET http://192.168.1.1/files/tfile-4M.bin
1248509870.758 RELEASE 00 00000007 E43BBBD8932CA6266141E6BFFB46EFCC   ?         ?         ?         ? ?/? ?/? ? ?

ข้อมูลอ้างอิง

แก้ไขคอนฟิก Squid Cache Size

editor — Sat, 25 Jul 2009 09:11:56 +0000

ปกติการติดตั้ง squid โดยใช้คำสั่ง rpm สามารถที่จะใช้งานได้เลย แต่เพื่อเพิ่มประสิทธิภาพการใช้งานของ squid เช่น เพิ่มขนาดของไฟล์ cache เพื่อให้สามารถเก็บไฟล์ได้มากขึ้น ซึ่งมีผลให้โอกาสที่มีการโหลดไฟล์เดียวกันซ้ำ (cache hit) มีสูงมากขึ้น ทำให้ประหยัด bandwidth ที่ต้องใช้ในการโหลดไฟล์จากอินเตอร์เน็ต

บทความนี้กล่าวถึงการแก้ไขคอนฟิกของ squid ในส่วนเพื่อเพิ่มขนาดของ cache โดยจะทดสอบบน Fedora 11 คอนฟิกไฟล์ของ squid จะอยู่ที่ /etc/squid/squid.conf

ขนาดไฟล์ใหญ่สุดที่จะเก็บ cache ไว้ใน memory

เนื่องจากการเขียนอ่านไฟล์ลงบน memory มีความเร็วมากกว่าบน disk มาก ถ้าเรามีขนาดของ memory มาก แนะนำให้เพื่มขนาดไฟล์ใหญ่สุดที่จะเก็บ cache ไว้ใน memory เพื่อว่าถ้าการโหลดไฟล์ที่ HIT จะได้ดึงจาก memory ได้เลย

โดยดีฟอลต์ ค่าคอนฟิกจะตั้งไว้แค่ 8 KB (กิโลไบต์) เท่านั้น หากต้องการเพิ่มค่า เช่นเพิ่มเป็น 8 MB สามารถแก้ไขคอนฟิกได้ตามตัวอย่าง

#  TAG: maximum_object_size_in_memory   (bytes)
#       Objects greater than this size will not be attempted to kept in
#       the memory cache. This should be set high enough to keep objects
#       accessed frequently in memory to improve performance whilst low
#       enough to keep larger objects from hoarding cache_mem.
#
#Default:
# maximum_object_size_in_memory 8 KB
maximum_object_size_in_memory 8 MB

ขนาดไฟล์ใหญ่สุดที่จะเก็บ cache ไว้บน disk

ประโยชน์ของการใช้ squid คือเก็บไฟล์ที่มีการโหลดมาแล้ว ลงบน disk เพื่อให้ครั้งต่อไปถ้ามีผู้โหลดไฟล์นี้ซ้ำ จะได้ดึงจาก disk ได้เลย ไม่จำเป็นต้องไปดาวน์โหลดจากอินเตอร์เน็ตอีกครั้ง

แต่ squid มีคอนฟิกที่ระบุขนาดของแต่ละไฟล์ใหญ่ที่สุด ที่จะเก็บ cache ลงบน disk โดยค่าดีฟอลต์ตั้งไว้แค่ 4096 KB หรือ 4 MB เท่านั้น หมายความว่า ถ้ามีการโหลดไฟล์ขนาดใหญ่กว่านี้ squid จะไม่ทำการเก็บไฟล์ ทำให้ผู้ใช้ที่โหลดไฟล์เดียวกัน ต้องไปดาวน์โหลดใหม่จากอินเตอร์เน็ตทุกครั้ง

ถ้าคุณมีขนาดของ disk ค่อนข้างใหญ่ แนะนำให้เพิ่มค่าคอนฟิกนี้ เช่น ถ้าต้องการเก็บไฟล์ที่มีขนาดใหญ่ถึง 16 MB สามารถแก้ไขคอนฟิกได้ดังนี้

#  TAG: maximum_object_size     (bytes)
#       Objects larger than this size will NOT be saved on disk.  The
#       value is specified in kilobytes, and the default is 4MB.  If
#       you wish to get a high BYTES hit ratio, you should probably
#       increase this (one 32 MB object hit counts for 3200 10KB
#       hits).  If you wish to increase speed more than your want to
#       save bandwidth you should leave this low.
#
#       NOTE: if using the LFUDA replacement policy you should increase
#       this value to maximize the byte hit rate improvement of LFUDA!
#       See replacement_policy below for a discussion of this policy.
#
#Default:
# maximum_object_size 4096 KB
maximum_object_size 16 MB

ขนาดไฟล์ cache รวมทั้งหมดที่เก็บไว้บน disk

เมื่อมีการใช้งานไปเรื่อยๆ ขนาดของ cache ที่เก็บไว้บน disk ก็มีขนาดเพิ่มขึ้นเรื่อยๆ ไปถึงจุดหนึ่ง เป็นค่าผลรวมขนาดไฟล์ทั้งหมดสูงสุดที่ squid จะอนุญาตให้มีการเก็บไฟล์ไว้ ถ้าไฟล์ใหม่เพิ่มมาอีก ที่เกินจากกนี้ จำเป็นต้องลบบางไฟล์ใน cache ออกไป เพื่อเก็บไฟล์ใหม่นี้ได้

โดยดีฟอลต์ squid อนุญาตให้เก็บไฟล์ cache ได้รวมทั้งหมด ไม่เกิน 100 MB เท่านั้น ถ้ามีขนาด disk ขนาดใหญ่ แนะนำให้เพิ่มค่าคอนฟิกนี้ เช่น เพิ่มให้สามารถเก็บไฟล์ cache ได้ทั้งหมด 200 GB สามารถแก้ไขคอนฟิกได้ดังนี้

#  TAG: cache_dir
#       Usage:
#
#       cache_dir ufs Directory-Name Mbytes L1 L2 [options]
#

#Default:
# cache_dir ufs /var/spool/squid 100 16 256
cache_dir ufs /var/spool/squid 200000 16 256

หมายเหตุ ขนาดตัวเลขที่ระบุ มีหน่วยเป็น MBytes

รีโหลดเซอร์วิส squid หลังแก้ไขคอนฟิก

หลังแก้ไขไฟล์ /etc/squid/squid.conf ทุกครั้ง ต้องรันคำสั่ง service เพื่อรีโหลดคอนฟิกใหม่ให้มีผล

[root@fc11-64min ~]# service squid reload