Varnish 簡介

Varnish 是一款高性能且開源的反向代理服務器和 HTTP 加速器，其采用全新的軟件體系機構，和現(xiàn)在的硬件體系緊密配合，與傳統(tǒng)的 squid 相比，varnish 具有性能更高、速度更快、管理更加方便等諸多優(yōu)點，很多大型的網(wǎng)站都開始嘗試使用 varnish 來替換 squid，這些都促進 varnish 迅速發(fā)展起來。

挪威的最大的在線報紙 Verdens Gang(vg.no) 使用 3 臺 Varnish 代替了原來的 12 臺 Squid，性能比以前更好，這是 Varnish 最成功的應用案例。

Varnish 文件緩存的工作流程

Varnish 與一般服務器軟件類似，分為 master 進程和 child 進程。Master 進程讀入存儲配置文件，調(diào)用合適的存儲類型，然后創(chuàng)建 / 讀入相應大小的緩存文件，接著 master 初始化管理該存儲空間的結(jié)構體，然后 fork 并監(jiān)控 child 進程。Child 進程在主線程的初始化的過程中，將前面打開的存儲文件整個 mmap 到內(nèi)存中，此時創(chuàng)建并初始化空閑結(jié)構體，掛到存儲管理結(jié)構體，以待分配。Child 進程分配若干線程進行工作，主要包括一些管理線程和很多 worker 線程。

接著，開始真正的工作，varnish 的某個負責接收新 HTTP 連接線程開始等待用戶，如果有新的 HTTP 連接過來，它總負責接收，然后喚醒某個等待中的線程，并把具體的處理過程交給它。Worker 線程讀入 HTTP 請求的 URI，查找已有的 object，如果命中則直接返回并回復用戶。如果沒有命中，則需要將所請求的內(nèi)容，從后端服務器中取過來，存到緩存中，然后再回復。

分配緩存的過程是這樣的：它根據(jù)所讀到 object 的大小，創(chuàng)建相應大小的緩存文件。為了讀寫方便，程序會把每個 object 的大小變?yōu)樽罱咏浯笮〉膬?nèi)存頁面倍數(shù)。然后從現(xiàn)有的空閑存儲結(jié)構體中查找，找到最合適的大小的空閑存儲塊，分配給它。如果空閑塊沒有用完，就把多余的內(nèi)存另外組成一個空閑存儲塊，掛到管理結(jié)構體上。如果緩存已滿，就根據(jù) LRU 機制，把最舊的 object 釋放掉。

釋放緩存的過程是這樣的：有一個超時線程，檢測緩存中所有 object 的生存期，如果超初設定的 TTL（Time To Live）沒有被訪問，就刪除之，并且釋放相應的結(jié)構體及存儲內(nèi)存。注意釋放時會檢查該存儲內(nèi)存塊前面或后面的空閑內(nèi)存塊，如果前面或后面的空閑內(nèi)存和該釋放內(nèi)存是連續(xù)的，就將它們合并成更大一塊內(nèi)存。

整個文件緩存的管理，沒有考慮文件與內(nèi)存的關系，實際上是將所有的 object 都考慮是在內(nèi)存中，如果系統(tǒng)內(nèi)存不足，系統(tǒng)會自動將其換到 swap 空間，而不需要 varnish 程序去控制。

server11:

rpm -ivh varnish-3.0.5-1.el6.x86_64.rpm varnish-libs-3.0.5-1.el6.x86_64.rpm

vim /etc/sysconfig/varnish VARNISH_LISTEN_PORT=80

vim /etc/varnish/default.vcl

?7 backend default {
?8 ? .host = "172.25.88.13";
?9 ? .port = "80";
10 }
11
12 backend web {
13 ? .host = "172.25.88.12";
14 ? .port = "80";
15 }
16
17 sub vcl_recv {
18 if (req.http.host ~ "^(www.)?westos.org") { #如果用戶訪問:westos.org,會自動補全www
19 set req.http.host = "www.westos.org";
20 set req.backend = default;
21 } elsif (req.http.host ~ "^bbs.westos.org") { #如果訪問:bbs.westos.org,就去訪問web
22 set req.backend = web;
23 } else
? ? ? ? {error 404 "westos cache"; ? ?除了訪問這些域名，其他就GG了
24 }
25 }

? ?#測試緩存命中
27 sub vcl_deliver {
28 if (obj.hits > 0) {
29 set resp.http.X-Cache = "HIT from westos cache"; 命中緩存
30 }
31 else {
32 set resp.http.X-Cache = "MISS from westos cache";
33 }
34 return (deliver);
35 }

/etc/init.d/varnish start

[root@server11 ~]# netstat -antlp |grep 80 tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN 1167/varnishd

server12

/etc/init.d/httpd start

cat index.html

server13

通過 varnishadm 手動清除緩存

varnishadm ban.url .*$ ? ? ? ? ?#清除所有
varnishadm ban.url /index.html ?#清除 index.html 頁面緩存
varnishadm ban.url /admin/$ ? ?#清除 admin 目錄緩存

第一次錯過(miss)緩存

第一次命中(hit)緩存

varnish虛擬主機和輪尋

server12:

vim /etc/httpd/conf/httpd.conf

990 NameVirtualHost *:80
1012 <VirtualHost *:80>
1013 ? ? DocumentRoot /var/www/html
1014 ? ? ServerName server12.lalala.com
1015 </VirtualHost>
1016
1017 <VirtualHost *:80>
1018 ? ? DocumentRoot /www1
1019 ? ? ServerName www.westos.org
1020 </VirtualHost>
1021
1022 <VirtualHost *:80>
1023 ? ? DocumentRoot /www2
1024 ? ? ServerName bbs.westos.org
1025 </VirtualHost>

server11:

vim /etc/varnish/default.vcl

?7 backend default {
?8 ? .host = "172.25.88.13";
?9 ? .port = "80";
10 }
11
12 backend web {
13 ? .host = "172.25.88.12";
14 ? .port = "80";
15 }
16
17 director lb round-robin {
18 {.backend = default;}
19 {.backend = web;}
20 }
21
22 sub vcl_recv {
23 if (req.http.host ~ "^(www.)?westos.org") {
24 set req.http.host = "www.westos.org";
25 set req.backend = lb;
26 return (pass); ? ?#為了測試方便,不進行緩存。
27 } elsif (req.http.host ~ "^bbs.westos.org") {
28 set req.backend = web;
29 } else {error 404 "westos cache";
30 }
31 }
32
33 sub vcl_deliver {
34 if (obj.hits > 0) {
35 set resp.http.X-Cache = "HIT from westos cache";
36 }
37 else {
38 set resp.http.X-Cache = "MISS from westos cache";
39 }
40 return (deliver);
41 }

CDN推送

當varnish緩存的頁面有更新,需要重新的頁面的時候,只需要web開發(fā)人員,提交更改的網(wǎng)址,這就是我們的CDN推送

[root@server11 html]# unzip bansys.zip
[root@server11 html]# cd bansys
[root@server11 bansys]# mv * ..
bansys 有兩種工作模式,分別是:telnet 和 http 模式。
telnet 模式需要關閉 varnish 服務管理端口的驗證,注釋掉/etc/sysconfig/varnish 文件中的 “ -S $
{VARNISH_SECRET_FILE}”這行,重啟 varnish 服務即可。
如果是 http 模式需要對 varnish 做以下設置:

vim /etc/varnish/default.vcl

?8 acl westos {
?9 "127.0.0.1";
10 "172.25.88.0"/24;
11 }
12
13 sub vcl_recv {
14 if (req.request == "BAN") {
15 if (!client.ip ~ westos) {
16 error 405 "Not allowed.";
17 }
18 ban("req.url ~ " + req.url);
19 error 200 "ban added";
20 }
21 }

vim config.php #只保留如下設置,其余注釋掉

<?php


//varnish主機列表
$var_group1 = array(
? ? ? ? ? ? ? ? ? ? ? ?'host' => array('172.25.88.11'),
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?'port' => '80', ? ? ? ? ? ? ? ? ?
? ? ? ? ? ? ? ? ? ?);




//varnish群組定義
//對主機列表進行綁定
$VAR_CLUSTER = array(
? ? ? ? ? ? ? ? ? ? ? ? 'www.westos.org' => $var_group1,
? ? ? ? ? ? ? ? ? ? );


//varnish版本
//2.x和3.x推送命令不一樣
$VAR_VERSION = "3";

?>

轉(zhuǎn)載于:https://blog.51cto.com/12059878/1915193

《新程序員》：云原生和全面數(shù)字化實踐50位技術專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的varnish---反向代理web加速缓存服务器和CDN的推送的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。