cat /dev/random > /dev/null &

Varnish3.0.5が公開されました。
今回はBugfixですが
varnishlogの-mオプションで動きが変わったため一瞬戸惑うかもしれません。

修正された項目は以下になります。

varnishd

■ESIのパースに失敗した場合に標準出力にメッセージを出していたのをやめました
(Stop printing to stdout on ESI parse warnings)
デバッグの時の消し忘れっぽいですね。

■syntheticの最初のパートでNULLを指定した場合segfaultで落ちるのを修正しました
(#1287)
vcl_error内でstd.filereadを使ってNULLが帰ってきた場合や存在しないヘッダを指定したときなどに出ると思いますが
普通はしないと思います。

■streamを利用した際にContent-Lengthが重複してクライアントに送信されるのを修正しました
(#1272)
重要なFix

■不正なRequestかつvcl_errorでrestartをしている際にクラッシュする問題を修正しました
(#1367 CVE-2013-4484)
この問題はvcl_error内で不正なリクエストをrestartした際に起こる問題です。（リクエスト内容はチケットを参照下さい）
40xや50xを起きた際にrestartを行い別バックエンドなどへのfailoverを行う場合がありますが
その際に不正なリクエストのものをrestartしてしまうとクラッシュします。
バージョンアップでも解決しますが、すぐに行えない場合は以下で回避が可能です

sub vcl_error{
  if (obj.status == 400 || obj.status == 413) {
    return(deliver);
  }
}

このVCLは必ず先頭に書いてください。（vcl_errorが複数あってもOK)
アクションが複数あっても問題ない理由は「同じVCLアクション(vcl_recvなど)を複数定義する」を参照下さい

■クライアントが接続を閉じた後にserver.ipを利用した際にクラッシュする問題を修正しました
(#1376)

varnishadm

■標準入力で渡されたコマンドを適切に扱えなかったのを修正しました
(#1314)
3.0.4（パイプでの渡しが出来ない）

echo vcl.list|varnishadm
200
-----------------------------
Varnish Cache CLI 1.0
-----------------------------
Linux,2.6.32-71.18.1.el6.x86_64,x86_64,-sfile,-smalloc,-hcritbit
varnish-3.0.4 revision 9f83e8f

Type 'help' for command list.
Type 'quit' to close CLI session.

200
active          0 boot

3.0.5（パイプで渡せる）

echo "vcl.list"|varnishadm
200
active          4 boot

一気にpurgeしたいときとか便利ですね。

varnishlog

■-mオプションで絞り込む際に-c若しくは-bを指定しない場合は両方が指定された扱いとなります
(#1071)
3.0.4（-c/-bを指定しなくてもデータが取れる）

varnishlog -m "RxHeader:Host: xcir.net"
...
   12 RxHeader     c Host: xcir.net
...

3.0.5（指定しないと取れない）

varnishlog -m "RxHeader:Host: xcir.net"
^C

varnishlog -m "RxHeader:Host: xcir.net" -c
...
   16 RxHeader     c Accept: */*
   16 RxHeader     c Host: xcir.net
...

今までリクエストヘッダにHost: exmaplnetが含んでいるものを取りたい場合は
varnishlog -m “RxHeader:Host: example.net”
だけでもとれたのですが、
きちんとクライアント<->Varnish(-c)、それともVarnish<->バックエンド(-b)の通信なのかを指定する必要があります。

次は4.0ですね。VUG8でもいろいろ出ていましたが楽しみです
—–
Varnish Cache 3.0.5

Varnish3.0.4が公開されました。
今回はほとんどBugFixですが、いくつかの機能改善があります。

公式リリースノート(3.0.4)

バグフィックス

■CVE-2013-4090 特定条件でACLで想定外のマッチ・マッチ漏れが起こる
#1312
対象は3.0.3までの全てのバージョンです
引っかかる条件は以下だと思います
・CIDR形式の定義が存在(/8,/16,/24を除く)
・単一のIPアドレスを指定している
・その定義範囲が重複している
こんな感じです
VCLコード

acl foo {
  "127.0.0.2";
  "127.0.0.0"/19; //(127.0.0.1 ~ 127.0.31.254で127.0.0.2を含む)
}

Cに変換したコード(3.0.3)

static int
match_acl_named_foo(const struct sess *sp, const void *p)
{
    const unsigned char *a;
    unsigned short fam;

    a = p;
    VRT_memmove(&fam, a + 0, sizeof fam);
    if (fam == 2)
        a += 4;
    else if (fam == 10)
        a += 8;
    else {
        VRT_acl_log(sp, "NO_FAM foo");
        return(0);
    }

    if (fam == 2) {
     if (a[0] == 127) {
      if (a[1] == 0) {
       if (a[2] == 0) {//ここで本来マッチしなくては行けない127.0.1～127.0.31が排除される
        if (a[3] == 2) {
         VRT_acl_log(sp, "MATCH foo " "127.0.0.2");
         return (1);
        }
        VRT_acl_log(sp, "MATCH foo " "127.0.0.0" "/19" );
        return (1);
       }
      }
     }
    }
    VRT_acl_log(sp, "NO_MATCH foo");
    return (0);
}

Cに変換したコード(3.0.4)

static int
match_acl_named_foo(const struct sess *sp, const void *p)
{
        const unsigned char *a;
        unsigned short fam;

        a = p;
        VRT_memmove(&fam, a + 0, sizeof fam);
        if (fam == 2)
                a += 4;
        else if (fam == 10)
                a += 8;
        else {
                VRT_acl_log(sp, "NO_FAM foo");
                return(0);
        }

        if (fam == 2) {
         if (a[0] == 127) {
          if (a[1] == 0) {
           if (a[2] == 0) {
            if (a[3] == 2) {
             VRT_acl_log(sp, "MATCH foo " "127.0.0.2");
             return (1);
            }
           }
           if ((a[2] & 0xe0) == 0) {
            VRT_acl_log(sp, "MATCH foo " "127.0.0.0" "/19" );
            return (1);
           }
          }
         }
        }
        VRT_acl_log(sp, "NO_MATCH foo");
        return (0);
}

影響を受けるかの確認はVCLをCで出してみて
該当のACLマッチ関数(match_acl_named_[ACL名])を見たほうが良いかと思います。

■ESI利用時にバックエンドが無効なgzipを送信した場合においてエラーを起こす可能性があった
#1184

■バックエンド名が長いとAssertで子プロセスが落ちる
#1224

バグ修正は他にもありますが個人的に気になったのをピックアップしました

ツール改善

■varnishncsaのフォーマットで%D,%Tをサポートしました
■varnishadmでtabを打つと候補が出るようになりました

パフォーマンス系

■TCP_NODELAYを有効にしました(NagleをOffにした)
chunkの時効いてきそうです。

その他

■複数のHostヘッダを送られてきた場合はエラーとする
即切断されますのでvcl_recvは呼ばれません(壊れたセッション扱いです)

Trying 127.0.0.1...
Connected to localhost.
Escape character is '^]'.
GET /test HTTP/1.0
Host: exmple.jp
Host: exmple.jp

Connection closed by foreign host.

varnishncsaログ
★ホストヘッダ1つ
127.0.0.1 - - [18/Jun/2013:22:42:40 +0900] "GET http://exmple.jp/test HTTP/1.0" 404 287 "-" "-"
★ホストヘッダ複数
127.0.0.1 - - [18/Jun/2013:22:42:44 +0900] "GET http://exmple.jp/test HTTP/1.0"  - "-" "-"

■ドキュメントが改善されました
■ABI変わってるのでvmodのリコンパイルが必要

#vug7の記事書く前にこっちの記事を書くことになるとは・・・（下書きにはあるんですがね）

Varnish3.0.3が公開されました。
今回の変更は多くのバグフィックスとツール系の機能拡充とドキュメントの整備です。

公式リリースノート varnish-cache-3.0.3

バグフィックス

・ストリーミングと正規表現の評価においてクラッシュの要因となるバグを複数修正しました。
・ESIとGZIPにおいて壊れたオブジェクトを返却するケースが存在する問題を修正しました。
・ESIのremoveタグ内にHTMLのコメントがあるケースにおいて不適切な削除を行なっていたのを修正
・ban lurkerのスリープする条件の変更（回収した際は設定値・回収しなかった場合は1秒）
・多くのクラッシュの要因になるバグの修正
・その他いろいろ修正

ツール系の機能拡充

varnishstat

・json出力オプションの追加(-j)

varnishtest

・resp.bodyでレスポンスボディの評価が可能に

varnishncsa

・VCL中に”Key:Value”の形式でログを出力すると%{VCL_Log:Key}xで取得可能に

■VCL
  sub vcl_recv{
  std.log("hoge:mage");
}

[root@localhost ~]# varnishncsa -F "%h %l %u %t \"%r\" %s %b \"%{Referer}i\" \"%{User-agent}i\" \"%{VCL_Log:hoge}x\""
192.168.1.199 - - [21/Aug/2012:08:46:27 +0900] "GET http://192.168.1.199:6081/ HTTP/1.0" 200 5 "-" "Wget/1.12 (linux-gnu)" "mage"

・%{format}tの対応

[root@localhost ~]# varnishncsa -F "%h %l %u %t \"%r\" %s %b \"%{Referer}i\" \"%{User-agent}i\" \"%{%Y%m%d%H%M%S}t\""
192.168.1.199 - - [21/Aug/2012:08:51:54 +0900] "GET http://192.168.1.199:6081/ HTTP/1.0" 200 5 "-" "Wget/1.12 (linux-gnu)" "20120821085154"

・formart指定中に\tと\nの指定が可能に

[root@localhost ~]# varnishncsa -F "%h AAA\tBBB\nCCC"
192.168.1.199 AAA       BBB
CCC

cli

・backend.listが追加されました
　バックエンドの状態を確認することができます

■定義
director default random{.retries = 5;
  {.weight = 5;.backend={.host="127.0.0.1";.port="81";}}
  {.weight = 5;.backend={.host="127.0.0.1";.port="82";}}
}
■Admin
backend.list
200
Backend name                   Refs   Admin      Probe
default[0](127.0.0.1,,81)      1      healthy    Healthy (no probe)
default[1](127.0.0.1,,82)      1      healthy    Healthy (no probe)

・backend.set_healthが追加されました
　バックエンドの状態を強制的に変更できます

■定義
backend default {
  .host = "127.0.0.1";
  .port = "81";
}

■状態をsickに変更
backend.set_health default sick

■定義
director default random{.retries = 5;
  {.weight = 5;.backend={.host="127.0.0.1";.port="81";}}
  {.weight = 5;.backend={.host="127.0.0.1";.port="82";}}
}

■状態をsickに変更(一つだけ)
backend.set_health[0] sick

■状態をsickに変更(全部)
backend.set_health sick

パラメータの変更

・http_range_support (BOOL default:ON)
　rangeリクエストのサポートですがEXPERIMENTALから正式になりました。
　ただ3.0.0からデフォルトでONになっていたので、特に気にすることはないと思います。

・send_timeout (sec default:600)
　送信時のタイムアウト時間が60秒から600秒に変更されました。
　idle_send_timeoutでアイドルの設定ができるようになった影響で増えてると思います。

・diag_bitmap (bitmap default:0)
　ban-lurkerのデバッグ用の指定が増えました（0x00080000）

・redhat用のsysconfigでVARNISH_MIN_THREADSが1から50に
　デフォルト値がよくなりました

パラメータの追加

通信に関わるパラメータ

・idle_send_timeout (sec default:60)
　送信時にアイドル状態（データの送信ができなくなった）になった場合のタイムアウト時間です

内部での正規表現の呼び出しについての制限

・pcre_match_limit (1～UINT_MAX default:10000)
　呼び出し回数の制限

・pcre_match_limit_recursion (1～UINT_MAX default:10000)
　再起回数の制限

ドキュメントの整備

その他変更

・EL6用RPMの用意
・DNSディレクターにおいてポートの指定がない場合はデフォルトで80を使うようになった
・libvarnishapiの変更
・ABIが変わったのでVMODのリビルドが必要
・内部関数の定義が変わってるので一部のインラインCやVMODが動かなくなる可能性アリ(HTC_Readが個人的に痛い）

多くのバグ修正を含んでいるため適用するのが良いかと思います。