【ex10】FreeBSD 6.0R性能評価実験に伴うサーバダウンについて->画像>1枚

サーバダウン(鯖落ち）情報　part81
http://qb5.2ch.net/test/read.cgi/operate/1129187861/54

ということで、FreeBSD 6.0R (正確には現在まだ6.0-RC1:
正式リリース一歩手前)の性能評価実験のため、
oyster901 = ex10サーバを、2005年10月15日 2:30ごろからしばらく落とします。

作業が問題なくいった場合、最大2時間～3時間程度で復活の予定です。
作業状況は、逐次このスレッドに書いていきます。

なお今後、FreeBSD 6.0Rが正式リリースされるまでに、
RC版の更新バージョンが数回リリースされる可能性がありますが、
たぶんその回数分、つまり正式リリースとなるまでの間の数回、
システムの更新を行う可能性が高いです。

それらの更新は更新内容にもよりますが、
2時間ではなく、10分～数10分程度となる予定です。

いずれにせよ、oyster901という実験機にいる宿命ということで、
現在ex10に入っている campus および keiba 板の方々におかれましては、
ご理解のほど、何卒よろしくお願いいたします。

2:30 になったので、作業始めます。
まずは httpd 落として、メモリディスクバックアップします。

工エｴェｪ(´д｀)ｪェｴエ工

1 名前：root▲ ★ 投稿日：2005/10/15(土) 02:26:45 ID:???0 BE:?-###
サーバダウン(鯖落ち）情報　part81
http://qb5.2ch.net/test/read.cgi/operate/1129187861/54

ということで、FreeBSD 6.0R (正確には現在まだ6.0-RC1:
正式リリース一歩手前)の性能評価実験のため、
oyster901 = ex10サーバを、2005年10月15日 2:30ごろからしばらく落とします。

作業が問題なくいった場合、最大2時間～3時間程度で復活の予定です。
作業状況は、逐次このスレッドに書いていきます。

なお今後、FreeBSD 6.0Rが正式リリースされるまでに、
RC版の更新バージョンが数回リリースされる可能性がありますが、
たぶんその回数分、つまり正式リリースとなるまでの間の数回、
システムの更新を行う可能性が高いです。

それらの更新は更新内容にもよりますが、
2時間ではなく、10分～数10分程度となる予定です。

いずれにせよ、oyster901という実験機にいる宿命ということで、
現在ex10に入っている campus および keiba 板の方々におかれましては、
ご理解のほど、何卒よろしくお願いいたします。


2 名前：root▲ ★ 投稿日：2005/10/15(土) 02:31:06 ID:???0 BE:?-###
2:30 になったので、作業始めます。
まずは httpd 落として、メモリディスクバックアップします。

お疲れ様です。
競馬板で告知しとこうと思ったら間に合わなかったｗ

ちょ

make installkernel => reboot

誤爆です
大変申し訳ない

？？？？？

どうでもいいけどIDがユニックス

>>10
まじどうでもいい

リブート成功、6.0-RC1 generic kernel

mergemaster -p

make installworld

>>13
いつも思うんだけど、
mergemastger (ﾌﾟ
とか
:-p
に見えてしょうがない。

>>12 と >>13 の間に、
cd /usr/src/usr.sbin/mergemaster; make -m /usr/src/share/mk all install

cd /etc/
mv rc.d rc.d.54
mkdir rc.d
mergemaster -i

（´-`）.｡oO（もう、installworldにいってるのか。。メモリディスクを使ったやっぱあの方法ですか。）

リブート2回目。

>>18
事前の仕込み
↓
/etc/make.conf 更新、RELENG_6_0 に
cd /usr/src
make update
make -j 8 buildworld buildkernel >& Make.buildworld.buildkernel.20051015.log &
ログを見て異常ないか確認

2回目のリブート完了。ユーザランドも6.0-RC1に。

>>2 の直後に、

Apacheの停止
Apache自動起動の停止
/md のバックアップ
/etc/fstab の編集(/mdをmountしなくする)

dmesg確認
rm -rf /etc/rc.d.54

ports/packagesを全消し

準備しておいたshell scriptで、標準環境のportsをインストール

実はamd64のportsバイナリは作ってないんで、makeが盛大に動いていたり。

ない => なかった

基本ports/packages第一弾 完了

SMPあり & 各種不要なデバイスを取り除いたカーネルに更新

cd /usr/src/sys/amd64/conf
config AMD64_COBRA_60
cd ../compile/AMD64_COBRA_60 <= AMD64_COBRA_60 はあらかじめ作成
make cleandepend; make depend; make -j 8

make install
sync
sync
sync
お祈り
reboot

もっとわかりやすい日本語で書けや

ping きたー

rootたんﾊｧﾊｧ

FreeBSD/SMP: Multiprocessor System Detected: 2 CPUs
cpu0 (BSP): APIC ID: 0
cpu1 (AP): APIC ID: 1

dual CPUを正しく認識。

ports 第二段インストール開始。でかいやつとか。
dual CPU認識後なので、make が早い。

日本語で書けボケ

なんか変(;･∀･)と思ったらこういう事か

root頑張ってるねroot

>>36
これはしつれい。

単なる、おれさまメモなんで。
ここでまとめとくと、他のサーバやる時に助かると。

そうかすまんかった

apache インストール
2.0.55

時間があきましたら>>25のシェルスクリプトについて教えてくれるとうれしいです。

人それぞれで書けばいいんでしょうけど。

PHPとextentionsインストール
4.4.0

>>41
たいしたことしてないです。

基本的には、( cd /usr/ports/ごにょ/むぎゅ; make clean install ) を、
決められた(2ch標準キット)ものを、たんたんと実行するだけですね。

>>43
ありがとうございます。
うちもその手で自動化することにします。

ports関係は、もっとかしこいやり方(portupgradeとかその他もろもろのports関係のツール)が
あると思うです。

amd64で更新するの、これがはじめてだったりするので。>>44

作業中に雑談する暇あるならさっさと終わらして早めに復帰させてくれ

/usr/ports/www/p5-CGI-SpeedyCGI
/usr/ports/sysutils/p5-Sys-CpuLoad
/usr/ports/net/p5-Net-CIDR-Lite

portsからインストール

>>46
終盤に入りました。特に問題なければ、当初予定通り4:30あたりには。

/usr/ports/japanese/p5-Jcode

インストール(bbs.cgi等で使用)

ジンギスカン(メモリディスク)を、ex11と同じmalloc+asyncに変更。

mod_cgidso をインストール

PV取得用logbufferプログラムをインストール

ジンギスカンの味はどうですか？

read.cgi を更新(FreeBSD 6.0用バイナリ)
# FreeBSD 5.x用バイナリでも動くはずだが、効率を考慮

offlaw.cgiは、とりあえず今のもの(FreeBSD 5.xバイナリ)を使用。
たぶん、動くかと。

お祈り
最終リブートテスト

>>53
ex11でいい味だったので、たぶんいけるんではないかと。

pingきたー。

きたー？

システムメッセージを確認(dmesg)
/md が自動でmountされたこと & 容量・iノード量・モードが問題ないことを確認

メモリディスクの内容を復元

httpdを自動起動するように設定

全作業完了したので、これからhttpdを動かします。

・見れたか
・書き込めたか

確認できたら、ここに報告くださいです。

大学生活にて専ブラ読み込み及び正常書き込み確認しました。

OKです、見られました。書き込めました。

>>62
競馬板ｵｯｹｰ☆⌒d(´∀｀)ノ

keiba 表示、read.cgi読み込み、bbs.cgi書き込み 問題なさげ。

>>63-65
どもです。
過去ログはいかが。

keiba で適当に見てみましたが、過去ログ(offlaw.cgi)も大丈夫そうですね。

しばらく、サーバの様子を観察するです。

大学生活板読み込み書き込みおｋです
過去ログは●持ってないんでなんとも（’A`;

しばらく見ていましたが、異常なさそうですね。

news4vipが来るかもしれないので、/md の大きさは ex11 と同じだけとってあります。
いつでも、移転可能かと。

ただ、>>1 にも書いたように、
今度数回程度サーバの計画的ダウン&作業が予想されてますので、
それ以降のほうがいいかもです。

ということで本日の作業は、ここまで。

乙でしたー

makeをbgに回してパラでやっちゃうとどうなるんだろう？
$ make なんたら/ > /dev/null & \
$ make かんたら/ > /dev/null & \
みたいな。。。
（make過程を捨てちゃダメダメ。。。）

>>72
確実に全部makeが通るなら、それでもよいのかも。

rootさん深夜の作業本当にお疲れ様でした。
競馬板自治にお越しいただいてありがとうございました。
風邪など召されません様、御身体御自愛なさって下さい。

ex10、メモリディスクを sortupdate ありのモードに変更します。
これから数分、httpd止めます。

>>75 作業終了。

今日は夜遅くまで本業につき。
news4vip の ex10 への移転は、頃合いをみてぼちぼちという感じで。

ＶＩＰ移動？

ｈｔｍｌすらできない俺が手伝いにきました＾－＾

簡単なCGIまでならできる俺がVIPからきました

なぜ狼じゃなくてVIPが移転？？？

>>78>>80
…ちょっとは調べてから書き込もうな。

★☆★【娘。】モー狼板運用情報【狼】17☆★☆
http://qb5.2ch.net/test/read.cgi/operate/1128664855/

186 名前：名無し募集中。。。 投稿日：2005/10/07(金) 16:49:19 ID:U2/srnQS0
じゃあVIPをex10に移転しちゃえよ
あいつら保全するような連スレ無いから500でも問題ないだろ

190 名前：FAX ★ 投稿日：2005/10/07(金) 16:50:21 ID:???0
>>186
そうすると言ってるだろが。。。

265 名前：FAX ★ 投稿日：2005/10/07(金) 17:06:57 ID:???0
狼はどっちでもいいのよ、好きなほうで、

決定事項は vip移転ex11->ex10 大きな入れ物にいれる、
だから ex10 500, ex11 700 にdat保持数変更
ex10はdatもRAMジンギスカンに変更

campus , keiba は ex10に居残り、苦しんでください(dat保持数減等もろもろ)


…苦しんで下さい、だとさ。

だったらスレ立て放題に戻してくれ・・・

ヒント：懲罰鯖

さすがＦＡＸ様

のんびり値　90秒にしてみるとかないかね

>>40
2.0.55ですか。。。
うへ？55出たんですか。
ちょっと公式ページ見てきまふ。。

というわけで2ch最大規模の板が移転し、本格的な耐久試験が始まりました。

たぶんあと何回か、システム更新がある予感。

ex10の試験が終わったらVIPがex11に戻る予感

予想の斜め上を行ってex10炎上して新鯖が……ねーよ('A`)

VIPだけじゃなくて、ex11=懲罰鯖　になり、すべて移転じゃねーの？

>>86
そんな事より何で1.3.34が消えたんだ？
http://httpd.apache.org/
http://72.14.203.104/search?q=cache:WMhvY2s76bQJ:httpd.apache.org/download.cgi+apache+1.3.34&hl=ja&ie=UTF-8&inlang=ja

サーバダウン(鯖落ち）情報　part81
http://qb5.2ch.net/test/read.cgi/operate/1129187861/216

216 名前：root▲ ★[sage] 投稿日：2005/10/19(水) 23:58:03 ID:???0 ?###
カーネルパニックで死んだのか。

oyster901# savecore
savecore: reboot after panic: page fault
savecore: writing core to vmcore.0

以降は、FreeBSD 6.0Rのスレで作業しよう。

ふむ、到着。

カーネルを最新に更新するです。

ちょっと、作業するね。
たぶん30分ぐらい。

ライブだったdatは、あぼーんということで。

そんで、bbs.cgi 止めています。
書けない状態。

馴れ合いpartスレ完全消滅ｷﾀｰ！

乙！

make update してカーネルを make 中。
クラッシュダンプはとれたので、後で原因を解析可能。

ここからは復旧作業なので、サーバダウンスレで作業するです。
ここは記録目的で。

root様乙であります！

おつかれさまだす。

>>96
落ちる前の？
落ちた後の？
両方？

>>98
おー何が出るかな

>>96
よかったね

GENERICならfreebsd-update使えYO!

rootﾀﾝ乙

partｽﾚあぼーんﾊﾞﾝｼﾞｬｰｨ∩(･ω･)∩

真っ白なキャンパス。
希望を描くか絶望を描くか。

ﾊﾞﾝｼﾞｬｰｨ∩(･ω･)∩

乙とかはサーバダウンスレへ移動してください
サーバダウン(鯖落ち）情報　part81
http://qb5.2ch.net/test/read.cgi/operate/1129187861/

ex自体に問題があるかもです。

再起動してみるのがよし

おｋです
書き込み成功しました

http://sports2.2ch.net/test/read.cgi/operatex/1114132963/

999 名前：動け動けウゴウゴ２ちゃんねる[] 投稿日：05/10/20(木) 00:15 ID:UoXsVhFM
999
douzo

1000 名前：動け動けウゴウゴ２ちゃんねる[] 投稿日：05/10/20(木) 00:15 ID:cqNm9dys
1000だったらVIP消滅

キタコレｗ

書き込み完了。
過去ログおｋ

んと、ここは原因究明とかの作業に使いたいんで、
すんませんがサーバダウンスレとかvip運用情報スレとかに、
行っていただけると助かるです。

なんだ落ちてると思ったら内部入れ替えか

%kgdb /boot/kernel.old/kernel vmcore.0
[GDB will not be able to debug user-mode threads: /usr/lib/libthread_db.so: Undefined symbol "ps_pglobal_lookup"]
GNU gdb 6.1.1 [FreeBSD]
Copyright 2004 Free Software Foundation, Inc.
GDB is free software, covered by the GNU General Public License, and you are
welcome to change it and/or distribute copies of it under certain conditions.
Type "show copying" to see the conditions.
There is absolutely no warranty for GDB. Type "show warranty" for details.
This GDB was configured as "amd64-marcel-freebsd".
(no debugging symbols found)...Attempt to extract a component of a value that is not a structure pointer.
(kgdb) where
#0 0xffffffff8026c83d in doadump ()
Cannot access memory at address 0xffffffffece415c8

うーむ。

工エｴェｪ（´д｀）ｪェｴエ工

ほんで、

calcru: runtime went backwards from 122068 usec to 122026 usec for pid 24240 (httpd)
calcru: runtime went backwards from 126839 usec to 126834 usec for pid 24240 (httpd)
calcru: runtime went backwards from 126839 usec to 126834 usec for pid 24240 (httpd)
calcru: runtime went backwards from 126839 usec to 126834 usec for pid 24240 (httpd)
calcru: runtime went backwards from 126839 usec to 126834 usec for pid 24240 (httpd)

ってのが、たくさん出ているです(これは6.0-RC1にしてからずっと)。

ソースを grep してみると、/usr/src/sys/sys/kern_resource.c で、
5.4Rのやつ (1.143) から diff とってみると (1.148) 、
まさに変わったところのようで。

これか。
http://www.freebsd.org/cgi/cvsweb.cgi/src/sys/kern/kern_resource.c?rev=1.146&content-type=text/x-cvsweb-markup
http://www.freebsd.org/cgi/cvsweb.cgi/src/sys/kern/kern_resource.c.diff?r1=1.145&r2=1.146

これがpanicの原因かどうかはわからんけど、
前と変わっていることには、かわりないなぁ。

ざっと読んでみると、マルチCPUでマルチスレッドの時っつーか、
別CPUが実行した分も含めて、
calcruをちゃんと計算できるようにした、ってことっぽいなぁ。

んで、それがぼみょーにばぐってるってゆうことなのかしら。

あげます

あげなくていいよ馬鹿

どうもF22がうまく動いてなかったらしく、どんどん/mdの下のdatがふくらんでいっていたらしい。
でもそれでpanicしちゃ、いまいちかも。

とりあえずなおしたので、実験は継続ということで。

epg.2ch.net も FreeBSD 6.0-RC1 にした。
厳密には別件だけど、PHP5 の虫を踏んだっぽいので、とりあえずメモ。

出ていたエラー:
PHP Fatal error: Cannot re-assign $this ...

■ テレビ番組欄＠2ch をつくろう 第3話
http://qb5.2ch.net/test/read.cgi/operate/1122520338/249

249 名前：root▲ ★[sage] 投稿日：2005/10/24(月) 03:23:18 ID:???0 ?###
むーん、

http://bugs.php.net/bug.php?id=34358

これを、踏んだ模様。
困ったな。

とりあえず、PHPを4.xに戻そう。
いったん落とします。

肝心なところでPHPはだめだなあ。

数日以内に、6.0R正式版のアナウンスが出る気配となりました。
出たところで、現在 6.0R で動いている ex10 と epg のバージョンアップを実施するです。
作業時には、一度30分～最大1時間程度 ex10 が止まります。

ex10 でのランニングテストで概ね問題なさげだったので
(一度だけF22の不具合を直す前にpanicしましたが)、
雪だるまシステムは最初からすべて、6.0R で動かそうかと。

>>127
× 現在 6.0R で動いている
○ 現在 6.0-RC1 で動いている

正式アナウンスが出たので、今日深夜あたりに6.0Rへの更新作業をしようかなと。
作業中は、ex10止まります。

特に問題が出なければ、ダウンタイムは15分程度の予定。

ほんじゃ、今日 1:00 から >>129 はじめるです。
サーバダウンスレにも、予告出してくるか。

始まった？

っぽいかな？
【待機します。】

鯖ｵﾜﾀ

鬼面カキコ

バージョンアップ作業は無事終了しました。

%uname -a
FreeBSD oyster901.maido3.com 6.0-RELEASE FreeBSD 6.0-RELEASE #0: Sat Nov 5 00:11:56 PST 2005 root@oyster901.maido3.com:/usr/obj/usr/src/sys/AMD64_COBRA_60 amd64

寝るﾉｼ

で、いくつかのサーバを6.0-RC1や6.0Rに上げたので、使用感を。

ログインしていくつかコマンド打ってディスク触ってまず、「軽い」と感じますね。
特にファイルシステム周りというか、ディスクをがりがり触る系のオペレーションでは、
明らかにそう感じます。

例えば、makeしながら他のことする時とかの、「ひっかかり感」が
明らかに軽減されたような気がするです。

ex10が問題なく動くようなら、次は思い切ってBG3/BG4をやってみるかな。

>138
ディスク関係は軽くなったってみんな言ってますね。
俺も 6.1 ぐらいになったら入れるかな…

そろそろ、live20を6.0Rにしようと思うわけですが、
今夜やるとしたら、いつごろからがいいのかしら。

所要時間は、2～3時間ぐらい。

TRICK・各種バラエティの終わる0時頃と言ってみる
後ろにずれ込む分には多少遅くなったところで問題はないかと。

へえ、２ｃｈもFreeBSDなんだ

>>141
そんなところですか。

んじゃ、0:30 あたりからにしますか。

といっても、下準備があるんだった。

明日(月～火曜にかけて)にするです。

日曜日深夜からでlive系で最近速いのって、、
ぱにぽに@livetxと、たまに日テレのドキュメントかぁ、、まぁ、どっちもlive16なんだなぁ。
フジもいちおうk-1&サッカーはあるけど

>>145
ふむふむ。

月～火にかけては、どうなんでしたっけ。

明日は地デジの試験だから、26:30から民放全局放送中止ですね
チャンスだなこれ

確かに明日は民放は2:30ころからいっせいに休みですねぇ。
赤いのはガンソードってやつだけねぇ、、まぁこれもlivetxだけど
http://epg.2ch.net/tv2chwiki/pukiwiki.php?%CC%C0%C6%FC

>>147-148
おぉー。

live16, live20 ともにやりたい気分。

確かに、民放はないですね。これは天の啓示か。
NHKはあるけど。
http://tv.yahoo.co.jp/vhf/tokyo/2005111423.html

今live20がバージョンアップ準備中だけど、live16も準備しておこう。

live20 作業完了。

live16作業完了。

あｇふぇ

おぉ、大規模人柱。

( ﾟдﾟ )

>>155
ひとまかせにすんな(謎

>>155
( ´д)ﾋｿ(´д｀)ﾋｿ(д｀ )

>>155
今のところ無問題ですね。
明らかに、パフォーマンスもアップしているです。

雪だるまのサーバは、6.0Rでいこうかと。

>>159
スレ違いっぽでごめんなさいなのー
epgのLAがまたとっても大きいみたいなんですが。。。

みてきます。>>160

httpd(たぶんPHP)が暴走状態ですね。
ちょっとhttpdの設定変えて、リブート中。

以後、動作報告スレにて。

>>155
えっと、いつもありがとうございます、
お世話になってます。

live22, live22x1 OS完了、基本ports完了。
live22x2, live22x3 OS完了

ex14も6.0R？

>>165
>>1
旧ex10=ex14=oyster901です

がんばれー！

がんばってください！

ｶﾞﾝｶﾞﾚ！

がんばって！

がんばってください

別府からきますた

がんば

>>170
だれ？

>>164
live22/22x1/x2/x3 6.0Rへの更新完了。

ソラリスぐらい買え。
●でぼったくってるくせに。

これ止めるか。
6.1R だし。

真・スレッドストッパー。。。(￣ー￣)ﾆﾔﾘｯ