2chnaviクローラ仕様変更

まぁ重いわけですよ。死ぬほど。で、色々変更。

• クロールの間隔を伸ばす - 様子見て大丈夫そうだったらまた戻します
  
• クロールの時間を多分空いてそうな時間帯に変更
• クロール処理を並列化させずにシングルプロセスに変更
• クロール処理を分割
• wadaino.jpからのデータフェッチをoff
• フィードごとにweightをつけてクローリングの間隔を調整
• httpdへの割当リソースをちょっと増やす

意外だったのは並列化の部分で、善かれと思ってやったけど、物理メモリもスワップも有限な環境だから、糞みたいなパフォーマンスになってた。

当分は様子みるけど、多分フィード取り忘れとかが多発する悪寒。

ネトランに掲載されていたらしい

http://www.new-akiba.com/netrunner/tools/0705/toku1.html

アクセス解析見ても、あんまり影響が見えない。どんな記事か見てみないとね。

2chnaviに検索機能とサイト別閲覧機能が追加されたよ

検索は右上の箱からやってくだちい。

例：野菜レイパー
あと、サイト一覧は、こちらです。
loadを見つつ、やばそうだったら検索は無くします。

2chnaviに検索機能をつけてみた

俺のマシンで。
案外真っ当なスピードで動作する感じがするので、気が向いたらアップロードするかもしれない。

要望が結構あったけど、使ってみるとベジタレイパーとかすぐ検索できて便利だな。

2chnaviが（多分）軽くなったよ

とりあえず変更を反映。

理屈的には速くなるはずなんだけど、プロファイリングが面倒臭かったからどのくらい速くなったかよくわかんない。

2chnaviが軽くなるよ

vpsだからってコンピュータって超速いから大丈夫だろ。そう考えていた時期がありました。

まぁ、オープンして3日したらすでに死ぬほど重かったんだけど、面倒くさくて全然修正してなかった。
php用プロファイラを作ってた時に試しに2chnaviのプロファイリングをしてみたところ、やっぱり想像してた通りの箇所が死ぬほど時間を食っており、どう見てもプロファイラすらいりません。本当にありがとうございました。

ちょっと色々修正して大分マシな作りに変えたので、多分週末辺りに圧倒的に快適になるはずです。

あと、過去ログの機能ももうそろそろ公開するかもしれない。