MyNETSソーシャルマップ検索の高速化(Tritonn対応)

2009年9月にUsagi-projectに寄稿したもの。

現状のMyNETSでデータ量が増えて出てくるボトルネックとして、以前日記検索がlikeで行われている状況を改善するためTritonnを使った高速化を紹介しました。

これでしばらく高負荷が発生するのを防げていたのですが、次のボトルネックが発生してきました。それが個人TOPページのサムネ下「ソーシャルマップ」のページの表示です。

このページを開くと全日記本文+コメント及び全トピックコメントからGoogleMap用のcmdをlike検索するため、大きな負荷が発生することになりました。

そこでここもTritonnで対策したので、対応方法を紹介しておきます。

ーーー
■データベースにindex追加

[code]
ALTER TABLE c_diary_comment ADD FULLTEXT fullindex USING SENNA,NGRAM,NORMALIZE (body);
ALTER TABLE c_commu_topic_comment ADD FULLTEXT fullindex USING SENNA,NGRAM,NORMALIZE (body);
[/code]

■webapp/lib/db/read/gmaps.phpを修正

[code]
function p_h_gmaps_list_all_search_c_diary4c_diary($keyword, $page_size, $page)
{

//and検索を実装
//subject,body を検索
if ($keyword) {
//全角空白を半角に統一
$keyword = str_replace(‘ ’, ‘ ‘, $keyword);

$keyword_list = explode(‘ ‘, $keyword);
foreach ($keyword_list as $word) {
$word = check_search_word($word);
$where_d .= ‘ AND (‘. MYNETS_PREFIX_NAME .’c_diary.subject LIKE “%’.$word.’%” OR ‘. MYNETS_PREFIX_NAME .’c_diary.body LIKE “%’.$word.’%”)’;
$where_dc .= ‘ AND (‘. MYNETS_PREFIX_NAME .’c_diary.subject LIKE “%’.$word.’%” OR ‘. MYNETS_PREFIX_NAME .’c_diary_comment.body LIKE “%’.$word.’%”)’;
}
}
[/code]

の部分を以下に修正(MYNETS_PREFIX_NAMEは無しで仮定)

[code]
function p_h_gmaps_list_all_search_c_diary4c_diary($keyword, $page_size, $page)
{

//and検索を実装
//subject,body を検索
if ($keyword) {
//全角空白を半角に統一
$keyword = str_replace(‘ ’, ‘ ‘, $keyword);
//SQL Injection対策
$keyword = str_replace(‘\\’, ”, $keyword);
$keyword = str_replace(‘”‘, ”, $keyword);
$keyword = str_replace(‘;’, ”, $keyword);
$keyword = str_replace(‘)’, ”, $keyword);

$keyword_list = explode(‘ ‘, $keyword);
foreach ($keyword_list as $word) {
$word = check_search_word($word);
$where_d .= ‘ AND MATCH (c_diary.subject, c_diary.body) AGAINST (“‘ .$keyword. ‘” IN BOOLEAN MODE)’;
$where_dc .= ‘ AND (MATCH (c_diary.subject, c_diary.body) AGAINST (“‘ .$keyword. ‘” IN BOOLEAN MODE) OR MATCH (c_diary_comment.body) AGAINST (“‘ .$keyword. ‘” IN BOOLEAN MODE))’;
}
}
[/code]

以下の検索コードをそれぞれ置換する。全部で17カ所。
(MYNETS_PREFIX_NAMEは無しで仮定)

日記本文検索部分
[code]
” WHERE ” . MYNETS_PREFIX_NAME . “c_diary.body like ‘%%'” .
[/code]
 ↓
[code]
” WHERE match(c_diary.subject, c_diary.body) against (\”%'” .
[/code]
 ↓
[code]
” WHERE match(c_diary_comment.body) against (\”%'” .
[/code]
 ↓
[code]
” WHERE match(c_commu_topic_comment.body) against (\”

, ,
とりあえず付けておく無駄ではなかったなまぁまぁ読めたちょっと役に立ったかなかなり良かったかも (まだ評価されていません)
Loading...

MyNETSの日記検索高速化(Tritonn導入)

2009年6月にUsagi-Projectに寄稿したもの。

日記データが膨大になってきて日記検索のI/Oがサーバ全体の足を引っ張るようになってきたので、検索の高速化をしてみました。
方法はmysqlを日本語全文検索対応のTritonnプロジェクト版に変更し、それに合わせて検索部分を修正します。

手元の日記データ37万件400Mくらいのc_diaryテーブルをPentiumM1.6GHzのマシンで検索したところ(検索クエリは後述)検索速度が15倍以上になりました。

 LIKE検索 平均5.3秒
 Tritonn検索 平均0.3秒

以下手順。

1)Tritonnインストール(CentOS5サーバの場合

まずは既存のDBを念のためバックアップ
[code]# mysqldump -u root -p mynets_db > dump.sql[/code]

mysqlを置き換えるためmysqlのインストールを確認
[code]# rpm -qa | grep -i mysql
mysql-5.0.45-7.el5[/code]

mysqlをremove
通常dovecotで利用されているので、dovecotを停止してから作業
[code]# service dovecot stop
# yum remove mysql[/code]

perl-DBIのインストールを確認
[code]# rpm -qa | grep -i perl-DBI
perl-DBI-1.52-1.fc6[/code]

最新のtritonn-1.0.12-mysql-5.0.67パッケージ群をダウンロード
[code]# mkdir download
# cd download/
# wget http://iij.dl.sourceforge.jp/tritonn/36448/MySQL-client-5.0.67-tritonn.1.0.12.i386.rpm
# wget http://iij.dl.sourceforge.jp/tritonn/36448/MySQL-devel-5.0.67-tritonn.1.0.12.i386.rpm
# wget http://iij.dl.sourceforge.jp/tritonn/36448/MySQL-server-5.0.67-tritonn.1.0.12.i386.rpm
# wget http://iij.dl.sourceforge.jp/tritonn/36448/MySQL-shared-5.0.67-tritonn.1.0.12.i386.rpm
# wget http://iij.dl.sourceforge.jp/tritonn/36448/mecab-0.97-tritonn.1.0.12.i386.rpm
# wget http://iij.dl.sourceforge.jp/tritonn/36448/mecab-ipadic-2.7.0.20070801-tritonn.1.0.12.i386.rpm
# wget http://iij.dl.sourceforge.jp/tritonn/36448/senna-1.1.4-tritonn.1.0.12.i386.rpm[/code]

以下の順番でインストール
[code]# rpm -ivh mecab-0.97-tritonn.1.0.12.i386.rpm
# rpm -ivh mecab-ipadic-2.7.0.20070801-tritonn.1.0.12.i386.rpm
# rpm -ivh senna-1.1.4-tritonn.1.0.12.i386.rpm
# rpm -ivh MySQL-shared-5.0.67-tritonn.1.0.12.i386.rpm
# rpm -ivh MySQL-client-5.0.67-tritonn.1.0.12.i386.rpm
# rpm -ivh MySQL-server-5.0.67-tritonn.1.0.12.i386.rpm
# rpm -ivh MySQL-devel-5.0.67-tritonn.1.0.12.i386.rpm[/code]

MySQLはインストール後すぐに起動するのでrootのパスを設定
[code]# /usr/bin/mysqladmin -u root password ‘rootpassword'[/code]

MySQLへのログイン確認
[code]# mysql -u root -p
Enter password:

Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 7
Server version: 5.0.67-modified MySQL Community Server (GPL) (portions (c) Tritonn Project)

Type ‘help;’ or ‘\h’ for help. Type ‘\c’ to clear the buffer.

mysql>[/code]

これでTritonnのインストール完了

入れ替え前のDBもたぶん大丈夫なはずだが、もし使えない時には新規にDB作成して、バックアップデータをリストアする
[code]# mysql -u root -p
mysql> CREATE DATABASE mynets_db DEFAULT CHARACTER SET utf8;
mysql> quit
# mysql -u root -p mynets_db < dump.sql[/code] 2)Tritonn用のindex作成
[code]# mysql -u root -p
mysql> use mynets_db;
mysql> ALTER TABLE c_diary ADD FULLTEXT fullindex USING NGRAM,SECTIONALIZE (subject, body);[/code]

件数が多いと相当時間がかかるのでじっと待つ
完了したらテスト検索してみる(testで検索)
[code]mysql> SELECT * FROM c_diary WHERE (public_flag = ‘public’ or public_flag = ‘open’) AND MATCH (subject, body) AGAINST (“test”) ORDER BY r_datetime DESC;[/code]

LIKE検索と時間を比較してみる
[code]mysql> SELECT * FROM c_diary WHERE (public_flag = ‘public’ or public_flag = ‘open’) AND (subject LIKE ‘%test%’ or body LIKE ‘%test%’) ORDER BY r_datetime DESC;[/code]

3)MyNETSの検索部分の修正

webapp/lib/db/read/diary.phpの新規日記検索の項目を以下のように修正

$s[code]elect = ‘SELECT *’;
$from = ‘ FROM ‘ . MYNETS_PREFIX_NAME . ‘c_diary’;
$where = ” WHERE (public_flag = ‘public’ or public_flag = ‘open’)”;

if ($keyword) {
//全角空白を半角に統一
$keyword = str_replace(‘ ’, ‘ ‘, $keyword);
//SQL Injection対策
$keyword = str_replace(‘\\’, ”, $keyword);
$keyword = str_replace(‘”‘, ”, $keyword);
$keyword = str_replace(‘;’, ”, $keyword);
$keyword = str_replace(‘)’, ”, $keyword);
$keyword = check_search_word($keyword);

$where .= ‘ AND MATCH (subject, body) AGAINST (“‘ .$keyword. ‘” IN BOOLEAN MODE)’;

}
$order = ” ORDER BY r_datetime DESC”;[/code]

, , , ,
とりあえず付けておく無駄ではなかったなまぁまぁ読めたちょっと役に立ったかなかなり良かったかも (まだ評価されていません)
Loading...

mysqlデータベース障害対応手順

問題のあるテーブルを特定
/var/log/mysqld.log を確認

# mysqlcheck -u root -p -c -q -A
念のためデータベース全チェック。

# cd /var/lib/mysql/dbname/
# mysqld_multi stop 1 (1番のmysql停止)

通常のmysql停止コマンドは
# service mysqld stop
ここでは複数起動設定のためmysqld_multiを使用

CPU100%張り付き等でプロセスが終了してくれない場合には
# ps aux | grep mysql
プロセス番号を確認して強制終了
# kill -9 プロセス番号

# mv tablename.TMD tabelname.TMD.org
# myisamchk -v -q tablename.MYI

-qがダメなら-rで。
# myisamchk -v -r tablename.MYI

修復が終わったら確認

# mysqld_multi start 1
# mysqlcheck -u root -p -c -q -A

データに問題がなければ、念のためデータベースのdump
# mysqlqump -u root -p -e dbname > dbname.sql

以下のやり方もあるけど時間かかるのでオススメしない。
# mysql -u root -p
> use databasename
> check table tablename quick;
> repair no_write_to_binlog table tablename quick;

だめなら

> repair no_write_to_binlog table tablename use_frm;

長時間かかる。

,
とりあえず付けておく無駄ではなかったなまぁまぁ読めたちょっと役に立ったかなかなり良かったかも (まだ評価されていません)
Loading...

CentOS5 VPN設定

pptpdのインストール

# wget http://pptpclient.sourceforge.net/yum/stable/rhel5/pptp-release-current.noarch.rpm
# rpm -ivh pptp-release-current.noarch.rpm
# yum install pptpd

# vi /etc/pptpd.conf
 localip remoteip を設定

# vi /etc/ppp/options.pptpd
 name ms-dns を設定

# vi /etc/ppp/chap-secrets
 client server secret IPaddressesを設定

# vi /etc/sysconfig/iptables
 設定を追加
 -A RH-Firewall-1-INPUT -i ppp0 -j ACCEPT
 -A RH-Firewall-1-INPUT -p gre -j ACCEPT
 -A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 1723 -j ACCEPT

 

,
とりあえず付けておく無駄ではなかったなまぁまぁ読めたちょっと役に立ったかなかなり良かったかも (まだ評価されていません)
Loading...

SKIPインストール手順(CentOS5)

CentOS5系へのインストール手順
rubyの最新安定版インストール

# cd /home/user
# mkdir download
# cd download
# wget http://core.ring.gr.jp/archives/lang/ruby/ruby-1.8.7-p72.tar.gz
# tar zxvf ruby-1.8.7-p72.tar.gz
# cd ruby-1.8.7-p72
# yum install gcc automake
# ./configure
# make
# make install
# ruby -v
ruby 1.8.7 (2008-08-11 patchlevel 72) [i686-linux]

rubygemsの最新版インストール

# cd ../
# wget http://rubyforge.org/frs/download.php/45905/rubygems-1.3.1.tgz
# tar zxvf rubygems-1.3.1.tgz
# cd rubygems-1.3.1
# ruby setup.rb

Railsと必要なものをインストール

# gem install gettext
# gem install fastercsv
# gem install ruby-openid
# gem install rspec
# gem install rails –version 2.1.2
# ln -s /usr/lib/mysql /usr/local/lib/
# gem install mysql

SKIPのインストール

# cd ../
# wget http://www.openskip.org/download/release/skip-1.0.1.tar.gz
# tar zxvf skip-1.0.1.tar.gz
# cd skip-1.0.1
# cp config/initial_settings.yml.sample config/initial_settings.yml
# cp config/database.yml.sample config/database.yml

SKIP初期設定(mysqlデータベース作成含む)

# vi config/initial_settings.yml
# vi config/database.yml
# RAILS_ENV=production rake –trace db:create
# RAILS_ENV=production rake –trace db:migrate
# ruby lib/create_new_admin_url.rb –code
“activation_codeを発行しました。初期管理者登録用URLは以下の通りです。”
“http://localhost:3000/admin/users/new/first?code=32dec04cc838f2f9c5788cxxxxxxxxxxxxx”

SKIP起動

# ruby ./script/server -e production

, ,
とりあえず付けておく無駄ではなかったなまぁまぁ読めたちょっと役に立ったかなかなり良かったかも (まだ評価されていません)
Loading...

CentOS5サーバ設定のインストール手順

試験環境用のインストール手順

1)CentOS5のインストール

CentOS5.2install CDで起動

サーバ設定でインストール
webサーバとmailサーバのみ選択
php関連を選択
sendmailの代わりにpostfix選択

2)起動後、不要なサービスを停止

ipv6関連不要
selinuxはdisable
http/https/smtpのみFWオープン

起動サービスは以下に設定
 cpuspeed
 crond
 httpd
 iptables
 irqbalance
 network
 sendmail(最初はpostfixリストされない)
 readahead_early
 sshd
 syslog

3)起動後メンテナンス経路設定
rootでlogin
sshd設定変更

[code]# vi /etc/ssh/sshd_config[/code]

#PermitRootLogin yes を PermitRootLogin yes に変更(ローカル鯖)
#Port 22 を Port 10022 に変更

iptablesの修正

[code]# vi /etc/sysconfig/iptables[/code]

-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 10022 -j ACCEPT 行追加

サービスを再起動
[code]# service sshd restart
# service iptables restart[/code]

以下のコマンドでメンテマシンからアクセス
ssh -p 10022 root@サーバアドレス

4)サーバ設定を行う

sendmailをremove
[code]# yum remove sendmail[/code]

postfixを起動サービスで追加
[code]#ntsysv[/code]

必要ならproxy設定を追加
[code]# vi /etc/profile.d/proxy.csh

setenv http_proxy http://プロキシURL:ポート/
setenv HTTP_PROXY http://プロキシURL:ポート/

# vi /etc/profile.d/proxy.sh

export http_proxy=http://プロキシURL:ポート/
export HTTP_PROXY=http://プロキシURL:ポート/[/code]

yumによるアップデートの準備

EPELリポジトリ追加
[code]# wget http://download.fedora.redhat.com/pub/epel/5/i386/epel-release-5-3.noarch.rpm
# rpm -ihv epel-release-5-3.noarch.rpm

# yum update[/code]

リストされたものをインストールし、念のため再起動

5)高機能メールサーバCommunigateProをインストール

phpアプリで必要なケースが多いのでpostfixを活かしたままCGPを有効にする
postfix側の設定変更
[code]# vi /etc/postfix/master.cf[/code]

smtp inet n – n – – smtpd

#smtp inet n – n – – smtpd

[code]# vi /etc/postfix/main.cf[/code]

mydestination = $myhostname, localhost.$mydomain, localhost

mydestination = localhost

追記
relayhost = 自IPアドレス

[code]# service postfix start[/code]

postfixがsmtpをLISTENしてないことを確認
[code]# lsof -i[/code]

最新版のCGPをダウンロードしてインストール
[code]# wget http://www.communigate.com/pub/CommuniGatePro/CGatePro-Li…
# rpm -ivh CGatePro-Linux.i386.rpm
# service CommuniGate start[/code]

CGPの管理画面にアクセスするためにiptableでポート追加
[code]# vi /etc/sysconfig/iptables[/code]

-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 8010 -j ACCEPT 行追加

[code]# service iptables restart[/code]

ブラウザでhttp://サーバIPアドレス:8010/へアクセスして設定
Coomunityライセンス下で5ユーザまで無料で利用できる

6)日本語全文検索対応mysql/Tritonnインストール

mysqlを置き換えるためmysqlがインストールされているか確認

[code]# rpm -qa | grep -i mysql
mysql-5.0.45-7.el5[/code]

mysqlをremove
[code]# yum remove mysql[/code]

perl-DBIのインストールを確認

[code]# rpm -qa | grep -i perl-DBI
perl-DBI-1.52-1.fc6[/code]

最新のtritonn-1.0.12-mysql-5.0.67パッケージ群をダウンロード

[code]# mkdir download
# cd download/
# wget http://iij.dl.sourceforge.jp/tritonn/36448/MySQL-client-5.0.67-tritonn.1.0.12.i386.rpm
# wget http://iij.dl.sourceforge.jp/tritonn/36448/MySQL-devel-5.0.67-tritonn.1.0.12.i386.rpm
# wget http://iij.dl.sourceforge.jp/tritonn/36448/MySQL-server-5.0.67-tritonn.1.0.12.i386.rpm
# wget http://iij.dl.sourceforge.jp/tritonn/36448/MySQL-shared-5.0.67-tritonn.1.0.12.i386.rpm
# wget http://iij.dl.sourceforge.jp/tritonn/36448/mecab-0.97-tritonn.1.0.12.i386.rpm
# wget http://iij.dl.sourceforge.jp/tritonn/36448/mecab-ipadic-2.7.0.20070801-tritonn.1.0.12.i386.rpm
# wget http://iij.dl.sourceforge.jp/tritonn/36448/senna-1.1.4-tritonn.1.0.12.i386.rpm [/code]

以下の順番でインストール

[code]# rpm -ivh mecab-0.97-tritonn.1.0.12.i386.rpm
# rpm -ivh mecab-ipadic-2.7.0.20070801-tritonn.1.0.12.i386.rpm
# rpm -ivh senna-1.1.4-tritonn.1.0.12.i386.rpm
# rpm -ivh MySQL-shared-5.0.67-tritonn.1.0.12.i386.rpm
# rpm -ivh MySQL-client-5.0.67-tritonn.1.0.12.i386.rpm
# rpm -ivh MySQL-server-5.0.67-tritonn.1.0.12.i386.rpm
# rpm -ivh MySQL-devel-5.0.67-tritonn.1.0.12.i386.rpm[/code]

MySQLはインストール後すぐに起動するのでrootのパスを設定

[code]# /usr/bin/mysqladmin -u root password ‘rootpassword'[/code]

MySQLへのログイン確認

[code]# mysql -u root -p
Enter password:

Welcome to the MySQL monitor. Commands end with ; or ¥g.
Your MySQL connection id is 7
Server version: 5.0.67-modified MySQL Community Server (GPL) (portions (c) Tritonn Project)

Type ‘help;’ or ‘¥h’ for help. Type ‘¥c’ to clear the buffer.

mysql>[/code]

これでTritonnのインストール完了

mysqlのサーバ設定をする 環境に合わせてcnfを選択
[code]# cp /usr/share/mysql/my-large.cnf /etc/my.cnf[/code]

utf8で使いたい場合には以下の行を各項目で追記
[mysqld]
default-character-set = utf8
[mysqldump]
default-character-set = utf8
[mysql]
default-character-set = utf8

サービス再起動で設定反映(mysqldでないことに注意)
[code]# service mysql restart[/code]

設定変更を確認
[code]# mysql -u root -p
mysql> status

Server characterset: utf8
Db characterset: utf8
Client characterset: utf8
Conn. characterset: utf8
…[/code]
となっていればOK

7)SNSサーバ(MyNETS)としての設定

MyNETSに必要なコンポーネントをインストール

[code]# yum install php-mcrypt php-mbstring php-gd php-mysql php-xmlrpc php-xml php-eaccelerator ImageMagick[/code]

httpd.conf編集

[code]# vi /etc/httpd/conf/httpd.conf[/code]

不要モジュールの無効化
munin用にステータス取得
他適宜必要に応じて。

試験サーバ用設定ファイル作成

[code]# vi /etc/httpd/conf.d/virtual.conf[/code]

, , , ,
とりあえず付けておく無駄ではなかったなまぁまぁ読めたちょっと役に立ったかなかなり良かったかも (まだ評価されていません)
Loading...