■D520にScientific Linux 5.6をインストールしたメモ
 CentOS5系からScientific Linux5系に移行するため、Dell D520にインストールを行った時のメモ。D520には4Gの物理メモリが搭載可能だがファームウェアの制限で4Gフルに利用することができない。ファームウェアがA04だったため最新のA08に入れ替えても同様だった(ファームウェアアップデートにはWindows OSが必要になるので注意)。ファームウェアで認識してくれないため、x86_64版のScientific Linuxをインストールしても最大メモリは約3.3Gとなる。HDDは日立製HTS723232A7A364。とても静かでシーク音もほとんど聴こえないくらい。D520のアイドル時の消費電力は18-32W程度。平均して26Wくらいか。ある程度稼働している状況で55Wくらい。

■ファームウェアの設定
 F2キーで設定画面。シリアル・パラレル・1394・PCカードなど使わないオンボードデバイスは全てオフ。サーバとして利用するのでディスプレイの輝度も最小に設定。HDDはperformance設定。

■インストール設定覚書
・パーテーション
 /boot 101M
 / 299872M
 swap 5248M
・ネットワーク
 IPv4は固定設定
 IPv6はDisableに
・インストールコンフィグ
 Serverのみチェック 
 今すぐカスタマイズ
・カスタマイズ内容
 SL Addon
  以下の2つをチェック
  FUSE
  Yum Utility
   yum-conf-epel yum-fastestmirrorのみチェック
 アプリケーション
  エディタとテキストベースのインターネットのみ
 サーバ
  以下の3つだけにして更に一部修正する
  MySQLデータベース mysql-python外す
  Webサーバ httpd-manual mod-perl mod-python php-ldap squid tux webalizer外す
        php-mysql付ける
  メールサーバ postfixとcyrus-sasl sendmailのみ
 ベースシステム
  java ダイアルアップネットワークサポートの2つ外す
・Firewall Configration
 SELinuxをDisable
 カスタマイズで HTTP/HTTPS/SMTPを追加
・System Services
 以下のものだけチェック
  cpuspeed
  crond
  dnsmasq
  httpd
  iptables
  irqbalance
  microcode_ctl
  network
  sendmail(最初はpostfixリストされない)
  smartd
  readahead_early
  sshd
  syslog
・再起動しておく

■再起動後基本設定
・まずはアップデート
 # yum update
・sshdとiptablesの設定変更
 # vi /etc/ssh/sshd_config
  #Port 22 を Port 10022 に変更
 # vi /etc/sysconfig/iptables
  -A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 10022 -j ACCEPT 追加
 # service sshd restart
 # service iptables restart
・sendmailからpostfixに変更
 # yum remove sendmail
 # ntsysv でpostfixにチェックがついているか確認

■パフォーマンス設定
・noatime設定の追加
 # vi /etc/fstab
  LABEL=/ / ext3 defaults,noatime 1 1 noatimeを追記
 # mount -o remount / で再マウント
 # mount でnoatimeが有効になっているか確認
  /dev/sda on / type ext3 (rw,noatime)
・I/Oスケジューラを変更
 # vi /etc/rc.d/rc.local
  echo deadline> /sys/block/sda/queue/scheduler 追記
 # cat /sys/block/sda/queue/scheduler で確認
  noop anticipatory [deadline] cfq
・利用可能な内部通信socketを増やす
 # vi /etc/rc.d/rc.local
  echo 16384 65535 > /proc/sys/net/ipv4/ip_local_port_range 追記
 # cat /proc/sys/net/ipv4/ip_local_port_range で確認
  16384 65535
・プロセススワップを抑制
 # vi /etc/sysctl.conf
  vm.swappiness = 0 追記
・1プロセスが同時に開けるファイル数を増やす
 # vi /etc/security/limits.conf
  root soft nofile 25600
  root hard nofile 25600
  mysql soft nofile 12800
  mysql hard nofile 12800
  apache soft nofile 12800
  apache hard nofile 12800 追記
・再起動して設定が有効なことを確認

ここからはSNS用サーバ設定を追加していく予定。
長文になるため別記事にする。


関連性の高い記事 by Simple Tags :

, ,
とりあえず付けておく無駄ではなかったなまぁまぁ読めたちょっと役に立ったかなかなり良かったかも (まだ評価されていません)
Loading...

■SNS用超低消費電力高C/Pサーバの構築
 夏に向けて節電も兼ねて超低消費電力且つ高C/Pのサーバを構築する。停電対策として現在の環境にはUPSを導入してはいるものの、消費する電力は少ないに越したことはない(UPSで稼働可能な時間も延長できる)ので、コンパクトで静音という条件も加えて検討した。最終的に以下の構成でFix。

■構成パーツ
ケース
 岡谷 MX1203-BK Mini-ITX 200W SFX電源付き ¥5,980
CPU
 Intel Core i5 i5-2500 BOX ¥17,480
CPUクーラー
 サイズ 薄型CPUクーラー KOZUTI ¥3,000
マザー
 ASRock H67M-ITX ¥8,898
SFX電源
 SilverStone SST-ST45SF 80PLUS Bronze対応 ¥7,880
メモリー
  CFD Elixir DDR3 SDRAM PC3-10600 4Gx2 ¥6,436(合計8G)
HDD
 Hitachi Z7K-320 ¥4,270(2.5インチ 7mm 320G)
SSD
 Micron C300 MTFDDAC064MAG-1G1 ¥8,980(2.5インチ 64G)
VGA
 オンボード
HDD4台用5インチベイラック
 CVS CV-EB6400-BK ¥4,980
SATA 20cmケーブル
 Owltech OWL-CBSATA-SS20(SL) ¥720×4

合計金額 70,744円

■組立上で気にした(なった)こと
・MX1203-BKに追加されたサイドファンは低速ではとても静か
・H67M-ITXのファンコントロール機能で調整可能なので便利
・むしろ電源の方がMX1202-BKよりも煩い(ロットによる?)
・KOZUTIはMX1203-BKにぴったり!ただし2600回転越えると煩い
・H67M-ITXはCPU周辺に背の高いパーツがないのでKOZUTIでもOK
・ただしPCI Expressスロットは干渉して利用できない
・H67M-ITXはメモリの相性にシビアらしいがElixirは問題なく起動した
・ディスクを4つ詰める5インチベイラックを導入したのはI/O分散のため
・マザボはRAID対応だがSATA 3Gx2 SATA 6Gx2という構成
・3GをHDDに、6GをSSDに割当て長期的なI/O分散を意識
・サーバ交換後既存サーバのディスクを時期を見て追加予定
・CV-EB6400-BKは低価格&ファン付きで冷却が良さそうなので購入
・ファンは静かで問題なしだがトレイが樹脂製なのでHDDよりはSSD向き
・7mmのZ7K-320を選択したのはやはり冷却を意識して
・SSDは4kランダムの性能を重視して価格バランスを見て選択
・電源は安定出力と低消費電力&静音のバランスを見て80Plusからを選択
・MX1203-BKの大きさの制約上奥行き10cmのSST-ST45SFで決定
・SST-ST45SFはめちゃくちゃ静か!排気効率もいい!
・CPUはクロックとコストのバランスでi5-2500を選択
・現i7 860に対してスレッド数は半分になるがクロックが上がるので相殺
・ロードアベレージが高くないので1タスクの処理時間短縮を狙う(検索とか)

■消費電力と静音性
 Ubuntuでの動作実験では起動からアイドル状態になるまでの消費電力は、現在のサーバがピーク93W・アイドル32Wのところ、この構成のサーバではピーク56W・アイドル21Wで安定しており、約3割の消費電力削減に成功した。静音に関してはCPUクーラーのKOZUTIが最大の騒音原因になるが、H67M-ITXのBIOS上でのファンコントロール機能で通常レベル3に設定することで2400回転程度で動作、CPUのアイドル状態の温度は約41度安定(室温26度)という感じで、僅かに音は感じるがほとんど気にならないレベルに抑えることができている。現状のCore i7 860でCPU Usageが200%をめったに越えず、load avarageも平均で0.7、最大でも16程度なので、控えめなファン回転数でも十分対応可能と推測する。

■まとめ
 この構成は約7万でコンパクト且つ静音、そして超低消費電力且つ高C/Pとおよそ目標を果たせたと思う。とりあえず約3割の消費電力削減が可能になったが、夏場に向けて温度変化を確認するための長時間稼働試験などが必要になると思っている。MX1203-BKは容積が小さいため、排気がうまくいかないと熱がこもりやすく障害につながることが容易に推測されるので、実際のサーバ設定などを入れてある程度の負荷試験を行い、内部温度変化などをチェックする必要があると思われる。設置スペースの関係で小さなケースを選択したが、Linuxサーバとしては非常にコンパクト且つ高スペックになっているので、この構成でうまく行くと非常に嬉しい。サーバOSとしてはこれまでのCentOSに変えてScientific Linux 6を導入予定なので、こちらの設定記事も安定したら書こうと思う。


関連性の高い記事 by Simple Tags :

, ,
とりあえず付けておく無駄ではなかったなまぁまぁ読めたちょっと役に立ったかなかなり良かったかも (1 投票, 平均値/最大値: 5.00 / 5)
Loading...

■MacBookにScientific Linux 6をインストールしたメモ
 CentOSの先行きが怪しい感じになってきたので、乗換えを画策しScientific Linux 6を試してみた。UbuntuでなくCentOSと同じRH系のScientific Linuxを選択したのは、既存環境をスムーズに移行させることを前提とすることと、CommuniGate Proがdeb形式のインストーラで提供されていないため。仕事の面からもRH互換なのは何かと便利。

 Scientific Linux 6
 http://www.scientificlinux.org/

■インストール
 上記URLから32bitもしくは64bitのisoをダウンロードしてDVDに焼く。MacBookにDVDを挿入してオプションキーを押しながら起動して、DVD選択して起動。そのままHD全部使ってGUIに従ってインストールすればOK。簡単。再起動後もすんなり起動しちゃって、むしろ簡単過ぎてびっくり。便利になったなぁ。

 試験用途だけだしと、最初Pemtium MのDell D600に32bit版をインストールしようと思って試したら、32bit版なのにCPUがpae対応してないからと言われてインストールできなかった…orz。もはやPemtium Mですらインストールさせてくれないようになったのね…。

■インストールの際ケアすることは以下
・Scientific Linuxのftpはそんなに速くないので当初DVD構成のみでインストール
・起動後、/etc/yum.repo.d/でリポジトリを近くのミラーサイトに手作業で修正
・yum-plugin-fastestmirrorは標準導入されていないしインストールしてもリスト少ない
・ミラーリストは以下
 http://www.scientificlinux.org/download/mirrors
・ミラー直接指定するなら国内ではjaist辺りがオススメ。
 http://ftp.jaist.ac.jp/pub/Linux/scientific/
・rikenはupdate以下が4月中旬以降更新されていないので注意

 CentOSが最新で5.6のところ、Scientific Linuxは6.0でRH6.x系に対応済み+科学技術用途のため、起動しているデーモンなど細かいところで差異があるようなのでこれから調査。このblogサーバも含めて6月には移行実験を行って、本命マシンを8月移行できるように調整していく予定。

【追記】
 その後結局MacBookはLion試験用に。Dell D520を試験用に購入し現在試験中。そちらの記事は以下。

 D520にScientific Linux 5.6をインストールしたメモ
 http://blog.isnext.net/issy/archives/1281
 Scientific Linux 5.6でSNSサーバを構築するメモ
 http://blog.isnext.net/issy/archives/1289
 Scientific Linux 5.6にphp5.2.xを導入するメモ
 http://blog.isnext.net/issy/archives/1299
 Scientific Linux 5.6でrootkitチェック
 http://blog.isnext.net/issy/archives/1318


関連性の高い記事 by Simple Tags :

, , ,
とりあえず付けておく無駄ではなかったなまぁまぁ読めたちょっと役に立ったかなかなり良かったかも (まだ評価されていません)
Loading...

SNS用高C/P CentOSサーバの構築

■SNS用高C/Pサーバの構築
 現在さくらインターネットで運用しているSNSサーバの維持運用が、データ量やネットワークトラフィック、支払い金額のバランスで厳しくなってきたため、自宅運営のネットワークに移転できるよう専用サーバを構築する。構築条件は現状からスペックを大きく落とすのは厳しいため、以下のように設定する。

現状のサーバ
  NEC i120Ra-e1 QuadCore Xeon 2CPU
  CPU Intel Xeon L5410 2.33GHz x2
  メモリ 8GB
  HDD 750GB RAID1
  回線 10M共有回線
  年間費用 48万円

移行後のサーバ
  自作PC Core i7 860 2.8GHz
  メモリ 8GB
  HDD 500GB 以上(一部SSD)
  回線 Bフレッツ100M共用
  年間費用想定 12万円(ハード込み)

 物理8コアから論理8コアへ、メモリは現状維持、HDDはRAIDを行わない代わりに同居他サーバにバックアップを取得する。SNSデータのパフォーマンス確保のためSSDを導入する。SSDは1年に1回入れ替えを想定する。

■構成パーツ
ケース
 Antec NSK3480 ¥10,979(380W 80PLUS電源付)
CPU
 Intel Core i7 860 BOX ¥27,090(リテールクーラー利用)
マザー
 ASUS P7H55-M ¥7,980
メモリー
 Team DDR3 SDRAM PC3-10600 2Gx2 ¥8,750 x2(合計8G)
HDD
 Hitachi HTS725050A9A364 ¥6.750(2.5インチ 500G)
SSD
 PQI X-25M 約2万(手持ち流用 2.5インチ 80G)
VGA
 GIGABYTE GV-NX62TC256D8 ¥2,180(中古)
その他
 マウンタ等 ¥2,780

合計金額 約9.5万円相当

■消費電力削減の過程
 上記の通りCore i7を採用したため、消費電力に対するパフォーマンスは相対的に優れた構成になっているが、当初これらを組み上げた際はVGAがSapphire ULTIMATE HD4670(RADEON 4670 ファンレス)だったためか、USBメモリから起動したUbuntu10.04で消費電力をワットチェッカーで確認したところ、かなり大きな値を示した。そのためファンレスVGAを交換することでどれくらい消費電力が変わるのか確認してみた。(P=ピーク/I=アイドル)

 Sapphire ULTIMATE HD4670 (RADEON 4670) P 112W / I 54W
 MSI RX1600XT-T2D256EZ (RADEON X1600XT) P 103W / I 43W
 GIGABYTE GV-NX62TC256D8 (GeForce 6200TC) P 93W / I 32W

 GF6200TCは低消費電力重視で設計されたチップということもあり、ファンレスのボードであるだけでなく、ヒートシンクの小ささも特徴になっている。じゃんぱらで見つけた時にはどれくらいW数が下がるのか興味深かったが、GF6xxx系は比較的消費電力が大きいシリーズと言うことだったので、それほど期待しすぎてはいけないと思っていた。ところが実際計測してみると、さすがに低消費電力を謳うだけあって、当初より20W近い低減が可能になり、とても効果は高かった。

■静音性
 静音性能が比較的高いAntecのケースを利用したこともあり、ほぼ無音に近い(近接していればわからなくはないが、1m離れるとほぼ聴こえない)マシンとなった。深夜でもエアコンの音の方が大きくマシンの動作音は全くわからないほど。

■CentOS 5.5 64bitの導入
 CentOS 5.5 x86_64のnetinstall.isoをダウンロードして、USB CD/DVDドライブで起動してインストールを試みるも、なぜかi386のパッケージを要求するためx86_64のパス指定ではエラーになりインストールが不可能。大丈夫かCentOSのメンテナ…。
 仕方がないのでx86_64インストールDVDをダウンロードして、こちらからインストール。今度はうまく行き8コア、8Gメモリ、ネットワークも問題なく認識動作。SNSサーバとしての構築プロセスは別途記事にする予定。


関連性の高い記事 by Simple Tags :

,
とりあえず付けておく無駄ではなかったなまぁまぁ読めたちょっと役に立ったかなかなり良かったかも (まだ評価されていません)
Loading...

UTM専用マシンの静音化

■UTM専用マシンの静音化
 以前書いた以下のエントリーの続き。夏から稼働させるネットワーク用のUTMとして試験的にEndian UTMで常時稼働させる前提で考えた際に、電源とCPUファンが近接しすぎていることによるノイズが(比較的耳障りでないとはいえ)やや気になったので、ACアダプタ化することで静音化したメモ。

UTM専用マシンを低予算で組む(Astaroのインストール)
http://blog.isnext.net/issy/archives/232

■ACアダプタ化キット 日本PCサービス SRD2D080SATA2-24
 購入したのは日本PCサービスのSRD2D080SATA2-24。テクノハウス東映で7880円。1000円安価なSRD2D080V21-24と少し悩んだが、5VSBでのPEAKの値が2.0Aと3.0Aと差があり、気持ち余裕のある値の大きいSRD2D080SATA2-24にしてみた。常時起動前提なのであまり問題ない気もするが、少しでも電源が安定してくれる方が安心感がある。
 このキットのコネクタ構成はMX1202-BK付属のSFX電源とほぼ同じなので、延長や分岐用ケーブルは不要だった。(電源を取り外したバックパネルの穴はダンボールをカットしてはめ込み)

電源の詳細は以下へ。
http://pc.j-pcs.info/cn12/SRD2D080SATA-24.html

■現状の構成

 ケース:岡谷 MX1202-BK Mini-ITX
 電源:日本PCサービス SRD2D080SATA2-24
 マザーボード:Intel DG41MJ LGA775 Mini-ITX Giga Ethernet RTL8111D
 CPU: Intel Celeron DC E3400
 メモリ:PQI DDR2-800 1G x2
 HDD:Western Digital WD800BEVT
 PCIカード:Corega CG-LAPCITXY 100M Ethernet RTL8139D

 この構成でSFX電源使用時に最大52W 常時31W程度となっていたものが、最大54W(起動時各種プロセスが起動中の時)常時26Wとなった。常時使用電力が5Wも下がったのは非常に大きい。使用電力量からACアダプタ化しても大丈夫ではないかと推測して今回試してみたが、動作にも問題なく音もほぼ無音(Intelのリテールクーラーは非常に優秀)になったことで効果はとても大きかった。
これだけ静かでパフォーマンスもそこそこ出るようだと、メンテナンス用サーバにもう1台組んでみたいと思ってしまう。


関連性の高い記事 by Simple Tags :

, ,
とりあえず付けておく無駄ではなかったなまぁまぁ読めたちょっと役に立ったかなかなり良かったかも (まだ評価されていません)
Loading...

UTM専用マシンを低予算で組む(Astaroのインストール)

■UTM専用マシンを低予算で組む
せっかく無償のUTMを利用するのにマシンが高価ではあまり嬉しくないということで、できるだけ低予算でUTMに必要なスペックが動作するように組んでみる。そして手元にあったDellのノートPC D600 PentiumM1.8GHz 1Gメモリのマシンでの動作報告も。ターゲットはuntangleとastaro。ブリッジモードで動作させることを前提とする。

■Dell D600 での動作
まずは軽くD600の動作報告。D600のスペックはPentiumM1.8GHz 1Gメモリ 40GHD 100MEthernet x1 カードスロットx1 USB2.0 x2。ブリッジモードで動作させるためにはEthernetの口が2つあると便利なので追加しないといけない。手元にあるLinuxの動作実績のあるバッファローのLUA3-U2-ATXを利用した。

1)untangle
 問題なく動作。untangle自体がDebianベースということもあり、Debianでの動作実績のあるLUA3-U2-ATXはドライバなどを用意しなくてもスムーズに認識された。もうひとつ手元にあるPlanexのUE-200TX-Gでも同じチップなのでたぶん大丈夫。おそらくDebian(lenny)で動作するものは(無線LAN除く)動作すると思われる。
 インストール直後のメモリ使用量は65%程度。CPU負荷も30%程度あったが落ち着いた後は数%程度になった。Webの管理画面はやや重い感じ。

2)astaro
 インストール自体はできるものの、LUA3-U2-ATXは認識されず。astaroのフォーラムハードウェア互換リスト確認したところ、astaroはUSB及びPCMCIAのデバイスは一切サポートしていないとのこと。サポート外で使えるとか使えないとかはなく、そもそも認識しないようになっているらしい。インストール後コンソールからシステム構成を覗いてみても、ほとんどのサービスがchroot化されていて/var/log等も一般的なLinuxの構成とかなり違うため、外部から勝手にいじられないように相当しっかりカスタマイズされているようだ。セキュリティ製品としては安心感の高い造りになっているように感じる。ただその反面利用可能なデバイスが極めて限定されることになる。事実上Ethernetの口がひとつしかないノートPCや小型PCではastaroの利用はできないと思った方がよいということに。
 インストール直後のメモリ使用量は30%程度。CPU負荷は数%。Web管理画面は最初の読み込みに時間がかかるが操作は快適。

■専用マシンを組む
untangleは実際に試すことができたが、動作はやや重い印象だったことと、astaroをちゃんと動作させてみたいと思ったので、実家用に導入する前提で専用マシンを1台組むことにしてみた。予算はできるだけ低予算にしたいところだが、置き場所等の関係もあり低価格&コンパクト&静音のバランスを取ってトータル3万〜4万程度で検討。結果以下の構成になった。

 ケース:岡谷 MX1202-BK Mini-ITX 200W SFX電源付き(5800円 テクノハウス東映)
 マザーボード:Intel DG41MJ LGA775 Mini-ITX(7480円 テクノハウス東映)Giga Ethernet RTL8111D
 CPU: Intel Celeron DC E3400(5400円 テクノハウス東映)
 メモリ:PQI DDR2-800 1G x2(手持ち)
 HDD:Western Digital WD800BEVT(手持ち)
 PCIカード:Corega CG-LAPCITX(840円 T-ZONE PC DIY)100M Ethernet RTL8139D

一部手持ちのパーツを流用したので購入額は約2万。全部新規調達でも3万円程度ということでまずまず。光学ドライブは手持ちの外付けを利用。
実際組み上げてみるとケースの電源がCPUファンにちょっと当ってしまうのだが、ケースのフタが閉められないというレベルではなく異音もしないので、無理やりそのまま組んでしまった。CPUファンはリテールのまま、音はあまり気にならない。電源ファンの音は多少気になるが比較的低い音で耳障り度は低いのでそのまま利用できそう。組み上げてまずはUbuntu10.04で動作確認。USBメモリからの起動でも十分快適に動作。CPUコアも2つ、Ethernetもちゃんと2つ認識されている。消費電力はインストール途中のMAXで52W、インストール後のアイドル状態で31W程度。十分省エネかな。

このケースを選んだのは一応電源がSFX規格なので交換が容易と思われたから。ATX電源を搭載可能なものもあったが値段が高目だったりオプション購入しないとPCIスロットが使えなかったりで微妙だったため除外。余裕のある時にまた試してみたいところだが…。

■専用マシンにastaroをインストール
Astaroの公式ページで必要事項を入力しHomeライセンスを取得する。
http://www.astaro.com/landingpages/en-worldwide-homeuse__register

レジストすると「Astaro Security Gateway Home Use Firewall」というメールが送られてきて、そこにダウンロードURLと「astaro_home_license.txt」というライセンスファイルが添付されている。指定されたダウンロードURLから最新のisoをダウンロードする。(4月末時点でasg-7.504-100318-1.iso)

isoファイルをCDに焼き、組んだマシンにつないだUSB CD/DVDドライブから起動する。(USBメモリ起動でもたぶんOK)
起動後は英語の画面でWizardが表示されるので、それに従ってENTERとF8を押していく。
インストール先のHDDのデータは完全消去されるので注意(デュアルブート設定などはできない)。

Wizardに従うだけでこの時点では多くの設定はしないが、注意が必要なのはマネージメントに利用するEthernetデバイスを指定してIPアドレスを設定する画面で、必ず上記で紹介したハードウェア互換リストにあるデバイスを指定すること。今回のマシンには内蔵GigaEthernetにRTL8111D、PCIバスに100MEthernet RTL8139Dが接続されていて、どちらもインターフェースとしてastaroのインストーラで認識される。しかしRTL8111Dは互換リストになく、こちらをマネージメントデバイスとして設定しIPを設定すると、インストール完了後にデバイスが有効になっておらず指示されるURLにアクセスできない状態に。この場合には互換リストにあるPCI側のRTL8139Dをマネージメントデバイスとして設定する必要がある。

マネージメントデバイスを設定してインストール完了したら、画面に表示されたURL(https://host-IPaddress:4444/)に別マシンからアクセスする。
そこで管理者のパスワードを設定して、ログイン後各種設定をする。ログイン後はRTL8111D側も適切に設定できるようになる。
 
 
Astaroのインストール自体は本当にシンプルですが、ハードウェアの選択が非常に重要になりますので注意が必要です。untangleに比べて高機能なこともあり、設定等がやや複雑なのでAstaroの設定はまた別に書きたいと思います。


関連性の高い記事 by Simple Tags :

, , ,
とりあえず付けておく無駄ではなかったなまぁまぁ読めたちょっと役に立ったかなかなり良かったかも (まだ評価されていません)
Loading...