my $condition = SQL::Maker::Condition-&gt;new;

$condition-&gt;add('colom1' =&gt; "$value1");                          # colum1 = $value1
$condition-&gt;add('colom2',{'like' =&gt; "%$value2%"});               # colum2 like '%$value1%'
$condition-&gt;add('colom3',{'between' =&gt; ["$value3","$value4"]});  # colom3 between $value3 and $value4

my $q = SQL::Maker::Select-&gt;new(driver =&gt; 'XXXXX');              # XXXXXは、MySQL等の指定をする

# where句に条件を設定
$q-&gt;set_where($condition);                                       

# where句を抽出。select項目やテーブルの指定を全くしてないので、$sql_conditionには
# "FROM WHERE (colum1 = ?) and (colom2 like ?) and (colom3 between ? and ?)" という文字列がセット
my $sql_condition = $q-&gt;as_sql();                                

# "FROM" を消して、WHERE句だけにする 
$sql_condition =~ s/FROM//;                                      

# 設定した条件の配列
my @binds = $q-&gt;bind;                                            

# SQLの読み込み（条件部分をのぞく）
open my $fh, "&lt;", "./sql.txt";
my $sql = do{ local $/; &lt;$fh&gt;};
close $fh;

# 生成したWHERE句とソート順をSQLに追加
$sql = $sql.$sql_condition;

# コネクションを取得
my $conection = DBI-&gt;connect($datasource) or die ( 'could not connect' );
my $sth = $conection-&gt;prepare($sql);

# 条件に値を埋め込む
for(my $i = 0; $i&lt;= $#binds; $i++){
    $sth-&gt;bind_param($i+1,$binds[$i]);
}

# SQLの実行
$sth-&gt;execute;

という形でやってます。

（増田だとpre記法でも「＜」「＞」が正しく変換されないんで、読み替えてください。

やろうと思えば、select項目や読み込むテーブルもPGの中で指定して組み立てることも

出来るんだけど、そこまでやると面倒くさいし、そこまで動的にコントロールする必要が

当サイトでは無かったんで、条件部分のみ動的に変更できるようにしてます。

動的SQLをperlで作ろうと思っている人の参考になれば幸いです。

参考

http://search.cpan.org/~chiba/SQL-Maker/lib/SQL/Maker/Select.pm

http://search.cpan.org/~chiba/SQL-Maker/lib/SQL/Maker/Condition.pm

風俗口コミ横断SEARCH

http://fko-s.info/index.html

Permalink | 記事への反応(0) | 00:17

2012-09-08

■これは新しい！プログラマ募集字給0.02ドル！コピペ プログラマ求む！

Php MySqlのエンジニア募集

報酬はプログラムコードの1文字あたり0.02ドル支払います。

(2セント/1文字 or 2ドル/100文字)

ただし、スペースは1文字にカウントしません。

小さいプロジェクトで最低20 ドルからの支払いになります。

最初のテストプロジェクト

OSCommerce Payment Modual

ドキュメント作成も含まれます。報酬はプログラムと同じ計算方法で支払われます。

Yahoo messenger と必要な場合はvideo

毎日のコミュニケーション

高い英語力を必要とします

video、voipのため、安定したブロードバンドのインターネット環境が必要となるでしょう。

最小限の指示で理解し実行できる自発的な人を求めます

もし、あなたが優れている場合は時給40ドルは得られるはずです。

指示や教育も時給15ドルで職務の一部になるかもしれません。

支払いはペイパルです。

勤務地：どこでも良い

報酬: .02ドル/文字

在宅勤務可

請負契約

本人のみ。リクルータは申し込まないでください

電話はかけないでください

関係ないサービスや商品、商売目的で申し込みしないでください。（←ちょっとあってるかどうかわからん Please do not contact job poster about other services, products or commercial interests.）

http://manila.en.craigslist.com.ph/sof/3257134076.html

魚拓 http://megalodon.jp/2012-0908-1318-32/manila.en.craigslist.com.ph/sof/3257134076.html

日本語訳は↓をそのまま利用。正しいかどうかはわかりません

http://oppainglish.tumblr.com/post/31105829393

Permalink | 記事への反応(3) | 14:28

2012-09-04

■"Hello world!"

このお話はたぶんフィクションです。実在の個人や企業とはあんまり関係ありません。そういうことにしろください。

10年前、20代になったばかりの頃の僕は、今思えば本当に最低な生活を送っていた。高校を中退し、実家とは疎遠で、友達もなく、金もなく、夢も希望もなく、ただバイト先と自宅を行き来するだけの毎日。いつも視界には霞がかかったようで、底の見えない空虚さだけが僕の心を支配していた。

それでも趣味らしいものはあった。オンボロマシンにRedHatを入れ、ダイヤルアップの細い回線で自宅サーバを立て、Perlでガラクタのようなプログラムを動かす。そんな子供じみた遊びだけど、プログラムを組んでいるときだけは空虚さを忘れ、画面の中に没頭できた。

ただ、そのときの僕はもうすでにいろんなものに打ちのめされていて、若者にありがちな全能感などというものは霧散していた。自分がプログラミングで何かを成すだとか、それを仕事にしようなんてことは一切頭になかった。このまま夢も希望もなく人生を終えるのだと、そう思っていた。

それでも転機は訪れる。

勤めていた工場で派遣切りにあった僕は、「働きたくないでござる！　絶対に働きたくないでござる！」とか言いながらニート生活をしていた。そろそろ翌月の家賃も払えなくなってきたころ、派遣会社から電話がかかってきた。「プログラム開発の仕事があるんですがやりませんか？」と。そういや履歴書だかスキルシートだかに、Perlがどうたらとか書いたっけ。実務経験もない中卒に仕事まわすとかｗｗｗ　……とは思ったものの、このままでは本気でホームレス一直線だったので引き受けた。

はじまりはそんなもの。たいした覚悟があったわけでもない。

派遣された先は従業員数10人くらい、パートさん含めても50人くらいの小さな会社だった。現在手書きの伝票でやっている処理をWeb化したいのだという。システム担当者はおらず、事務員さんがExcelやAccessを使える程度。すべて僕一人でやらなければならない。マジか。

ともあれ、まずはサーバである。後々の運用を考えるとLinux系は使えない。事務所の片隅に放置されていたWindows 2000 マシンにApacheを入れてそれでよしとした。

次はデータベース。でもこの頃の僕は「正規化ってなんれすか？」というレベルだったので基礎から勉強した。なんかMySQLってのがいいらしい→社長に申請→「今Access使ってるからそれでいけ」→「はい」→パフォーマンスの面で問題出るだろうなとは思ったがしょうがない。

次は言語。最初はPerlで書こうと思ってたけど、PHPってのが流行ってるらしいのでこっちにした。ウホッ！　いい言語……。

そして業務内容を把握するため、現場をあっちこっち駆けずり回りながらヒアリングする。ときには部長から愚痴を聞かされ、ときにはパートのおばちゃんから誘惑され、そんなこんなを繰り返し、仕様をつめていく。

そして数ヶ月かけて開発したシステムの稼働である。そのときのことは今でも忘れない。

現場の人がラインからデータを入力する。サーバにデータが送られてくる。別の事業所からも送信されてきてる。問題ない。事務員さんが伝票処理を行う。問題ない。すげえ、ちゃんと動いてる。お遊びで作ったプログラムではなく、本当に本気の業務用プログラムである。それを僕が1人で作ったのだ。このプログラムで業務がまわり、利益を生み出すのだ。社会に対して、何らかの作用を及ぼすのだ。僕みたいなクズにでも、そんなことが可能だったのだ。

そのことに気付いたときの感動を、僕は今でも忘れない。

それからちょっといろいろあって、ホームレスになった。うん、急展開なのはわかってる。でもこの間のことは語ってもあまり面白くないし、公序良俗に反する話もあるのでざっくりはしょる。どうせフィションなんだから細かいことを気にしてはいけない。

話を戻そう。

ホームレスになってからの数日はひどい精神状態だった。足元から世界が崩れていく感覚。視界がぐにゃりと歪む。帰りたい。でも帰る家がない。だからホームレスというのか……というトートロジーを何度繰り返しただろうか。

もうあまり覚えていないけど、このときの僕は本当にもう何もかもどうでもよくなってたと思う。ただ、自分の全財産がバッグ1つしかないということに対する心地よさ、開放感があったのはよく覚えてる。そんな状況で地べたに座り込んで見る風景。きっと、今はもう見えない。あの頃の僕にしか見えない風景が、そこにはあった。

いろんな人と出会い、流れ流れて、最終的に西成のあいりん地区にたどり着いた。関西圏の人には説明不要かもしれないけど、よく言えば日雇い労働者の街、ぶっちゃけて言えばホームレスのメッカである。今はもう綺麗になってしまったし、治安もそこそこよくなったけど、僕がいた頃はまさに「カオス」としか表現のしようがない状況だった。

どこから持ってきたんだといいたくなるようなガラクタばかりを並べた泥棒市。簡素な骨組みにビニールシートをかぶせただけの飲み屋。「ないかーないかー」と声が聞こえてきたので見てみると、警察署の近くなのに道端で堂々と丁半博打をやっている。コンビニのトイレの張り紙には「トイレが詰まる原因になるので注射器を捨てないでください」とある。いやトイレが詰まるとかの前に気にすることがあるだろ。ケンカなんて日常茶飯事。頭から血を流したおっさんが普通に歩いてる。数百人規模で並ぶ三角公園の炊き出しは圧巻。四角公園の炊き出しでは誰もいない場所にワンカップの瓶とかがたくさん並んでる。何かと思って聞いてみたら「あれで並んどることになってん」と返ってくる。学食の席取りルールみたいだ。ああもう全然書ききれない。

でも一番印象に残っているのは、南海線の高架下、うず高く積まれたゴミ山の前でガラクタを解体していたおっちゃんのこと。奇声を発しながらハンマーを振り下ろしていたおっちゃん。その両目は、これ以上ないほどにキラキラと輝いていた。その鉄屑を売った金でビールが何本買えるか皮算用でもしているのか、あるいは幸せになる魔法の薬でもキメているのか、そのときの僕にはわからなかったけど。

そして、人生を投げ出していた僕に付き合ってくれたおっちゃん、あなたのことも忘れません。モーニングをおごってくれて、いろんな話をしてくれて、聞いてくれて、役所の福祉課まで連れて行ってくれたおっちゃん。あなたがいなければ、僕は今でも西成でぬるま湯の日々を送っていたかもしれない。

いろんな人に助けられて、ホームレスの施設に入ることになった。舞洲という人工島にあるのだけど、これがまた周囲に何もないのだ。スポーツ関連施設、ゴミ処理場、物流センターが点在するくらい。コンビニ1件ありゃしない。だけど施設での生活は意外にも楽しかった。2段ベッドが6つ並んだ12人部屋。むさくるしいけど、みんなバラエティに富んでいた。刑務所上がりのいかついおっちゃん、虚言癖のひどいおっちゃん、ほとんど一日中寝てるじいちゃん、薬のフラッシュバックがひどい兄ちゃん。そんな人達の中で過ごせば、自分がどれほどクズであっても気にならない。やはり僕はこちら側の人間だと再認識した。

市街地にある施設へ移ってからはいろんな仕事をした。生駒の山奥にドブさらいに行ったり、事務所移転のバイトで腰をやってしまいそうになったり、なんやかんやあったけど、長くなるのではしょろう。結局のところ、またプログラマをすることになるのである。

そろそろ身バレしそうな領域に入ってきたのでここでもう一度強調する。このお話はたぶんフィクションです！　たぶんフィクションです！　大事なことなので2回言いました。

そう、またプログラマとして働くことになった。今度は従業員数300人くらいの大きな会社である。日本人なら誰でも知ってるであろう大企業の子会社ということもあり、本社からの出向社員は東大京大卒当たり前みたいな状況。そんな人達の前で中卒の僕が前に座ってプレゼンやら仕様検討会やらをするのだ。何の罰ゲームだよ……。

最初に思ったのは、「ここにいる人達は育ちがいい」ということだった。みんな礼儀正しい。喋り方や立ち居振る舞いまで、今まで僕がいた世界とは何もかもが違っていた。まるでドラマに出てくるような「ちゃんとした人生を送っている人達」だ。そんな人達に囲まれていると、「生きていてごめんなさい」と言いたくなる。本当に。

他に驚いたこと。社内で連絡を取り合うのにメール使ってる。やばい。社内メーリングリストとかもある。やばい。定期的にミーティングとか勉強会とかもする。なにそれ怖い。自分がいっぱしの社会人になったかのような錯覚に陥る。ちょっと前まで西成でゴミ拾いのバイトしてたのに。「勘違いするんじゃない！　西成の日々を思い出せ！」と何度も自分に言い聞かせ、自我を保った。

とはいえ、萎縮してばかりもいられない。気付いたことはどんどん提案した。あちこちに散らばっている共通の処理をライブラリ化したり、サーバで負荷がかかっている部分を改善したり。却下されたものも多かったけど、採用されたものもそれなりにあった。業務の改善案を考えるのは楽しい。誰かがプログラマの三大美徳に「無精」を上げていたっけ。極度のめんどくさがりで、楽をするための苦労は惜しまない僕には、こういう仕事は天職なのかもしれない。

システム開発の方も順調に進んでいた。この頃はMicrosoftですらWeb版のOfficeを出すような状況で、デスクトップアプリに比べても遜色ないレベルのWebアプリがどんどん出てきていた。この会社で開発しているのも、そんなAjax 技術を多用したWebアプリだ。JavaScriptを用いた本格的な開発に最初はとまどったけど、書けば書くほど言語が自分の手に馴染んだ。クロージャ、prototypeといった基礎をちゃんと学ぶと、書けるコードのレベルが段違いに上がっていくのが楽しかった。

仕様にもこだわった。実際に使う人がどんなふうに操作するのか、何度も何度も脳内でシミュレートし、どんなUIが最適なのか、データ構造はどうするべきか考え、実行速度とメンテナンス性の板挟みに苦しみ、何度も何度もリファクタリングを繰り返す。

そのとき開発していたシステムは、メイン画面でほとんどの処理を行うタイプのものだったのだけど、そのメイン画面のJavaScript コードは最終的に1万行を超えた。もうこの頃にはJavaScriptでのオブジェクト指向的な開発手法というものも自分なりに構築されつつあった。そしてこのカチャカチャとした手触りの、安物のオモチャのような言語は、僕の一番好きな言語になったのだった。

そんなある日、僕が作ったシステムのメインユーザーである他部署の偉い人が来て、開口一番こう言った。

「あのシステムいいね！」

この機能が素晴らしい、とか、あの発想はなかったわ、とか、とにかくべた褒めして、そして去っていった。機能追加要望の前口上だと思って身構えていた僕は拍子抜けした。「あの人が他人を褒めることなんてめったにないよ、すごいね」と近くの席の人が言う。

そのとき僕は「カチリ」という音を聞いた。

どこにもはまることのない歪な歯車。その僕が、社会という大きな機械の中に組み込まれる音だったのだと思う。まあすぐに外れてしまうのだけど。その一瞬だけは、僕は確かに社会の一部になれたのだ。

そして契約期間満了となり、再び僕は人生の岐路に立たされる。

これからどうするか？　今の技術力ならそれなりのところに就職できるかもしれない。でも僕にはやってみたいことがあった。半年かけて海外を旅するのだ。

今、僕の手元にはまとまったお金がある。こんなのは人生で初めてのことだ。そして僕は今、どこにも所属していない。どんなところに行ったっていいし、何をしたっていい。この先、そんな状況がどれだけあるだろうか？　人生長いのだ、そりゃあ何度だってあるかもしれない。でも今回やりたいことをやらなかったのなら、僕はきっと何度だってやらずにいるままだろう。

もちろん怖くなかったわけじゃない。なにせ海外なんて行ったことがなかったのだ。ずっと極貧の生活をしてきた僕は、国内旅行だって満足にしたことがない。

いろいろと考えた。ない頭を使って考えた。自分の英語は通じる？　病気になったときは？　荷物をなくしたら？　あれこれ考えると心配事ばかりが頭をめぐって、わけがわからなくなる。

最終的に決定打になったのは、自分が何も持っていないという、この状況だった。

そう、僕は何も持っていない。家族も友達も、夢も希望も。だけど、そんな人間だからこそできることがあるんじゃないかと思ったのだ。何も持たないからこそ、どこにだって行けるし、何にだってなれる。それはタロットカードの「愚者」みたいなものだ。愚かな者は恐れも何も知らぬからこそ、無限の可能性を秘めている。

心を決めたら後は早かった。

パスポートを取得した。航空券を手配した。住民票を海外転出した。トランクルームを借りた。住んでいた部屋を引き払った。

空港へ向かう電車の中で、懐かしい感覚に襲われた。あの日、ホームレスになったばかりのころの感覚。世界が足元から崩れていく感覚。でもあのときとは決定的に違うことがあった。それは、今回は自分が望んでこうなったのだということ。流されるまま生きてきた僕が、初めて自分の人生に対して主導権を得た。それだけが決定的に違っていた。それだけで十分だった。足の震えは、これからの旅路への、期待に対する震えなのだった。

初めて踏みしめる異国の地。最初はいろんなものに圧倒された。

自分とは異なる人種、異なる言語。街の看板すらまともに読めない。レストランの注文すらおぼつかない。ちょっと電車に乗るのも大仕事だ。それでも時間をかけてひとつひとつなんとかしていった。

見知らぬ街の匂い、喧騒、バケツをひっくり返したようなスコール、旅の中で出会う怪しい人、優しい人。僕の前でたくさんの風景が流れていく。

川辺のレストランで昼ご飯を食べた後ボケーッとしていると、猫が膝の上に乗ってくる。動くのもめんどくさくてボケーッとしてたら日が暮れてた。そのまま猫と一緒に晩ご飯を食べた。そんな日もあった。

長距離列車に乗っていたとき、車内食にピーナッツバターのようなものが付いていたので、普通にパンに塗って食べた。でも梅干的なものだったらしく、めちゃくちゃ酸っぱかった。「すっぱ！　すっぱ！」とかやってたら向かいの席の女の子が爆笑していた。僕も笑った。そんな日もあった。

最初は少し移動するのにも大変な思いをした。でもいつの間にか、ローカルバスに乗って気ままに旅するようになっていた。

たどたどしかった英語も、日常会話程度なら普通に喋れるようになっていた。

いろんな国のバックパッカーにもたくさん出会った。お互いつたない英語でやりとりするのも楽しかった。今度は彼らの国にも行ってみよう。だからいつか世界一周に出ようと、僕は心に決めた。

こんな旅に出たところで自分は何一つ変わらないと思ってた。でも、何かが変わってきている。それが何なのかはわからない。たとえば図太さだったり、適当さだったり、そういうのもあるのだけど、何か違う。それよりもっとプリミティブなもの。感情になる前の感情、行動になる前の行動。マグマのような熱量を持ったドロドロとしたものが、自分の中に渦巻いているのを感じる。それがいつ形を成すのかはわからない、今はまだ。だけどいつかどこかで、忘れた頃にひょっこり出てくるんじゃないかと思う。そのときを楽しみにしていよう。

そして夢のような日々は終わる。

日本に帰ってきたとき、手持ちの金は10万以下だった。部屋は解約していたので住むところもなかった。普通にホームレスだった。僕は焦らず慌てず、西成へ向かった。

しばらくはドヤ(安宿)に泊まった。一番安いところなら500円から泊まれる。西成はいいところだ。

宿に住民票を移し、ハロワで失業保険を申請した。

前の会社から戻ってこないかと誘われたけど、「働きたくないでござる！　絶対に働きたくないでござる！」と言って断った。

いや働きたくなかったのは本当だけど、もう1つ理由があった。職業訓練で組み込み系を学ぼうと思っていたのだ。

スマートフォン含むタブレット端末の市場がこれからも拡大していくのは間違いない。そうすると必要になってくるのは組み込み系の知識。いやアプリ作るだけなら必要ないかもしれないが、そういった知識があれば、自分ができることの幅がぐんと広がると思う。

それに、今の僕には基礎的な力が圧倒的に足りない。すべてを独学で、我流でやってきたけど、やはり限界を感じる場面が多々あった。だから今回ちゃんと体系的に学んで、足元を固めようと思ったのだ。

結果的には正解だったと思う。本当に基礎の基礎から学べた。

ブレッドボードを用いて回路を組むところから始まって、アセンブラ、C言語、組み込み Linuxでのデバイスドライバ開発、アプリ開発。これまで高級言語の十分に進化しきった部分にしか触れてこなかった僕にとっては、どれも難しかったけど、どれも面白かった。これからどういう道に進むかまだわからないけど、ここで学んだことは絶対に無駄にならないと思う。

そうして職訓で勉強するかたわら、悶々と考えていたことがある。世界一周についてだ。

今はまだ金もないし、そんな金を稼げるあてもないのだけど、いつか(たぶん10年後くらいには)行こうと本気で思っている。

ルートだけでも今から考えておこうと思って、いろいろと旅程検討アプリを試してみたのだけど、どれもいまいち使い勝手が悪い。海外のものも含めて探しまくったけど、自分が思うようなものは見つからなかった。

だったらもう自分で作るしかない。せっかくだから就活のときにポートフォリオとして使えるよう、ちゃんとしたWebアプリを作ることにした。

最初の1ヶ月は地図APIの選定と、検証コードを書き捨てるだけで終わった。

2ヶ月目は基礎部分の構築だけで終わった。

3ヶ月目に本気を出し、ほぼできあがった。

4ヶ月目でサーバとドメインを用意し、最後の仕上げをした。

そしてベータ版をリリースした。 http://planetter.com/

それが先週の話。

そして今、こうして増田に投稿する文章を書いている。

だからこのお話はここで終わりだ。正確に言うなら、ここから先の展開はまだわからない。

10年間を振り返ってみて思う。あの頃と比べて、何か変わっただろうか？

家族や親類とは縁が切れたままだし、いまだに人付き合いは苦手だし、金はないし、夢も希望もない。それは今でも変わらない。ただ、あの頃あれほど感じていた空虚さは、跡形もなく消えている。

西成の高架下で見た光景を思い出す。ガラクタを解体していたおっちゃん。あのキラキラした目。たぶんあの瞬間に僕は、自分にとって一番大切なものは何なのか、心の深い部分で理解したんだと思う。

世界一周だなんだというのも本当はどうでもいい。僕はただ、いつだってドキドキしていたいのだ。

初めて人を好きになったときの気持ち。知らない街で暮らし始めたときの気持ち。そして、プログラムが思い通りに動いたときの気持ち。

それを持ち続けていたいのだ。いつだって新しい世界にワクワクしていたいのだ。

だから僕は、今日もガラクタのようなコードを書き続けている。

ふと目を閉じれば、まぶたの裏に映る、あの日のメッセージ。

"Hello world!"

このお話はたぶんフィクションです。実在の個人や企業とはあんまり関係ありません。でも、ここに綴った僕の想いは、ノンフィクションです。

Permalink | 記事への反応(12) | 23:05

2012-07-28

■シェル 操作 課題 SQLによる解答例

シェル操作課題 (cut, sort, uniq などで集計を行う) 設問編 - Yamashiro0217の日記の解答例です。MySQL 5.5です。

準備

mysql＞ CREATE TABLE log (
    -＞   id          BIGINT PRIMARY KEY AUTO_INCREMENT,
    -＞   server_host VARCHAR(30),
    -＞   access_time DATETIME,
    -＞   user_id     INT,
    -＞   access_url  VARCHAR(191)
    -＞ );
Query OK, 0 rows affected (0.00 sec)

mysql＞ LOAD DATA LOCAL INFILE 'log.csv'
    -＞ INTO TABLE log
    -＞ FIELDS TERMINATED BY ','
    -＞ (server_host, @unixtime, user_id, access_url)
    -＞ SET access_time = FROM_UNIXTIME(@unixtime);
Query OK, 9 rows affected (0.01 sec)
Records: 9  Deleted: 0  Skipped: 0  Warnings: 0

問1 このファイルを表示しろ

mysql＞ SELECT server_host, access_time, user_id, access_url
    -＞ FROM log;
+-------------+---------------------+---------+--------------+
| server_host | access_time         | user_id | access_url   |
+-------------+---------------------+---------+--------------+
| server1     | 2012-07-27 13:25:24 |      30 | /video.php   |
| server2     | 2012-07-27 13:25:10 |      20 | /profile.php |
| server3     | 2012-07-27 13:25:15 |       7 | /login.php   |
| server1     | 2012-07-27 13:25:05 |       8 | /profile.php |
| server2     | 2012-07-27 13:26:45 |      35 | /profile.php |
| server2     | 2012-07-27 13:25:10 |      20 | /profile.php |
| server3     | 2012-07-27 13:26:45 |      30 | /login.php   |
| server4     | 2012-07-27 13:27:05 |      12 | /video.php   |
| server1     | 2012-07-27 13:27:45 |       7 | /video.php   |
+-------------+---------------------+---------+--------------+
9 rows in set (0.00 sec)

問2 このファイル から サーバー名とアクセス先だけ表示しろ

mysql＞ SELECT server_host, access_url
    -＞ FROM log;
+-------------+--------------+
| server_host | access_url   |
+-------------+--------------+
| server1     | /video.php   |
| server2     | /profile.php |
| server3     | /login.php   |
| server1     | /profile.php |
| server2     | /profile.php |
| server2     | /profile.php |
| server3     | /login.php   |
| server4     | /video.php   |
| server1     | /video.php   |
+-------------+--------------+
9 rows in set (0.00 sec)

問3 このファイル からserver4の行だけ表示しろ

mysql＞ CREATE INDEX log_ix1 ON log (server_host);
Query OK, 0 rows affected (0.01 sec)
Records: 0  Duplicates: 0  Warnings: 0

mysql＞ SELECT server_host, access_time, user_id, access_url
    -＞ FROM log
    -＞ WHERE server_host = 'server4';
+-------------+---------------------+---------+------------+
| server_host | access_time         | user_id | access_url |
+-------------+---------------------+---------+------------+
| server4     | 2012-07-27 13:27:05 |      12 | /video.php |
+-------------+---------------------+---------+------------+
1 row in set (0.00 sec)

インデックスを作らなかった場合は減点します。

問4 このファイルの行数を表示しろ

mysql＞ SELECT COUNT(*)
    -＞ FROM log;
+----------+
| COUNT(*) |
+----------+
|        9 |
+----------+
1 row in set (0.00 sec)

問5 このファイルをサーバー名、ユーザー IDの昇順で5行だけ表示しろ

mysql＞ SELECT server_host, access_time, user_id, access_url
    -＞ FROM log
    -＞ ORDER BY server_host, user_id
    -＞ LIMIT 5;
+-------------+---------------------+---------+--------------+
| server_host | access_time         | user_id | access_url   |
+-------------+---------------------+---------+--------------+
| server1     | 2012-07-27 13:27:45 |       7 | /video.php   |
| server1     | 2012-07-27 13:25:05 |       8 | /profile.php |
| server1     | 2012-07-27 13:25:24 |      30 | /video.php   |
| server2     | 2012-07-27 13:25:10 |      20 | /profile.php |
| server2     | 2012-07-27 13:25:10 |      20 | /profile.php |
+-------------+---------------------+---------+--------------+
5 rows in set (0.00 sec)

問6 このファイルには重複行がある。重複行はまとめて数え行数を表示しろ

mysql＞ SELECT COUNT(DISTINCT server_host, access_time, user_id, access_url)
    -＞ FROM log;
+---------------------------------------------------------------+
| COUNT(DISTINCT server_host, access_time, user_id, access_url) |
+---------------------------------------------------------------+
|                                                             8 |
+---------------------------------------------------------------+
1 row in set (0.00 sec)

COUNT関数の中にDISTINCTを書けるのは覚えておくと便利です。

問7 このログのUU(ユニークユーザー)数を表示しろ

mysql＞ SELECT COUNT(DISTINCT user_id)
    -＞ FROM log;
+-------------------------+
| COUNT(DISTINCT user_id) |
+-------------------------+
|                       6 |
+-------------------------+
1 row in set (0.00 sec)

問8 このログのアクセス先ごとにアクセス数を数え上位1つを表示しろ

mysql＞ SELECT access_url, COUNT(*)
    -＞ FROM log
    -＞ GROUP BY access_url
    -＞ ORDER BY COUNT(*) DESC
    -＞ LIMIT 1;
+--------------+----------+
| access_url   | COUNT(*) |
+--------------+----------+
| /profile.php |        4 |
+--------------+----------+
1 row in set (0.00 sec)

問9 このログのserverという文字列をxxxという文字列に変え、サーバー毎のアクセス数を表示しろ

mysql＞ SELECT REPLACE(server_host, 'server', 'xxx'), COUNT(*)
    -＞ FROM log
    -＞ GROUP BY server_host;
+---------------------------------------+----------+
| REPLACE(server_host, 'server', 'xxx') | COUNT(*) |
+---------------------------------------+----------+
| xxx1                                  |        3 |
| xxx2                                  |        3 |
| xxx3                                  |        2 |
| xxx4                                  |        1 |
+---------------------------------------+----------+
4 rows in set (0.00 sec)

問10 このログのユーザー IDが10以上の人のユニークなユーザー IDをユーザー IDでソートして表示しろ

mysql＞ SELECT DISTINCT user_id
    -＞ FROM log
    -＞ WHERE user_id ＞= 10
    -＞ ORDER BY user_id;
+---------+
| user_id |
+---------+
|      12 |
|      20 |
|      30 |
|      35 |
+---------+
4 rows in set (0.00 sec)

個人的な感触

～1GB 各種スクリプト言語で無理なく
10MB～10GB MySQL Enterprise Edition 567,000円/サーバ・年
1GB～100GB Oracle Database Standard Edition 1,902,200円/ソケット
10GB～1TB Oracle Database Enterprise Edition with Partitioning Option 5,163,000円/コア
100GB～10TB Oracle Exadata/IBM Netezza/Teradata Database/EMC Greenplum DB 数千万円～数億円
1TB～ Hadoop

Permalink | 記事への反応(0) | 19:25

2012-07-22

■留年したから他力本願でウェブサービス作った。

留年した上に、色々とどん底だったので引きこもりがちになった。

暇だったので、ウェブサービスでも作ろうと思いたった。

どうにか形になったので、誰かの参考になればと思い、その経緯を書いてみる。

■出来上がるまでのあらすじ

ウェブサービスを作るには、プログラムが書けないとダメらしいので勉強する事に。

主にPHP,ruby,pythonなんかがメジャーらしく、最近ではrubyが人気だと知る。

Rubyを勉強しようかと思ったけれど、PHPのほうがオススメとどっかのブログに書いてあったのと教科書がたくさんあったのでPHPを勉強することに。

「よくわかるPHP」みたいな入門書で一ヶ月くらい勉強して、ある程度は書けるようになった。

本格的なウェブサービスを作るにはフレームワークを使えと書いてあったので、cakePHPを勉強した。

コントローラーとかビューとか、モデルとか意味不明過ぎた。

開発環境にXAMPPというのをインスコしようとしたけれど、上手く行かず、結局レンタルサーバー上で作る事に。

HTMLとかCSSとか、１から勉強するといつまでも終わらない気がしたので、フリーのテンプレートを探した。

http://cakephp.seesaa.net/article/20616700.html

ここのサイトは無料で商用化だったので、それをちょっとだけ変更して使った。

考えていたウェブサービスはTwitterのつぶやきを自動回収して検索できるというもの。

自動回収するには、プログラムを定期的に動かす必要があり、cronと言うらしい。

LINUXとかの知識が必要と書いてあったが、LINUXなんてわからないし、勉強しようにも空いているパソコンなんてないので焦る。

その後、レンタルサーバーによってはcronの機能を提供しているという情報を得る。

借りていたXサーバーにもその機能はあったので、書いたPHP プログラムを走らせてみたら、無事動いた。

後は、簡単にDBの仕組みと検索とページネーションというのを勉強した。

検索とページネーションを実現するのが、難しくてモチベーションが下がったけれど、プラグインという便利なものがあったのでそれを利用したらなんとかできた。cakePHPとかフレームワークはプラグインが充実していると後で知る。

このまま公開しようかと思ったけれど、セキュリティ関係が怖かったので一通り勉強した。

ゆーすけべーさんのサイトに「安全なWeb アプリケーションの作り方」がオススメと書いてあったので、読んで実践した。

■完成

そして、なんとか完成したのが

＠ごちです

というウェブサービス。

http://gotidesu.com

Twitter から食事の記録が簡単にとれるというウェブサービスです。はっきり言ってウェブサービス（笑）程度の出来ですが、自分としては頑張ったつもりです。

製作期間は一ヶ月くらいです。

ずっと家にいて、試行錯誤していたので作業時間は一日８時間くらいです。

（後の時間はキルゾーン３っていうゲームをしていました）

なので、８×３０＝２４０時間くらいで完成しました。

多分、一流のプログラマなら半日もかからないで出来るレベルでしょうが、自分では思ったより早く出来たような気がしています。

■勉強したもの（もう少し詳しく）

・HTMLとCSS

これは上にも書いた通り、無料テンプレートを使ったのでほとんど勉強していません。

ただ、テンプレートをいじくるのにも最低限の知識は必要なので「HTML＆CSS辞典」みたいなのを買ってきてわからない事はその都度調べていました。

・PHP

『よくわかるPHPの教科書』というので勉強した後、『パーフェクトPHP』で勉強した。

あと、プラグインなんかについてはその都度、グーグル先生に聞いたり、プログラマのブログを参考にさせてもらいました。

こことか、

http://torhamzedd.halteria.com/2012/01/cakephp20search-plugin2.html

こことか、

http://libro.tuyano.com/index2?id=734001（cakePHPに関しては、ここが１番わかりやすかった。個人的に）

・TwitterのAPIについて

これもグーグル先生。

・MySQLとかのデータベースや、SQL文について。

『よくわかるPHPの教科書』で最低限のものを勉強した後、グーグル先生を使って独学。

・セキュリティ

「安全なWeb アプリケーションの作り方」を読んで、自分の書いたプログラムをチェックしました。

フレームワークを使えば、（ある程度はフレームワーク側で処理してくれるので）初心者でも比較的簡単にセキュリティ対策ができるようです。

■偉そうにアドバイスなんかしてみる。

アドバイスなんて出来る立場じゃないけど、プログラムは最低限のものが書けて読めれば後は他力本願でなんとかなると思います。

難しそうな事があれば、ライブラリやフレームワークに頼ればなんとかなります。

あとは、集めてきたライブラリなんかを切り貼りすればどうにかなりました。

後はわからない事はグーグル先生か、質問サイトで聞けば教えて貰えます。

ただ、配列や変数などのプログラムの基本的な仕組みを理解しないとOKwavweとかヤフー知恵袋でも解答をもらえないような意味不明なエラーが出ます。

基本的な文法エラーは

http://jp.piliapp.com/php-syntax-check/

こういうサイトでチェックしていました。

エディタやなんかはvimとか高級な奴は多機能過ぎて意味不明だったので「サクラエディタ」を使っていました。

デプロイ（プログラムをウェブ上に公開して使えるように準備することらしいです）も自動化するべきらしいのですが、普通に FFFTPで手動でデプロイしていました。

まったくプログラムがわからない状態から初めて一ヶ月ほどでそれっぽいものが出来ました。

ネットの世界には自分みたいな初心者にもわかりやすく解説してくれている先輩たちがたくさんいます。

最低限のことは勉強する必要がありますが、後はグーグル先生や先輩のサイトに頼れば思ったより早くいろんなものが出来ると思います。

なにより、自分の書いたプログラムが動いているを見るとすごく感動します。

プログラム出来て幸せでした。

これからも自分のペースで作り続けたいと思います。

あ、よければ＠ごちです使ってやってください。

http://gotidesu.com

Permalink | 記事への反応(1) | 23:27

2012-05-14

■ああ、みんな「嵌っちゃったんだな」と思ったとき

最近のソシャゲ問題、自分は少し勘違いしていたようだ。

というのが、作ってる人たちは「これ、正直やばいけど稼げるし短期決戦で得るもん得ていこうか〜」くらいの気持ちでやってるのかと思ってた。

実際この考えの人は少なからずいるはずだ。

あるいは、「ヤバいけど、ライバル会社もやってて生き残るには自分も参加するしかない。」っていう、

ある種の邪悪なチキンレースに乗ってしまっている事を自覚してる人たち。

この人たちは、まぁ、邪悪だけど仕方ないのかなと思う。

※なお、本当に本当の意味で『邪悪』な人たちはとっくの昔に上がりを頂戴して既にあの場にはいないはず。

　少なくとも某女史は完全に逃げ切ったのかなと。

けれども、どうも中の人たちのレスポンスを見る限り、「俺たち悪い事してねーし！」みたいなことを本気で考えている人たちがいる様子。

この人たちはヤバい。何がヤバいかと言うと、「罪の意識の希薄化」がされたことに一切気づいていないと言う点でヤバい。

そしてそのヤバさが、プログラマーっていう職業に対する社会の認識が悪い方向に傾きかねないのでヤバい。

いや、もう手遅れだ。多分、後一年後にはIT 業界に対する世間の目そのものが冷たいものに変わっているだろう。

まず僕はあの場で「俺悪くねーし！」って言ってる末端を攻めるつもりは無い。

（といっても役職持ちでこんなことを言ってる連中には残念ながら、だけど。）

けれども、彼らが嵌った「脱法的ソシャゲー開発」の一端は解き明かしておきたい。

何故なら、このロジックは非常に単純で、かつ効果がテキメン。特に技術職に従事する連中に対しては。

さて、例え話をしよう。

ある巨大なアプリケーションをこれから作るとする。

それは先端のライブラリを使い、高負荷をものともしない作りにし、

ユーザーフレンドリーなインターフェースであり、

またユーザーを飽きさせないよう常時色々なキャンペーンを打っていくアプリケーションだ。

ユーザー数は膨大で、アクティブなユーザー数だけでも１０万を超す。

このアプリケーションを作成して運用するのは、いくら何でも一人では無理だ。

そこで仕事を分割し、プログラマー、インフラエンジニア、UXデザイナ、WEBデザイナー、ディレクター、

アナリスト、PM、営業…などなど、それぞれの専門職を適切に配置し、

それぞれが自分の得意な事に集中できるようにする。

こうすることで、それぞれの専門職にとって雑多な事は、耳半分で会議を聞きつつうまく回る。

さて、次の例え話をしよう。

とある邪悪な人間が、邪悪で脱法的な方法でお金を稼ぐロジックを思いついたとしよう。

しかし、規模が大きいので人手がいる。けれども、他の邪悪な連中を誘い込むと美味しいところを奪われたあげく、

責任をなすり付けられる可能性が高い。

ならばどうするか？「普通の人」を巻き込めばいい。

でも、「この方法で情弱を騙して稼ごうぜwww」というと、人は訝しみ、拒絶する。

けれども、その邪悪なロジックを分割して、分割したそれぞれの仕事が違法ではないものにすると…？

あるいは、分割したロジックを事前に３つ前後の別のクリーンな仕事に適用して失敗して後が無い状況を演出しておき、

あたかも「本当の」仕事の中で『偶然』結合してしまうと…？

ここで、だ。結合された後のサービスのありようを見て、「これって、ダメなんじゃない？」という人は必ず出てくる。

でも邪悪な人にとってはそれすら計算済みだ。

ここで、技術職の悪い癖を利用する。

技術職は「０か１か」での判断をすることに常にさらされているため、

そうではない世界でも「０か１か」で決まるものだと錯覚しやすい。

テストパターンが緑を返せば緑だと信じる。

だから駄目なテストパターンを置いておく。

テストファーストで、事前に使えない法務を置いておく。

「うちの法務に事前に確認しましたが、法律上問題ないとのことです」と。

※注意

法務の方々の名誉の為に言っておくと、システムの邪悪さを理解して邪悪さを誤摩化す回答をする法務も一部にはいるが、

大勢は駄目なものは駄目だという人がほとんど。

そこで、邪悪な人は特定の条件下で起こりうる例外を提示して「それならグリーンだ」と言わせておき、

その例外を隠して「この前うちの法務に事前に確認しましたが、法律上問題ないとのことです」と

皆に説明すれば、普通の開発者は「それで良いんだ」となる。

法律は「０か１か」に見えてそうじゃない。

少なくとも過去に判例が出ていないものについては「０か１か」すらわからない。

ようは「未テストの項目」に過ぎない。

「裁判所」というテストを通らない限り、「０か１か」なんて本当はわかるはずもない。

それも、テストの内容によっては関係するモジュールや実行環境、タイミングによって結果が変わる事すらあり得る。

法務の言う「大丈夫」なんて、ようは自動テストやってない職場でベテラン開発者がいう「あ〜あそこはきっとOracleのバグ（※ただし未検証」と同じ程度の回答だ。

（本当はOracleのバグではなくそいつが作りこんだバグなのかもしれない。）

さて、普通の技術者が邪悪なテスト結果をまんまと信じたら、あとは邪悪な人の思い通りだ。

まず、そのテスト結果を信じた普通の人は、他にも不審に思った人に対して「あれは問題ないって法務が言ってたよ」と伝える。

見事なまでに邪悪なCIの出来上がりだ。

通常、CIは繰り返し同じテストを自動で行う。

が、ここでは同じテストを繰り返さず、過去のレポート、それも又聞きのレポートを伝えているに過ぎない。

もう一度同じテストをかけていない。自分の目と耳で、法務から直接話を聞いていない。

また、結合前のクリーンな仕事をしているそれぞれの担当者に取って、

結合後の姿より結合前の状態がその人の仕事の大半であり、「本当の意味での」結合後の姿を見てるようで見ていない。

単体テストはバリバリこなすだろう。しかし結合後のストレステストやセキュリティのテストは専門外として見向きもしない。

いや正確には「何かあったら、専門の担当者が文句つけてくるはずだ」と待ちの姿勢でいる状態だ。

邪悪な人は、間違いなくその専門の担当者が各部署を回って抜き打ちテストをやらせるなんて事はしない。

そもそも専門の人を社内に常駐させないか、もしくは置いても他の事（例えば他社とのライセンス問題など）にリソースをさくよう仕向ける。

こうして邪悪なテスト環境が出来上がってしまうと、

開発者たちは「私たちの作っているものは正しい」と思い出す。

だから否定されると「俺悪くねーし！」と言い出す。

細分化された仕事のことしか見なければ悪いことは何も無いだろうね。

しかし…もう…嵌っちゃったんだなぁというのが外野からの印象。

まぁせいぜい人身御供になってくれ。

今回の件、役職だけではなく実務の担当者まで引っ張られる可能性はある。

裁判にかけられるかどうかは謎だけど、企業や業界への揺さぶりの手段としては有効だしね。

なお、最初に言ったが本当に邪悪な人はもう既にあの場所にはいないはずだ。

もう既に後進に道を譲るだの自分の力を別の場所で試したいだのもっともらしい理由を付けて、

「普通の人々」に継承させているはずだ。

「普通の人々」のその後がどうなるかはこれからの物語なので、とても楽しみではある。

おそらく、なのだが、この件、ワーストケースで転がれば、当該の企業だけではなく

IT 業界そのものが悪の巣窟としてみなされるだろう。

「ITの技術者はマッドサイエンティストと同じで法の遵守する気がない連中だ！」と言われる日は意外とそう遠くないと思う。

そんな風がもし吹こうなら、政治家の先生方や警察のお歴々も「インターネットの健全性を保証する」という名目で、

色々と無茶な法律を作るかもしれませんね。

少なくとも、「インターネット＝悪」として自分らの有利な方向にネットをコントロールしたい方々にとってはとても好都合でしょうよ。

そろそろ、誰かが「良い意味で」健全化のために何かを仕込む頃合い。

政治家や警察といったレイヤーではなく、業界の自主努力のレイヤーで。

２、３年後、どんな団体ができでどんな人が所属するかなぁ？

ダンコーガイ、津田、はまちちゃん、ちきりん、高木先生、漢のMySQLの人、徳丸本の人…多分この中から二人は自ら、あるいは担ぎだされる/巻き込まれる形で関わってくるかな。

切込隊長は面白おかしくレポートしつつ裏で謎の秋波を送るんだろうなぁ。

多分ひろゆきはその集まりを「つまらない」と見て何もしないかな？

ま、きっと「自分は忙しいから…」みたいなことで誰も参加せず、

結局第２次図書館戦争のもう一人の当事者あたりが中心に無理矢理たって健全化を叫ぶんでしょうね。

Permalink | 記事への反応(6) | 02:31

2012-05-01

■これから プログラムを始めようと思ってる人へ

はじめに僕はプログラムが苦手です。

ほんとに苦手です。

やりたいことにどうしても必要だから仕方なく組んでるだけで

誰かがやってくれるんであれば絶対自分でプログラムしようなんて思いません。

寝る時もあーやってこうやったらこうなるとか考えてしまって睡眠不足になるし

自分で向いてないなとよく思います。

そもそもプログラムに一番最初に触れたのは

9年くらい前のことです。

はじめてのプログラムはperlでした。

仕事でプログラムを使う必要があったので仕方なくparlの本を買ってきてシコシコやってました。

おなじみの「 hello world 」とかをモニターに表示させたりしました。

ものすごく簡単に理解してもらうためにこういう感じ書いてるんでしょうけど

ぶっちゃけ、本やネットの通り学習していくと大半の人が前半で飽きるか挫折します。

だって、全く興味がないことをしてるんですものね。

最後に掲示板の作り方とか解説してる本とかありますけど

掲示板作ってどうするの？

一人で投稿して一人でレスするの？

とか思ってしまいます。

自分に興味のないことをやるのって絶対続かないし覚えないんですよね！

僕もperlを学習したあとJavaを覚えようかなと本を買ってきて一通りやってみたんですけど

書かれてあるとおりに電卓とか作っても全く興味ないし作りたくもなかったので

全然頭に入ってきませんでした。

しかし、これがエロい物だったらどうでしょう？

多分、すごい勢いでいろんなことを覚えていくと思います！（男ならｗ）

最近、そんなことをエロい WEBサービスを作りながら考えていました。

エロサービスを作っていると楽しいんです！

もうほんとに楽しくて、夢中になって自家発電・・いえ、プログラムしていました。

本屋に行ってプログラム関係の棚に

「楽しいエロサイトの作り方」

「はじめてのエロサイト」

「3日でできるエロ」

「エロで覚えるphp」

「phpでアダルトサイトを作ろう」

「できるエロサイト」

「エロとデータベースとチューニング」

こんな感じのタイトルの本があったら僕だったら間違いなく買いますｗ

そして、ものすごごいスピードで学習しますｗ

そんなわけでこれからプログラムを始めようと思っている人はエロい物をプログラムで作ってみてはいかがでしょうか？

そして、僕が今回作ったエロサービス（エロ動画検索兼ランキングサイト）

http://adultmovie-clip.com/ を作るのに必要だった知識について書いてみますので参考にしてみて下さい。

【今回作った物はどんなWEBサービスか？】

アダルト動画をキーワードで検索できるようにして一覧表示させ

お気に入りの動画はログインなしでブックマークできるようにする。

人気ブログランキングのように外部サイトを登録できるようにし逆アクセスランキング機能をつける。

【必要な知識】

■html

htmlの学習

http://www.tohoho-web.com/wwwbeg.htm

今回はhtml5でやってみた。

http://www.html5-memo.com/

http://webdesignrecipes.com/semantic-html5-with-outline/

■jQuery

http://higashizm.sakura.ne.jp/jquery_first/

http://webdesignrecipes.com/jquery-beginners-guide-for-web-design/

クリップ（ブックマーク）機能に利用

jquery.cookie.jsを使う。

http://helog.jp/javascript-2/jquery-javascript-2/1406/

動画 IDをcookieに保存しておく。

■php

phpの基礎からできるからおすすめでかつデータベースの勉強もできる

これを覚えればエロ検索サイト作れる。

http://php5.seesaa.net/

エロデータの作成はスクレイピング（エロ動画データの収集）により行う。

htmlSQLでさくっとエロデータを収集

http://bowz.info/1916

エロデータは色んな動画サイトから収集する。

例えば

http://example.com/?name=女優名

みたいに女優の名前を変更していくプログラムなんかを書いて

該当ページをhtmlSQLで取得する。

そこから必要なデータを抜き出す。

必要な最低限のデータ項目は

・動画タイトル

・動画 URL

・動画サムネイル URL

登録ユーザーログイン機能

http://tenderfeel.xsrv.jp/php/628/

画像のアップロード

http://plog.pya.jp/program/php/lesson11/sample01.html

■MySQL

phpのところで紹介したサイトと同じ人が作ってるっぽい。

非常に分かりやすいのでここで学習するとさらにいい。

http://mysqlweb.net/

■google アナリティクス

ランキング部に利用、APIがあるのでリファラーでサイトのアクセス数をカウント

http://kota.oue.me/php%E3%81%A7google-analytics-api%E3%82%92%E3%81%84%E3%81%98%E3%82%8B%E3%80%82/

https://developers.google.com/analytics/resources/articles/gdataCommonQueries?hl=ja

■負荷対策

APC インストール

http://www.doyouphp.jp/tips/tips_apc.shtml

mod_evasive

DOS対策

http://www.makizou.com/archives/1341

mod_expires

これがないとアダルトサイトは死ねる。

http://www.ahref.org/tech/server/apacche/389.html

mysql クエリーキャッシュの設定

http://thinkit.co.jp/free/article/0707/2/6/

■サーバー関係

centos

VPSを借りてこのサイトの通りやればWEBサーバーが構築できる。

できればメモリは1Gほしい。

無修正じゃなければKAGOYAのVPSでいいんではないでしょうか。

外部に公開しないのであればローカルでシコシコして下さい。

http://centossrv.com/

※レンタルサーバーを借りるのであればあまり必要じゃないかも

SSH ・・・クライアント(Windows)から Linux サーバーをリモート操作する

apache ・・・WEBサーバー ※チューニング関係はググりまくって下さい。

mysql ・・・データベース全文検索を利用する場合、一旦mysqlは削除してsennaをインストール。インストールする順序に気をつける http://anond.hatelabo.jp/20110804021353

Tripwire・・・ファイル改竄検知システム導入

chkrootkit ・・・rootkit検知ツール導入

Clam AntiVirus ・・・アンチウィルスソフト導入

iptables ・・・ファイアウォール構築

SSL ・・・通信の暗号化

■全文検索

senna

http://qwik.jp/tritonn/

■アフィリエイト広告

経験上、サーバー代にもならないと思うので今のところ掲載しません。

以上です。

今回このサービスを作ることになったきっかけは

3月くらいから心身ともに疲れきっていたのでリフレッシュする意味で作ってみました。

エロサービスは以前にも何度か作っていてその時は非常に楽しくてわくわくしながらプログラムしていたので

それを思い出して、じゃあ作ってみようという感じです。

エロいの作ってるとストレス解消になりますｗ

いろんな意味でｗ

初めてのプログラムがエログラムってなかなかないと思うし

学生が就職活動で、WEB系の会社で面接した時なんかにプログラムでどんなの作ったことある？と聞かれて

エロサイト！

とか言っちゃうと「こいつできる」と思われるかもしれませんので（あくまで僕がそう思うだけですｗ）

これからプログラムをやろうと思ってる人はエロサービス作りで覚えてみて下さいｗ

きっとあっという間にできるようになりますｗ

さて最後になりますがこんなの作ってみたんでよかったら利用してみて下さい。

アダルト動画クリップ

http://adultmovie-clip.com/

ではでは！よりエロライフを！

動画検索は前にも日記を書いてるので興味のある方は参考にどうぞ。

http://anond.hatelabo.jp/20110804021353

Permalink | 記事への反応(0) | 18:18

2012-03-24

■簡単なクローラ作るならPythonだよ！

http://d.hatena.ne.jp/nishiohirokazu/20120323/1332504404

最近、Web クローラクライアントを作るお仕事が増えた。Web クローラクライアントというのはHTTP(S)を介して様々なファイルをダウンロードして解析し、結果を溜め込むだけのプログラムである。ボットともいう。

クローリングの規模が大きくなると、クロール処理部と結果貯蓄部を分離する必要がある。クローラには様々なものがあるが、ものによっては特定のサーバに集中的にクローリングを行うこともある。このとき、1つの IPを使って集中的にクローリングを行うと、攻撃とみなされ一瞬でbanされてしまう。そこで、一見するとまったく関係なさそうなIPを複数確保し、それぞれにクローラーを仕掛けて走らせるのである。

結果貯蓄部は、要するにデータベースサーバであり、何を使用しても良い。クロール処理部とのやりとりに使用するプロトコルはRDB 依存プロトコル(MySQL Socketとか)でもHTTPでもなんでもいいが、とにかくクロール処理部が解析した結果を随時溜め込めるようにしなければいけない。逆に言うと、まぁ、口さえできるのであれば何を使用しても良い。

問題は、クロール処理部に何を使用するかである。おおまかな要件は次の通りである。

HTTP(S)でやりとりしたい
様々な環境で動作させたい (使用できるIPはバラバラ、それぞれの計算機のOSは指定できる、などという虫のいい話はまず無い)
クロール処理部自身がRDBによるキャッシュ機能を備えていてほしい。インデックス程度は使えてほしい (クロール処理部と結果貯蓄部は常につながっているとは限らないので)

これらの要件を満たそうとすると、ぶっちゃけ JavaかPythonくらいしか選択肢が無い。

	Java	Python
HTTP(S)	HttpURLConnectionかApache HTTP Client	urllibかurllib2
環境依存性	Write once, run anywhere (VMが最初からインストールされてるのはSolarisくらいのものだが、どんなOSでも大体はすぐインストールできる)	UNIXであればほぼ標準で入ってる、Windows用インストーラも用意されている
キャッシュ機能	JDK6にDerby標準搭載	Python 2.5からsqlite3標準搭載

JavaとPythonの違いは山ほどあるが、簡単なことをやらせるだけならPythonはJavaよりも使用メモリが少なくなりがちなので、そういう場面であればPythonは(現時点においては)最強の座に君臨すると考えられる。

余談であるが、私が本当に好きなのは Perlであり、

Perlに標準でsqlite3ライブラリがついている
Windows用のPerl インストーラがもうちょっとまともである

という条件下であれば何の迷いもなくPerlを使っていたであろう。畜生！

Permalink | 記事への反応(3) | 18:16

2012-03-18

■WEBサイトを発注してみた。

アニメやゲームのキャラクター情報をまとめてるサイトがないから作りたいなぁって

思ってたんだけどhtmlは初歩しか分からないしプログラミングもできないので構想するだけで作れなかった。

ゼロから 4ヶ月でWEBサービスをリリースした人の記事を見つけて｢自分にもできるかな！｣なんて思い挑戦してみたけど理解できず挫折･･･orz

WEBサービスを個人で作ってる人達が羨ましいです。

それでもWEBサイトを作りたかったので制作会社に発注してみようと思い立った。

ただのキャラクターのデータベースだけではつまらないのでコミュニティ要素なども付けて

ネットで見つけた制作会社に見積もってもらうと下記のようになった。

合計1,483,125円

以前、SNS｢ウェブカレ｣のサイト制作費が1千万円で安く仕上がった(潰れたけど･･･)という話があったから

なんとなく3～400万くらいかかるんじゃないかなと不安だったんだけど予想より安い見積もりだったので、

このくらいの金額ならなんとか出せる！ということで制作してもらうことにしました。

本当は何社かに見積もってもらって比較しようと思ったんだけど面倒だったのでそのまま制作をお願いすることにした。

（最初はもう少し高かったけど機能の簡略化とオープンソースのライブラリを使用してもらう事で費用を抑えてもらった。）

去年の10月の頭くらいから打ち合わせを始めて第1フェーズでワイヤーフレーム作成と仕様策定をして第2フェーズのhtml､システム開発に

移ったのは中旬だったかな？その段階で前金で4割の580,650円を支払いました。

制作会社には3回くらい打ち合せに行って、あとはメールでやり取りしていました。

当初は12月中にリリースを予定してたんだけど、なんだかんだで伸びてあらかた出来上がったのが2月の中旬くらい。

見積もりがちょっと甘かったんじゃないかなぁって思うｗ

ちなみに僕はヒッキー(どれくらいヒッキーかというと外出は3日に1回くらい)なので制作してもらっている間は

家でずっとサイトに必要なアニメのデータを収集していました。

↓作ったサイト

http://neoapo.com/

以下、サイトの設計を担当してくれた人の製作記。

サーバ設定

サーバはさくらのVPS 8Gを使用。CentOS5の64bit

設定した項目は以下のとおり

HDDが3つあって、普通に/var/wwwにコンテンツを入れていくとHDDが溢れそうだったので、容量の大きいものを使うように工夫したりなど。

メモリもそこそこ積んであるサーバなので、mysql、php、apcに多めにメモリを割り当てる設定をした。

データベース

本当はmyISMやInnoDB エンジンでLIKE "%word%"のようなクエリーを投げて十分なパフォーマンスが出ればいいんですけどね。

それはムリなので、全文検索エンジンとしてgroongaを使用。

groongaを使用するために先にインストールしたのはこんな感じ

mecab(日本語の形態素解析用)
ipa 辞書(形態素解析用の辞書)

この時点でいざ、groonga!と思ってgroongaをインストールしようとすると競合を起こして入らない。

epel、remiレポジトリからインストールしてあったmysqlと衝突してたのでyum remove "mysql*"で

一旦mysqlを消して、groongaレポジトリから mysqlとgroongaをインストール。

するとgroongaは入ったものの、今度はphp から使おうとしてもphp-mysql パッケージが入らない。

あちらを立てればこちらが立たぬ状態で本当にこまった。

どうしようもないので、やりたくないけどyum-downloadonlyを使ってパッケージに含まれる設定やら、soファイルなどを直接とってきて入れた。

mysql.so、mysqli.so、pdo_mysql.soを/usr/lib64/php/modules/にコピーしたり、設定をコピーしたり、少しずついじりながら、なんとか動いてくれた。

状態としてはmysqlとgroongaはgroongaレポジトリから、phpと本来php-mysql パッケージでインストールされるmysql.soは手動で置いたことになる。

シェルから直接mysqlにログインするときはgroongaレポジトリのやつを、php から mysqlを呼ぶときは手動で置いたmysql.soを使うことになっている。

ちょっと心境的にしんどい。別の方法があったかもしれないけど、調べても分からず結局1日くらいかかった。

アクセス カウンタ

アクセスは、サイト全体(トータル)、サイト全体(当日分)、各コンテンツ日別、各コンテンツ週間、各コンテンツトータルのアクセスをとるようにしています。

高速だとうわさのredisにアクセス回数を残しています。

検討した候補はmemcaced、apc、mysql、redis、fileあたりなんですが、

memcacheはサーバがリスタートするとデータが消える。

apcはapacheがリスタートするとデータが消える。

fileは候補にあがったものの、メンドウ、、どうせなら楽な既製品がいい。と思って候補から外しました。

残るはmysqlかredisだけど、redisが高速って聞いていたのでredisにしてみました。

最初全部redisに入れて、集計した結果をmysqlに入れるつもりでしたが、週間ランキングなどはINSERT INTO .. DUPLICATE ONを使って、

アクセスした週の月曜日00:00:00のタイムスタンプとコンテンツ IDをキーにしたレコードを作ればそのまま週間ランキングになるなー。と思ってmysqlを使っています。

コンテンツのトータルアクセス数もコンテンツのレコードにpvという項目をつくってUPDATE table SET pv=pv +1 WHERE id = ? のようにしました。

最初難しく考えていたけど、こうすることによって大分楽になったなーといった感じ。

まとめ

全文検索エンジンや対話検索、ここにこのリンクがあればなぁ。。という所に何とかしてリンクを作るのが本当に大変だった。

使い勝手を良くするために、ここにこの機能をなど、さくっと思いつくのは簡単でもそれを実現するために、あーでもない、こーでもないと

DB・プログラムとにらめっこしながら「あ！こうすればできる！でもそうすると今度はこっちが･･･」みたいなのがあったりでとても大変だった。

そんなに機能がないような感じがしても、このサイトだけでテーブルが20個あって、途中本当に死にそうだった。

Permalink | 記事への反応(18) | 12:26

2012-03-13

■書き直したって、いいんだよ

http://www.yamdas.org/column/technique/hatenablog.html

　なお、タイトルに PART I とあるが、このネーミングはメル・ブルックスの『珍説世界史 PART I』にちなんだもので、PART II 以降は存在しない。つまり、あなた（ソフトウェア企業）が絶対すべきでないことは、Joel Spolsky にとってこの文章に書かれることだけなのだ。それは何か？
　プログラムをスクラッチから書き直すことに決めることだ。

まぁ、そんなわけないんだけどね。

「最近のはてなの体たらくへの失望感に名前を付けたい」というだけの文章にマジレスするのも我ながらどうかと思うし、気持ちは分からなくもないんだが、最近は「はてブ」以外全く使ってない俺でも、長年お世話になってきたはてなに対してそれなりに愛着というものがあるわけで、ディスられるばかりの流れに少しばかり反抗を試みたい。これは、それだけのエントリだ。

というわけで、以下に書くのは、技術の話でも倫理の話でもない。どうか気軽に読んでほしい。

書き直してはいけないのか

実例を挙げる。

今やワールドワイドな影響力を持つ勝ち組ソーシャルサービスのTwitterだが、彼らは、ここ数年でバックエンドの大半をスクラッチから完全に書き換えた。しかも、Ruby から Javaへと、使用言語すら変更してしまった。

http://d.hatena.ne.jp/teppei-studio/20110709/1310168002

もう一つ。Tumblrも、LAMP アーキテクチャから JVM ベースへ切り替えた。その過程で、Twitterがオープンソース化した技術を取り入れたりもしている。

http://blog.kyanny.me/entry/2012/02/19/002256

『「古いコードはクズだ」というのは錯覚だ』というJoelの意見は、一面では正しいが、他の面では間違っている。なぜなら、あるソフトウェアに求められていること（要件）は、時間と共にどんどん変化するからだ。

書き直そうが、書き直すまいが、一番ダメなソフトウェアとは「ユーザの要求に応えられないソフトウェア」だ。規模や環境の変化によって古い技術の技術的限界に直面したり、ビジネス環境の変化に追随する必要が出てきたのなら、「スクラッチから書き直す」のは立派に一つの選択肢だ。

技術の変化

はてなダイアリーの最初のバージョンがどういうものかは俺もよく知らないが、おそらく「LAMP」がエッジなキーワードとして持て囃されていた頃に書かれたプロダクトなんじゃないかな（間違ってたら突っ込みを）。それから時代は下り、Ruby on Railsに代表されるCoCなフレームワークの登場を経て、今や大規模分散や非同期を前提としたアーキテクチャが当たり前の時代。当然改修はしているだろうけど、MySQLを職人芸で負荷分散していた時代からは大分遠いところに来たのは間違いない。

何より、はてなダイアリーといえば「はてな記法」とカスタマイズの自由度の高さがウリだったわけだが、これらの存在が、今や機能追加や改良の妨げになっているとしても不思議じゃない。

はてなブログ開発の動機として「今どきの技術で、最初からやり直す」というのがあるのは間違いないが、それは「スクラッチからの書き直し」だから悪手なのだろうか。結局のところ、レガシーコードのメンテナンスを続ける場合と比べてどちらがより低コストか、という話の結論によるとしか言えない。

ビジネス 環境の変化

はてダのソーシャル要素といえば「トラックバック」と「idコール」と「キーワードリンク」だったわけだが、全部Twitter（とTogetter）に持っていかれたよね、という話。

だから、「はてダver.2」や「ブログ 2.0」を望む声が大きいのは理解できるけど、ぶっちゃけ、そんなもんに開発リソースを突っ込んでも勝ち目なんか無い。んで、それに代わるアイディアを持ってる奴はどこにもいないと。だから、既存コードの改良ではなくスクラッチから書き直し、スモールスタートでフィードバックを受けながら方向性を考えていく、という方向性はそんなに間違っていないと思う。

ただ、現状を放置すると「それTumblrでできるよ」という話にしかならん、というのはその通りで。それ以外だと、もしgithubがblog サービスを始めたりすると、かなり客を持っていかれるのではないかという予感はする。いっそのこと、Tumblrのデッドコピーから始めるのが一番早いのかもしらんね。

技術の体系化の弱さ

少し別の話を。

https://github.com/twitter

これは、Twitterのgithub レポジトリだ。上でも書いた通り、Twitterはサービスをスクラッチから書き換えた。で、その過程で開発した内部向けのフレームワークを、どんどんオープンソース化している。彼らが、内部の技術をきちんと体系化して再利用可能にしていることの証左と言える。

一方、はてなのgithub レポジトリ。正直、サンプルとかプラグインばかりですね、と。

https://github.com/hatena

色々と理由はあるんだと思うが、一つ思うのは職人芸頼りで自分たちの技術を体系化するという部分が弱いんじゃないか、ということ（はてな発のオープンソースで広く使われてるのって何かあったっけ？）。

先ほどから散々「書き直していい」と主張しているが、誰かが言っていた通り、技術の本質を捕まえきっていない状態でフルスクラッチをやっても、失敗する可能性は高い。はてなブログがどちらなのかは、中の人にしか分からないことだけど。

マネタイズ

はてなが経営的にあまり状況がよろしくない、という推測はおそらく当たっているのではないかと思う。

タイムラインで、誰かが「まっとうな方法で収益化する方法を真面目に考えるべきだった」と言っていたのを見た。それをしていれば、今回のような事態を招くことは無かったのだろうか。

だが、「まっとうなビジネスモデル」とは何だろう。実際問題として、ここ最近成功しているネットサービスのビジネスモデルで「ターゲティング広告」と「マスなユーザベースから抽出したビッグデータを解析して売る」以外で何か有力なものはあっただろうか。FacebookにせよTwitterにせよ、収益化の原動力はユーザ行動解析だったりするわけだ（彼らがオープンソース化に積極的なのは、インフラ技術が差別化の源ではない、という面もある）。

まぁ、あとはガチャだが、どちらにせよ現状では高木先生の逆鱗に触れるようなものしかないよね。

そんなわけで、それらに代わる第四のマネタイズモデルを思いついた人は、ぜひ近藤さんに教えてあげると良いんじゃないかな。あればだけど。

最後に

今後はてながどうなるかは分からないけど、一つ希望したいことがあるとすれば、故伊藤計劃氏のダイアリーがこの先も保全されることを望みたい。

それは、エントリを全て魚拓しろ、という話ではもちろんない。彼の生前に書かれたエントリは、当時の「はてな」という生態系を構成する一部でもあるわけで、そこから切り離して文章だけをアーカイブしてもあまり意味がない。

つまり、ネットの過去を作ってきたものとして、現在に適応しながら、未来へと生き残って欲しいと、そういうことです。

Permalink | 記事への反応(8) | 00:48

2012-02-20

■http://anond.hatelabo.jp/20120220170043

４段くらいリンクして、３段目のテーブル項目が条件指定に含まれてる

その時点で、正規化できてないか SQL クエリがおかしいことに気づけw

ちなみに、MySQLだと「IN」を処理できないから遅くなるぞ。

oracleだと、ポインタ使えば高速化できるし

ビュー作って高速化できるパターンだってある。

Permalink | 記事への反応(1) | 17:38

■http://anond.hatelabo.jp/20120220170043

MySQLなら重いBLOGがあるテーブルならサブクエリの方が速い場合がないか？ケースバイケースだけど。　BLOBな・・・orz

Permalink | 記事への反応(1) | 17:02

■http://anond.hatelabo.jp/20120220163942

MySQLで下手なORDER BYとか、JOINとかやりまくるからじゃねーの？

そりゃ、「下手な」ORDER BYとか、JOINをしたら遅くなるだろｗ

「下手な」やり方なんだからさ。

大前提として、「必ずうまくやれる正規化になってる」があるなら、まぁそいつが悪いんだろう。

Permalink | 記事への反応(0) | 16:48

■http://anond.hatelabo.jp/20120220163131

MySQLで下手なORDER BYとか、JOINとかやりまくるからじゃねーの？

必要ないテーブル引いてないかチェックした方が良いぜ？

まぁ、普通のWeb アプリ程度でそこまでやらなきゃいけないことなんぞ滅多にないが、件数とか引いてくるレコード数が多い場合はMEMORY(昔はHEAP)テーブル作った方がいいと思う。

Permalink | 記事への反応(1) | 16:39

■http://anond.hatelabo.jp/20120220161722

第三正規化かぁ・・・

データベースに何使ってるかしらないけど、mysqlとかで正規化やり過ぎると、クエリが「filesort」になったりして逆に遅くなるからなぁ・・・

最初のテーブルできっちりとインデックスソートできるように考えられてる正規化なら、サブクエリもいらないんじゃないかって気もするし。

存外、「高速化（ｷﾘｯ」ってのは、本当だったんじゃない？

Permalink | 記事への反応(1) | 16:31

2012-02-11

■Web 企業でバックエンドのエンジニアとして必要な知識メモ

そこそこPVがある場合。そうでなかったら、どうにでも動くしね。

基本はLAMPなんですけど、オペレーションの部分も分かってないと即戦力にはならんと思う。

でかい WEB 企業でも、下記をわかってて、ちゃんとできる人ってそんないねーよな、っていうことを最近知ったお。

もちろんフロントエンドまで一人で担当する場合、もっと必要な知識が増えるわけだが。

そう考えると、「ふつうのエンジニア」に到達できるのって、3年とか5年とか10年とか普通にかかるよなーって思うわけですよ。

最低限
- Linux（すべての基本）
- MVC フレームワーク使ってアプリ作れる（LLないし、Javaとか、これもすべての基本）
- MySQLの操作（WEB アプリなら必須）
- Apacheの設定
- ソフトウェアのソース管理（git,svn等）

必要
- ソフトウェアテスト
- デプロイ、ビルドの知識
- システム構成管理（chef,puppetとか）
- 開発プロセスに対する理解（アジャイル）
- チューニング（すべてにおいて）
- モニタリング（なにかのOSS 監視ツールが使えること）
- サーバ／クラウド（AWS でちゃんとサービス公開までもってける）
- KVS（memとかなんか）

Permalink | 記事への反応(0) | 23:14

2012-02-07

■とある 老害大手SI 企業の例（書いたらムカムカしてきた）

コードも書けないSE （笑）とか言ってるアホ共は

ガチでメーラとWordとExcel,パワポ（しかも2003（笑））、teraterm、FFFTP位しかつかわねーからさ

あいつら本気でXP(笑）、メモリ1GBで足りてるとか思ってるからタチがわりーわ。

・コードがかける若手SE （笑）がEclipseとかMySQL、Oracle,Chrome,Firefox,IE,Java,.netと使うからある程度スペックが欲しい。(と言っても今時の５万で買える普通スペックで良い。。）

↓

・若手が新しいPC寄越せと要求

↓

・年食ったコードがかけないSE （笑）はOffice2003（笑）位しか使わないし、めんどくさいから要らないと抜かす

↓

・先輩がいいって言ってるのにお前らが要求するのか？とか言って取り合わない。

↓

・ほんとに必要な最前線の若手にまともなPCが行かない、その結果朝にパソコン起動してメーラとEclipseが起動するのに１５分かかる環境の出来上がりｗｗｗ

一方部課長以上の役職には全員Android タブレットが支給され

お飾り部長には組織移行都度に新PCが卸される（結局何してるかもしらんがｗOfficeとIE しかつかわねーくせによｗｗｗ）

そりゃ社員がセットアップするし、何も入ってねぇから環境移行もし易いもんなｗｗ

もちろんAndroid タブレットはメール確認するくらいにしか使わないｗｗｗ

iPadやAndroid タブレットのブラウザ、メールをちょこっと触った位で最新になったと思い込むめでたい老害達。

これからはタブレットだろとか抜かしてくれる。

そのHTML5とサーバサイドの開発するのは俺たち若手SEなんだがなｗｗｗｗ

でも結局使わないし飽きて部長のタブレットは机の中に入れっぱかおきっぱ。

老眼にはタブレットは見難いもんなｗｗｗ

マジ老害しねよ。死ね死ね死ね。

クラウドクラウド、SalesforcrSalesforce

うるせーんだよ。お前。意味わかって言ってんのかアホ部長が、

クソウォーターフォール維持しながらスピード感がとか寝言ぬかしてんじゃねーぞｗｗヴォケが。

上の承認が～承認が～って要件定義が～ってお前らクソ共の承認があってスピードも何もねぇだろうがｗｗｗ

その上テストドリブンしようとすると、要件が固まってないだろ！とか抜かすし、殺すぞ。

結果アホ共が思いつきで言い放った言葉は忘れない

SalesForceのパンフレットに開発は１月を目処に実装する、みたいな文言を間に受けて

これから１月単位で開発しろとか抜かす始末ｗｗｗｗ

え？じゃあ、プロトタイピングとかテストドリブン型とかでやるの？とか聞くと、

いや、客の要件をしっかり聞いて要件をしっかり洗い出して～上司の承認をしっかりと得て手戻りがないように～とか抜かすｗｗｗｗｗｗ

おい、お前それ今までとかわらねーじゃねーかｗｗｗｗｗ

あーいうのは少人数チームで全員が開発者としてプログラムが十二分に書けて仕様書とかの書類を最低限にして

要件定義や決定権限の大部分を現場に委任して優先順位の高い項目からを集中してやるから出来るのであって

日本のほとんどのアホSI 企業の典型的なコードの書けないExcel書くだけの御用聞きSE （笑）なんて邪魔以外の何者でもないｗｗｗ

そんなゴミ SE （笑）が多くを占める会社で出来る事じゃねーんだよｗｗｗｗ

あーいうゴミ共は居るだけでどーでもいい好みでの文句をグダグダいうから余計に作業が遅くなるｗｗｗ

こういうクソみたいなことばっかりやってるから古い日本企業はダメなんだよ、ゴミどもが、さっさと潰れろ。

そして俺はクソSI 業界を見限ってソーシャルゲーム業界に転職準備をしているのであった（完）

http://anond.hatelabo.jp/20120207005408

PS:まなめはうすからのリンクでここまでくるとは。。

まなめはうす恐るべし

ちなみに私のPCのスペックはPen4 1.6Ghz メモリ1GB HDD 30GBです。

これでメインはJavaのStruts2とSpring Eclipse3.7で組んでます。

これより低い奴出てこいや…

更にPS:おいおい、お前ら俺の叫びに反応し過ぎだろう。。

とりあえず一部間違えていたので訂正ｗｗｗ

１．HDDは37GBでした。ごめんなさい、実際に見てみたら間違えてました。でもいつもSVNチェックアウトするときとかデカイzipを落とす時はいつも何か消してからしています。

２．ケースはチェーンで鍵がかけられているので開けられません(^p^)よって自分での拡張は不可

後、時々あった。

PGなんてのはゴミがやる仕事だからそんなの気にかける方がゴミ
とか
ゴミは、勘違いしている「コードがかける若手SE」かも
とか
コードを書かなきゃいけない時点で大手ではない

ちなみにT○SとかI○M、NT○の人もコード普通に書いてたよ。

ってか書くとこは書くでしょｗｗ

んで上みたいな考えの人はそれで構わないでしょう。

そうやって思っててコードやプログラム部分なんてどうでもいい。

フロントエンドやバックエンドが発達しても設計書レベルや提案レベルに落としこむ場合に実コードの知識なんて影響しない思うならそれでどうぞって感じ

いつまでも何でもバッチ処理（笑）にこだわる人も良くいますしねｗｗｗｗ

私からしたらいつまでコードの書けないSE （笑）が成り立つか逆に聞きたい位ｗｗｗ

ま～コードがかけないSE （笑）からいつも馬鹿にされてるのを知ってるから、コードがかけるSE （笑）はどんどん逃げてっているんですよね～

わざわざプログラム（笑）とか馬鹿にされてまで居るものじゃねーよｗｗｗ

現在どんどんSI 業界から出来る人が率先して辞めてるからｗｗｗ

ただでさえ人材不足のクソSI 業界にいつ影響が表面化するか（もうしてるか？）楽しみですNE!

私は先に役に立たない大量の船頭しかいない泥船から抜け出しますｗｗｗ

戻って来ることもないでしょう！多分！

それではアデュー！

Permalink | 記事への反応(15) | 01:23

2012-01-07

■事務職リーマンがwebサービスを作ってみた話

Web システムとは縁遠い事務職のリーマンが、ある日思い立って、ニッチな用途の検索エンジンサービスを作ってみたので、ちょっと書いてみようと思います。

ちなみに、検索エンジンといっても、google カスタム検索とかのお茶濁し系じゃなくて、apache Solrというオープンソース検索エンジンを、VPS上で動かしているという、それなりに本

気度の高いものです。

なんで素人がそんな物騒なものを動かす羽目になったかは、後述。

アイデア ときっかけ

やりたい構想みたいなことを思いついたのは、もう6、7年前ほど前のこと。初めて独り暮らしを始めたときに、ひどく不便を感じたことがあり、こんなサービスがあったら便利だなあ、

と、ぼんやりと妄想していました。

ちなみにその妄想をふと高校の同期に話したとき、そのサービスはどこにあるのか？！と、えらくがっつかれたのを、覚えてます。まあ、俺と同じく偏執狂の奴だったからだと思います

が。

ただ、しがない事務職リーマンということもあり、当然、技術も無く、そのときは、やるならこんな名前のサービス名だろうなあ、とか、そんな妄想レベルで、話は終わっていました。

そんな感じで、5年ほど月日は経ち、なんとなくリーマン人生の流れも見えてきたところで、以前、妄想していたことを、ふと思い出しました。

5年も経ったら、さすがに自分が考えたようなこと、誰かがやっているだろうと調べてみたところ、意外なことに、競合になるようなサービスは存在せず。ちょうど異動があって、少し時

間が出来たこともあり、じゃあ、着手してみようかと思い立ちました。

やりたいことは非常に面倒だった

やりたいことは、大手サイトの情報検索。ただ、商品ページ内の特定情報、それも、商品ごとに正規化されていない表記を、正規化して抽出する必要があったので、大手サイトの既設API

だけではとても実現不可能でした。

まあ、だからこそ、5年間、誰もやろうとしなかったんでしょうが。

ということで、とても一発では解決できなさそうな内容だったので、自分でなんとか実現できそうな機能に細分化して、各個撃破していくことにしました。

面倒なサービスをどう実現するか

随分と考えた結果、

ホームページをクロールしてhtmlを収集する機能
クロールしたhtml から特定情報を抽出する機能
検索エンジンサーバ
検索エンジンのフロントエンドプログラム
ホームページ自体
さらに、これらの処理を自動化する仕組み（特にクローラから検索エンジンにアップロードする部分まで）

以上に区分できると考えて、これらを各個撃破していくこととしました。

また、技術もなく、プログラミングも出来ず、ましてやlinux サーバのお守りをしたことなんて当然ないので、インターネット上に置くサーバですべての処理を完結させるのではなく、イ

ンターネット上に置くリソースは最小限に留め、できる限り、勝手がわかる自宅のwindows パソコンで処理を行うことにしました。

ちなみにさらっと結論だけ書いてますが、ここまで至るまでに、いろいろと調べ続たり、考え込んだりしていたので、思い立ってから3ヵ月は掛かってます。。。

検索エンジン周りの開発

さて、やる方針を決めたあと、はじめに着手したのは、要の検索エンジンサーバです。

いろいろとググって調べて、mySQLというやつか、apache Solrというやつかに絞りましたが、結局、Solrを使うことにしました。

MySQLのほうが実績は多そうだったのですが、Solrのほうが検索専門で、滅茶苦茶動作が速いらしいということ、MySQLでも出来るが特に速度が遅いらしい全文検索機能も使いたかったこ

と、あとファセット機能がジャンル絞りこみに便利に使えそうだったので、というのが理由です。

ちょうどSolr本が発売されていたこともあり、それを参考に、自分が使うように設定ファイルを変更していきました。

しかし、初めは設定ファイルの内容も意味不明な上に、私の書き方も雑なのか、少しいじっただけでまったく動かなくなる。結局、設定ファイルを一文字ずつ変更しては動作検証、とい

った始末で、進捗は地を這うよう。ある程度思い通りにSolrを扱えるようになるまで、3ヵ月以上掛かったでしょうか。。。

さらに、検索エンジンのフロントエンド（Solrの検索結果を、htmlに変換するプログラム）も書かなければならない。プログラミングが出来ない人間には、これが本当に辛かった。

Solr本に、いろんなプログラミング言語でサンプルがあったのですが、迷った末に、わずか数行なら書いた（≒コピペした）経験があるという理由で、javascriptを苦渋の選択。

しかし、選択はしてみたが、基礎が本当に無いから内容がサッパリ頭に入ってこない。こちらも、わかるところから本当に1文字ずつ変えていくといった手探り状態。

プログラミングについては、今回のためだけだから、といった理由で、一切基礎をやらずに着手したのが裏目に出たのか、サンプルのソースをモノにして、書き上げるのに、ゆうに半年

以上。本当に時間が掛かりました。

kanzen21.comに衝撃を受ける

さらに、Solr周りで計9ヶ月間ハマっていた頃、忘れもしない、kanzen21のおっさんが彗星のように現れて、衝撃を受けることになります。

大手サイトのページをクロールして検索エンジンを作る手法は、私と考えていた構想の枠組みとまさに「完全に一致」な訳で。。。

図書館事件に注目していたのも同じで、あまりの一致具合に衝撃を受けっぱなしでした。

その後の成り行き等も含めて、興味深く観察させて頂き、本当に参考になりました。

クローラ周りとかの開発

そんな感じで紆余曲折もありましたが、ようやく難題だった、プログラミング関連に目処が立ってきたので、あとはクローラと肝心のデータ処理です。ここからは、勝手知ったるwindows

の領域なので、多少の安心感があります。

まず、クローラですが、専用のクローラをwindows用に探してきたり、それを設定するのも大変なので、今回はテレホーダイ時代に使っていたような、フリーのweb巡回ソフトを利用する

こととしました。指定のhtmlをダウンロードしてくるだけなので、別に変に新しいものに手を出す必要もないので。

また、ダウンロードしてきたhtml ファイルについては、これまたフリーの日本語処理ツールでcsv方式に加工することにして、処理ルール部分を相当に作り込みました。

このあたりは、全体を通して見てもキモの部分なんですが、ある意味、ちょっとしたパズル感覚だったので、プログラミング言語の部分と違って、かなり楽しかったです。

あとは、msdosのバッチファイル（これは前から知っていた）で、これらの処理を繋ぎ、cygwinのcurlとかいうツールで、連続して検索エンジンサーバにcsv ファイルをアップロードする

仕組みを作りました。

検索エンジンサーバには、容量は少ないが、安くて高性能という、今回の用途にピッタリだった、さくらのVPSを借りて設定。CentOSのサーバ構築ホームページを見ながら、サーバとか

Solr 管理 URLとかにセキュリティを掛けて、こちらも素人ながら、意外とすんなり設定。

ホームページは、vps サーバに相乗りさせるのではなく、別にさくらのレンタルサーバを借りました。apacheの設定方法等を習得する必要がありませんし、vpsのリソースをapacheと分け

合う必要が無くなるので。ホームページのhtml ファイル、css ファイル等も調べながら設定し、画像も準備しました。

あと、構想を思いついたときに妄想していたサービス名の.comドメインは、すでに他者に取得されていたのですが、どうも使っている風にも見えなかったので、whoisで出てきたメールア

ドレスに連絡して交渉し、幾ばくか払って買い取りました。

ようやく完成

結局、足かけ18か月。ようやく完成。

楽天市場の家具を、幅x奥行x高さ(家具サイズ)で検索できる、楽天市場・家具カテゴリ専門の検索エンジン

カグサイズ検索

http://kagusize.com

この商品数規模（データ収録約30万アイテム）で、1センチ単位で家具のサイズ指定検索が可能な手段は、商用サービスも含めて、ほかには存在しないと思います。

kanzen21と違って、エロじゃないから華はないけどね。。。

カグサイズ 検索が提供する価値について

ちなみに冒頭で少し書いたきっかけですが、就職して独り暮らしを開始したときに、新しい家にピッタリサイズの家具が欲しかったのですが、これが楽天で探すのは至難の技でして。

楽天で家具を探してみようと思った人には判っていただけると思うのですが、楽天では、価格では範囲指定やソートができても、サイズでは検索出来ないんです。

これは、楽天では、商品のサイズ情報は商品の自由記述欄に記載することになっているためで、商品ごとにサイズの記載方法がバラバラのため、検索が事実上、不能となっています。

家電製品とかに関しては、種類が少ないこともあり、メーカーのホームページとかでサイズを確認した上で、商品型番で検索すればいいので、それほど問題にはならないのですが、家具

って、種類が非常に多く、型番もあったり無かったりで、家電のようにサイズを調べることができません。

しかも、サイズが非常に重要な商品です。なんて不便な！

・・・ということで、カグサイズでは、楽天の商品ページにいろいろな書式で書かれているサイズ情報を拾って解析して正規化し、範囲指定やソートして検索ができるようにしています

。

また、単に寸法サイズを拾うだけでは、梱包サイズとか引き出し内寸とかも引っ掛かってしまうので、それらは出来るだけ排除して、商品の外寸が優先して引っ掛かるよう、アルゴリズ

ムを調整しています。

単位（センチとミリ）に関しても、商品ごとにバラバラ（単に単位だけでなく、商品説明のどこに"センチ"とか"ミリ"と記載しているかについてもバラバラです。）なので、サイズ表記

の前後の状況をみて、正しいと思われる単位で拾うようにしています。

その他

あと、変わった使い方としては、欲しい家具の価格比較みたいなこともできます。

家具は、同じ商品でも、店ごとに型番が違ったりすることがよくあり、簡単には価格の比較が行いづらいジャンルの商品です。

しかし、型番は違っても、同じ商品なら原則、サイズは同じですから、欲しい商品とまったく同じサイズで検索をかけると、同等商品があるのかどうか比較しやすい・・・といった使い

方もできます。

おわりに

と、そんな感じで、しがない事務職リーマンが作ってみた、ニッチな用途の検索 webサービスを、サービスインさせて頂きました。

一般に公開されていて、誰でもアクセスできる情報でも、ニーズが有りそうな切り口の条件で検索性を高めれば、新しい価値を創造できるんじゃないかという実験です。

もしよろしければ、ぜひ、使ってみてくださいー。それでは！

----------

カグサイズ検索

http://kagusize.com

追記

アップ直前の変更により、最大サイズの指定がうまく働かなくなっていたため、修正をしました。ご指摘有難うございました。

Permalink | 記事への反応(3) | 18:34

「MySql」を含む日記

■ド素人が完全自作SNSを作ってみてわかったこと。

■アダルト動画を配信するtumblrのbotを作ってみました

■iphoneで見れて、毎日いっぱい更新されるのエロ動画サイトを作った。【サイト構築詳細メモ】

はじめに

つくったサイト

きっかけサイト

レンサバ

不要なサービスを止める

SSHでサーバ設定

CentOSにAPCをインストール

apacheの負荷対策

wordpressがらみ

もう1個負荷確認

クローラーを作る

今後の追加機能予定

2012/11/8 追記

2012/12/3 追記

■Ruby開発者の転職率ハンパない

■【2012超まとめ】確実にWEBサービスを作りたい人へ【中編】

■【2012超まとめ】確実にWEBサービスを作りたい人へ【前編】

■perl SQL::Makerはスゲー便利 その２

■これは新しい！プログラマ募集 字給0.02ドル！コピペプログラマ求む！

Php MySqlのエンジニア募集

■"Hello world!"

■シェル操作課題 SQLによる解答例

準備

問1 このファイルを表示しろ

問2 このファイルからサーバー名とアクセス先だけ表示しろ

問3 このファイルからserver4の行だけ表示しろ

問4 このファイルの行数を表示しろ

問5 このファイルをサーバー名、ユーザーIDの昇順で5行だけ表示しろ

問6 このファイルには重複行がある。重複行はまとめて数え行数を表示しろ

問7 このログのUU(ユニークユーザー)数を表示しろ

問8 このログのアクセス先ごとにアクセス数を数え上位1つを表示しろ

問9 このログのserverという文字列をxxxという文字列に変え、サーバー毎のアクセス数を表示しろ

問10 このログのユーザーIDが10以上の人のユニークなユーザーIDをユーザーIDでソートして表示しろ

個人的な感触

■留年したから他力本願でウェブサービス作った。

■ああ、みんな「嵌っちゃったんだな」と思ったとき

■これからプログラムを始めようと思ってる人へ

■簡単なクローラ作るならPythonだよ！

■WEBサイトを発注してみた。

サーバ設定

まとめ

■書き直したって、いいんだよ

書き直してはいけないのか

技術の変化

ビジネス環境の変化

技術の体系化の弱さ

最後に

■Web企業でバックエンドのエンジニアとして必要な知識メモ

■とある老害大手SI企業の例（書いたらムカムカしてきた）

■事務職リーマンがwebサービスを作ってみた話

アイデアときっかけ

やりたいことは非常に面倒だった

面倒なサービスをどう実現するか

検索エンジン周りの開発

kanzen21.comに衝撃を受ける

クローラ周りとかの開発

ようやく完成

カグサイズ検索が提供する価値について

その他

おわりに

追記

■ド素人が完全自作 SNSを作ってみてわかったこと。

20 12/11/8　追記

20 12/12/3　追記

■Ruby 開発者の転職率ハンパない

■perl SQL::Makerはスゲー便利　その２

■これは新しい！プログラマ募集字給0.02ドル！コピペプログラマ求む！

問5 このファイルをサーバー名、ユーザー IDの昇順で5行だけ表示しろ

問10 このログのユーザー IDが10以上の人のユニークなユーザー IDをユーザー IDでソートして表示しろ

■Web 企業でバックエンドのエンジニアとして必要な知識メモ

■とある老害大手SI 企業の例（書いたらムカムカしてきた）