「MySQL」を含む日記 RSS

はてなキーワード: MySQLとは

2018-07-17

DMMの「女優検索API」を利用して「AV女優検索するサイト」を作ってみ

アダルトサイトなので家族にも知人友人にも内緒で誰にも話せず、ここ数ヶ月の作業を誰かに伝えたくて勝手に書いてみました。

DMMの「女優検索API」は「名前身長バストウエストヒップ、生年月日」の範囲と並び順を指定したデータを送ると、それに適合したAV女優さんの一覧データが取得できるシステムです。

検索できる女優さんの人数は現在48815人。海外ポルノ作品の出演女優さんや、別名の女優さんなどもいて、いろいろな方を含めた人数です。

最近AV出演強要問題もあり、データから削除されている女優さんもいます

そして最初に完成したのが、身長スリーサイズ指定してAV女優さんを検索できるサイトです。

av女優検索av zine」Ver1.0

http://av2ch.net/avsearch1_0/

DMMAPIから女優さんの情報を取得し、出演作品一覧が表示されるだけのサイトで、PHP作成してます

ボディサイズ検索できるのが面白いので、体型の近い女優さんを検索できる機能つけました。

お遊びで、峰不二子マリリン・モンローの体型に近い女優さんを探せるリンクもつけてみました。

これはこれで使えないわけではないのですが、DMMAPIで出来ることは限られています

そこで取得した女優さんのデータデータベース(MySQL)に格納して、もっと機能化することにしました。

DMMAPIに負荷をかけないように、1ヶ月かけて約5万人の女優さんのデータと出演作品データを取得しました。

そして完成した現在の最新バージョンこちらです。

av女優検索av zine」ver2.0

http://av2ch.net/avsearch/

ver2.0では「カップ」で検索できるようになりました。スリーサイズだけではオッパイの大きさは判断できないので、これはけっこう使える機能です。

他には出演作品ジャンルタグキーワードのようなものです)を女優さん別に集計して、ジャンル検索できるようにもしました。

VR作品に出演している女優さん

有名人に「そっくりさん」な女優さん

ニューハーフ女優さん

等などジャンル選択することで探せます。もちろん、ボディサイズや年齢など他の要素をプラスしてかなり絞り込んだ検索ができます

個人的には、VR作品の出演女優さん(現在737人)を詳細に検索できるようになったのはかなり便利です。

というわけで以上です。

今後の課題としては、DMMAV女優さんの膨大なデータは確かにすごいのですが、有名女優さんでもデータの未記入や、あとは間違いがあるので加筆修正しようと思っています

あと取得集計したデータ活用して、何か面白い女優さんの探し方や見せ方が無いかな?とアイデアを絞ってます

あくまでも女優さんを検索するサイトで、著作権違反動画無修正動画を紹介するサイトへの展開は考えていません。

今回は、読んでいただいてありがとうございました。

2018-05-28

anond:20180527161420

SQL エスキューエル はいいんじゃないの? そのまま読んでるだけだし、英語でもこうと決まってるわけでもないし。

そういえば、MySQLアメリカ人がマイシクルと読んでたっけ。Bicycleと同じような発音。(マイスィコーの方が近いかな。Micycle みたいな感じ。)

2018-05-25

anond:20180525174142

504 Gateway Time-out 連発

ダメだ。

サーバーをチューンナップしないといけない。

NginxMySQL、…課題が多い。

もっと金をかけて、サーバーハイスペックにすれば、力技でも解決するだろう。

まだプロトタイプなので、マネタイズできていない。今はまだ金をかけたくない。

 

サーバーの負荷を監視して、ボトルネックを探ることが先決だ。

札束解決するのは、その後だ。

静的サイトジェネレーター、CDN、DDoS対策、…俺がやりたいのは、こんな道草じゃない。(全部丸投げしたい)

ハァ~、困ったもんだぜ。全く!

2018-05-17

C#MySQL連携させるのってあり?

それとも大人しくADO.NET使っとけって感じ?

2018-04-26

データサイエンティストが働いて嫌だったなと思う人たち

コンサルにてアナリストをやった後、データサイエンティストを名乗りながら仕事をしています。そんな中で嫌だったなと思った人たちとプロジェクト

1.医療統計の周りの人

最近アウトカムでの評価の流れにはなってきたが、まだまだモデル評価をする事は少ない。

でも何故か相変わらずロジステックとCox回帰をやれればおっけーであり、モデルの精度が当たらなくてもオッズ比と説明変数

有意差だけでていれば上手く行く分野。 本当に心が痛む上、まだまだ「医者でなければ人であらず」が通ってしまい、モデル説明よりもお医者様のお言葉が1stにきてしまう。また分析プロジェクト

設計らしい設計があまり出来ないのもつらいところ(モデルの精度が出ていないのにそのオッズ比・有意差に何の意味があるんだと思う)。後日本の製薬企業から「何とか工夫で有意差がでないのか!!」

という謎おしかりを受ける・・・いやそんなん無理ですやんと切実に思う。やる気でこの世界数字は変わりません。

後は何だかんだ製薬企業日本の古いしきたりが多いので面倒。

2.Google Analyticsアナリスト関連

割と良いBIみたいなんが良くも悪くもあるためアナリストの人たちがやった気になっているやつ。Web関係アナリストは、アナリストを名乗って欲しくない人の方が多いイメージ(勿論しっかりWebアナリストやっている方々は知っている)。広告内容を分類し、CV予測、そしてマルチチャネル予算からCV最適化案件をしていたらWebアナリストから「私の作るLPは最適です。なので予算4000万です」という謎の最適の主張を受けたのはいい思い出(何故かデザイナー様がWebアナリストもやっていた)。広告内容のuser2vecでのレコメンド実装チャレンジして評価して、協調フィルタリングよりも精度はよさげだな喜んでいたら、どっかのよくわからないレコメンドツールというのが汎用性もあるし、既存ツールに1万ぐらい払えば追加できるとそして何故か「最適化」されているという言葉役員が騙されて決済がおりていたのを聞いたとき殺意が沸いた。どうせ既存マーケティングオートメーションレコメンドエンジンなんて協調フィルタリング・ロジぐらいだろうと思っている。本気で分析やっている人がそうそ最適化なんて言葉を使わないと思うんだ・・・まぁここの反省Web業界といってもみんなコーディングがりがりではなくてGUIでいいならそれでが割と多いという事を学んだ (注意)。

3.データベース関連

どっかの人のにもあったが、「あっ、データ分析分かるんだよね?」という事でVB6Accessの改修をやらされそうになったときは全力で拒否った。

後は何故かPHP+MySQLあん(ry

VB6見た後でPythonコードを見ると心が癒された。

4.やる気を説いて来る人達

やる気で数字が変わったら誰も苦労なんてしないんだよ・・・。半教師有り等で精度向上見込めるといってもいくらなんでもこのデータでは

運用目標には到達しないとしか思えないんだ。

5.ホワイトボックステスト要求されたとき

モデルホワイトボックステストってどうやってやるんだ?精度を検証データでやっていれば良いじゃないかと思っていた。ただそこの金融系でITプロジェクトは、基本的に「ホワイトボックステスト」やらが必須らしく・・・おいおい・・。とりあえずカテゴリー目的変数がそれぞれの値を取ることを客先で見せてかつレポートで「こうこうこうゆうときカテゴリー変数が変わりますよ」という彼らがいう境界線確認を全てやることになった。カバレッジ100%も言われたが、流石に無さ過ぎるので諦めてもらった。

6.KGIとKPIしっかり切り分けてBI作成していたら集計屋かといって来られる時

どこかの人にもあったが、私はビジネスが動けばよいと思っているので難しい分析をしなくても上手く行く時は、集計で上手く切り分けて、要因分析をやる(裏で決定木とかで境界値とかは見ていたりする)。ただ何故かそれで集計ばかりしかしていないと怒られる。別に研究者ではないし、難しい分析をしてクライアントへの説明時間を取られたり、展開が難しくなるぐらいならば皆と合意した上で、KPIとKGIを切り分けてダッシュボード作成をしっかり出来る方が実はビジネス上上手く行くだ。むしろ自分への戒めでいつも難しい分析が本当に必要なのかと思ってるぐらいである。

注意 因みに私の別部署インフラ基盤周りのWordpress関係炎上していた。そこそこの大規模でWordpress使うって大変らしいのに・・・

勿論これの逆、評価した上で、分析ビジネスにしっかりと生かしていける人は大好きです。

とある障害の話

これはLAN内で使っているだけの、しょっぱいエントリクラスサーバ1台障害の話だ、価値のある話ではない。

とある国内最大級の某グループウェア Office(パッケージ版)を使っている。

この某グループウェアは、従業員の「その日のタイムカードの一覧」を見ることができない。

CSVエクスポートすれば可能だが、営業マンは勤怠をガラケーメールで報告する運用であるため、

スマホ支給しろ 一覧+タイムカード修正画面へのURLリンク付きで

総務課の人にスクレイピングしてあげていた。

↓大雑把にこんな感じ

#!/usr/bin/env perl
use MY::Cybozu;

my $cb = MY::Cybozu->new;
$result = $cb->get_timecard( sprintf("%d.%.d%", $year, $month, $day) );

&send_mail( $result );

数年来やってきていたのだが、突然このスクレイピングデータが取れなくなった。

かにPerlを書けるだけで、他の言語将棋を指すようにしか書けない低能である

まず自分スクリプトを疑った。

ちょうど20日の月替りのタイミングだったので、スクリプトミスでズレたのか?

或いは、タイムカードHTMLtable構造で「trの何番目が何日目」という原始的な処理の方でズレたか

しかし、日付に関係なくダメになったのである

ほぼほぼデータを取れないのだが、たまに正常に取れたりもする。なんだこりゃ。

$mech->statusの結果はいつも200である

print $mech->contentの結果は、HTMLが途中で途切れていた。

スクレイプ対象の前で途切れたので、値を取得できなくなっていたのだ。

同じ場所で途切れる事が多いが、若干の増減はあった。

手元のWindowsマシン移植したところ、まったく問題ない。

どうやらスクリプトを動かしているLinux側の問題と思われる。

が、Webアクセスしてコンテンツが途中で途切れるって何だ?

どういう現象なのか?

そこまでの知識経験もなければ、調べ方も分からない。

からないなりに、とりあえずtcpdumpしてみた。

3WAYハンドシェイクはよく知られた話だが、正常な通信では、サーバから送られてきたパケットに対して

こちらは「ここまでのパケット受け取った」とACKを返し、最終的にサーバからFINこちらがRST返すのが見て取れた。

この異常をきたしたスクリプトでは、ある程度を過ぎると、こちらがACKを返す前にサーバからどんどんパケットが送られ、

突如としてこちらがRSTを連打し、切断してしまっていた。

なるほど、ステータスは200だけど、コンテンツは途切れているのだな。

悪いのは、いよいよこちら側である事は間違いない。

でもスクリプトじゃなくて、ネットワーク制御しているOSが悪いっぽい?

となると深刻である自動車に乗れても内燃機関構造など把握していないのだ。

唯一、tcp_abort_on_overflowでそれっぽい挙動をしそうだと分かったが、この機能は使われていない。

詰まった。

お手上げだ。

でも分かった。

端末からNASディレクトリへ、TAB補完しようとすると突如フリーズしたのだ。

他のスクレイピングは正常に動作してる。

httpdも正常に動作してる。

MySQLも正常に動作してる。

グループウェアへのスクレイピングNASへのTAB補完だけが動かない。

故障だ。

単にマシン故障だ。こういうヘンテコな挙動をするのは。

1.3万円で買って7年目の某ProLiantサーバから寿命なのだろう。

オチはないけど、最初から故障を強く疑っても良かったではないのか、と自省する。

そのマシンでのみ失敗し、しかも失敗したりしなかったり(比にして7:3程度)、結果も毎回変わっていたのだから

うーん無能

2018-03-28

[]ブクマを集めたがホットエントリーになれなかったのは具体的にはどんなエントリー

はてなブックマークブックマーク数を多数集めたがホットエントリーに入らなかったエントリー

集計期間 2018年3月23日 2010分 〜 2018年3月27日 1時0分、3日間(77時間)

集計対象2018年3月23日 2010分以降ファーストブクマされたエントリーで新着エントリーに入ったエントリーに限った

最大到達ブックマークタイトルドメイン新着リスト滞留時間(時間)新着リスト最終時間ファーストブクマ時間
1174ActiveRecordデータ処理アンチパターン / active-record-anti-patterns // Speaker Deckspeakerdeck.com302018-03-27 01:002018-03-25 18:25
2136技術チュートリアルnoteで売る」っていう社会実験をしてみた結果、めっちゃくちゃ可能性を感じた話|Review of My Lifereview-of-my-life.blogspot.com292018-03-27 01:002018-03-25 19:57
3113私服OKIT企業でそこそこにちゃんとした格好をする方法 - ミネム珈琲ブログwww.minemura-coffee.com432018-03-26 11:502018-03-24 16:20
490発表資料: Elasticsearchによる 全文検索実装 - Islands in the byte streamgfx.hatenablog.com422018-03-26 12:002018-03-24 17:10
590正しく失敗しながら進むプロダクト開発/railsdm2018 // Speaker Deckspeakerdeck.com332018-03-27 01:002018-03-25 15:52
686Rails Developers Meetup 2018 で「MySQL/InnoDB の裏側」を発表しました - あらびき日記abicky.net342018-03-27 01:002018-03-25 14:46
77890%が間違えてる!?転職エージェントの選び方と効果的に使いこなす徹底マニュアルcareer-rules.com452018-03-26 08:002018-03-24 11:00
877厳選7種のチャートパターン活用したFXエントリー方法【事例付き】mugen-fx.com142018-03-27 01:002018-03-26 11:00
976suikahara漫画 : ★専門学校blog.livedoor.jp142018-03-27 01:002018-03-26 10:37
1074ウルティマ オンラインMMORPG元祖がもたらした、多数の発明とは? “ロード・ブリティッシュ”らが明かす開発秘話GDC 2018】 - ファミ通.comwww.famitsu.com432018-03-26 17:402018-03-24 21:43
1170小泉進次郎氏「平成政治史に残る大事件」森友文書改ざん朝日新聞デジタルwww.asahi.com302018-03-27 01:002018-03-25 18:27
1266うる星やつら同窓会 実は杉山佳寿子ラム役を狙っていた? - otoCotootocoto.jp242018-03-27 01:002018-03-26 00:35
1366Linuxカーネルソースの減量 // Speaker Deckspeakerdeck.com442018-03-26 11:502018-03-24 15:42
1464Realworld Domain Model on Rails // Speaker Deckspeakerdeck.com322018-03-27 01:002018-03-25 16:02
1564Microservices Maturity Model on Rails // Speaker Deckspeakerdeck.com422018-03-26 13:402018-03-24 19:25
1663僕が毎月「妻の布ナプキン」で手を血に染める理由鈴木 大介) | 現代ビジネス講談社(1/4)gendai.ismedia.jp462018-03-26 12:002018-03-24 13:31
1763牧野由依はなぜ復帰作で“声”をテーマにしたのか 本人が明かす、歌手活動休止真相と次の一歩 - Real Sound|リアルサウンドrealsound.jp462018-03-26 09:002018-03-24 10:05
1862デス様じゃねーか」「オーキド博士いるぞ!」 「ポプテピピック最終回さまざまな意見が寄せられる - ねとらぼnlab.itmedia.co.jp332018-03-27 01:002018-03-25 15:58
1961子ども能力遺伝子検査を受けてみたよ!ともちんの意外な能力!? - ともちんブログwww.tomochinchin.com152018-03-27 01:002018-03-26 09:09
2060バス因子が自分バス因子を脱するための方法 // Speaker Deckspeakerdeck.com322018-03-27 01:002018-03-25 16:01
2156ノンデザイナーのためのコンセプト & ロゴ作り実践講座 feat. savanna.io // Speaker Deckspeakerdeck.com442018-03-26 10:002018-03-24 13:34
2254インターネットでどうやってお金を稼ぐの?家で出来ちゃう最近副業」を16選まとめてみた。kanemotilevel.com352018-03-26 21:202018-03-25 10:10
2354銃器老舗レミントン経営破たんトランプ政権下で財務悪化 写真1枚 国際ニュースAFPBB Newswww.afpbb.com72018-03-27 01:002018-03-26 17:15
2454これからGolang開発を行うRubyistたちへ - Qiitaqiita.com552018-03-26 11:202018-03-24 03:39
2553個人のためのコードレビューサービスを開発しました。 - Qiitaqiita.com142018-03-27 01:002018-03-26 10:13
2653昭恵氏の影響「総理しか説明できない」 小泉進次郎氏:朝日新聞デジタルwww.asahi.com432018-03-26 11:502018-03-24 16:25
2753これ一本でフルカラー描写可能に!「CMYKペン」 | ギズモード・ジャパンwww.gizmodo.jp462018-03-26 05:502018-03-24 07:45
2852ソーシャルメディアを「タダ」で使うコスト松井博|notenote.mu432018-03-26 12:302018-03-24 17:07

27日1時以降にホットエントリー入りした可能性は残っている。ただし新着エントリー24時間以上いてからホットエントリーに上がれるケースは稀。

3ブックマーク集めても新着エントリーに入れなかったエントリーもあるはずだが、それは集計の対象外になっている。

ホットエントリーになれないエントリースライド共有サービスSpeaker Deckからエントリーが目立つ。Speaker Deck以外でもテック系のエントリーが目立つ。

関連: anond:20180328202931

2018-03-20

anond:20180320033921

えぇ。。。まじだよ。。。

それっぽいん単語出したら信じてくれないか

docker-composeを使ってGolangMysqlイメージ使っていつも開発してぞ

好きなエディタ学生無料で使えるIntelliJ IDEAでgoLand をよく使ってる。

Gitだってブランチ切ったりアドコミットプッシュくらいでGitHubを使ってプルリク系の開発をチームでしたりもした。

AWSインスタンス立てたりロードバランサつけてインタンンス二つに流したり、CDNさしたりもできる

いうてCDNの設定とかドメインの設定だけでラクチンなんだけどね。

あ、あと最近サーバーレスにはまっててaws lambdaをserverlesって言うツール使ってデプロイとかしてる。

これだけ言えば本当にエンジニアだってわかるよなぁ?

テストとかも書いたことあるからモックとかも当然理解してる

2018-03-17

anond:20180317074337

ずるすぎやろ

なんでapt-get install mysqlmariadbが入んねん

mariadb.cnfがなんで/etc/mysqlあんねん

馬鹿にしとんのか

俺は単にmysqlユーザからrootログインしたいだけなんに

2018-03-12

どこまでがフロントエンドのやることなんだろう

私がいるところは、プログラマ/システムエンジニアフロントエンドエンジニア/バックエンドエンジニアとかの区分がなくひとりでなんでもやるところです

一応フロントエンドが好きで得意だと自称はしているもの一般的フロントエンドってどこまでするのでしょうか


デザイナがするような部分

ここは当然でしょう


最近では SPA のページも多いので単純な HTMLJS ではなくフレームワーク必要とされることもあります

ここもブラウザ側の話なので必要でしょう


SEOの都合などでJSレンダリングじゃなくサーバサイドレンダリングで、サーバから受け取るHTMLの時点で表示できる状態になってることを依頼される場合もあります

その場合サーバサイド言語に応じたテンプレートエンジンも使います

PHP なら BladePython なら jinja、 Node.js なら ejs という感じ


JSコードテストしたり gulp などのタスクランナーwebpack などバンドルツールを使うので OSコマンドラインツールも使える必要があると思います


サーバサイドの言語は別の人が作るにしても自分環境でそれを動かすためにサーバ構築は出来たほうがいいでしょう

VMOSインストールしてウェブサーバインストールしたり

Vagrant, Ansible 等で管理されているなら、設定ファイルを書くことはないにしろ実行する方法エラーが起きたとき簡単対象方法くらいは知っていないと不便かと思います

ウチの場合各自LinuxVMインストールして Ansible でという使い方なので気づきませんでしたが、考えてみたら全部設定済みの VM データを配布してくれるということもあるのかもしれません


データによって画面表示を変えるときに、それに応じたデータを作って画面を確認したいことがあるので、mysql や postgres などなどデータベースの知識必要になることがあります

SQL 書けなくても pgadmin みたいな GUI ツールで表を書き換えればいいのですが最低限の仕組みは知っていないと苦労しそうです

完全にフロント/バックが切り離されてるところなら、フロントエンド開発者向けにデータベースは使わずテンプレートエンジンに渡ってくるデータを好きに設定できる機能が用意されてるのかも?とも思います

サーバサイドの処理は不要クライアントサイドの動きのみを作るわけですから、決まった場所JSON ファイルデータがそのまま使われるならデータベースの存在を知らなくてもいいですし


ここまでできたらバックエンドよりフロントエンドのほうが何でも出来る人みたいに思えます

あとはサーバサイド言語を書ければもうサービスが作れてしまます

でもこれぐらいできないとすごく不便で、すぐに他の人に頼らないといけなくなるように思います

サーバ冗長化とかそういった部分はかかわらなくてもいいと思いますけど、Linuxデータベースなんかは自分でどうにかできないと周り誰もいないときに動かなくなったら作業進められななんてことがありそうですし

2018-02-16

サポートデスクの人ってもっと給料もらったり有料サービスにしていいんじゃね

自分はしがない田舎サラリーマンなんだけど、まぁ、ほんのちょこっとパソコンに詳しいわけよ。

いや、ほんのちょこっとだよ。はてなー失笑される程度。ポート解放できたりLINUXApacheやらMySQLいれたり、マイクラサーバーにしたりして趣味程度に遊ぶぐらいの。

で、まぁ、今勤めている会社はいわゆるコンサルタント会社なんだけど、その客が「増田君、パソコンできるんだってちょっと、見てくれないか?」とかいって「なにもしてないのにこわれた」らしいパソコンを持ってきたわけ。

それでぱぱっとシステム復元してやったら一発で直って、そこから気がついたらアレもこれもとして、なんかパソコントラブルがおこったら○○社の増田電話すればいいみたいな感じで客先に広まっちゃって今3社ぐらいから「パソコンお困りサポートセンター」みたいな扱いを受けているんだけど、これがとにかくストレス

で、流石にこの状況はおかしいぞ、と社長判断を仰いだら「当社の仕事コンサルタントではなく、お客様が困っていることを助ける事。その指針に則っているのではないか。」と言われて結局2年ぐらい「パソコンお困りサポートセンター」みたいなことを業務に合間にしてるんだけど、もうとにかくイラつくのね。

これを仕事としているサポートデスクの人って、もっとこれ以上にお客さん抱えてると思うし、そんなサポートデスク無料でやってるんだからスゴイなと思った。

からサポートデスクってそもそも有料でいいんじゃねぇのって思う。てか、こっちの立場を見て明らかに「直してくれて当たり前」みたいな態度で接してくるしな。こんなん無料でやってたら割にあわんて。

2018-02-12

anond:20180212215928

学生なの?

俺の頃とは時代が変わってるから

一様には言えないけど、

新卒新人だったら、

趣味MySQL使用Webサービス1個ぐらい作っておくのと、

念のためオラクルブロンズぐらい持っておけば十分だと思うよ。

2018-01-17

RDBデータ暗号化(TDE)

MySQL 8.0でデータ暗号化サポートしているらしい。

面倒くさいけど、重たい腰を上げて、まずは実験してみるか。

みんな無料RDBを使う場合データ暗号化はどうやってるの?

 

MySQL以外のRDBMSでは

商用のOracleなどでは、かなり前から使えるようになっています

無償で使えるOSSでは、PostgreSQL9.3~・要NEC提供モジュール)が列単位MariaDB10.1.3~)がテーブル単位でのTDEをサポートしています

また、Amazon RDSでは、MySQLを含め、様々なRDBMSサポートしています

2017-12-07

Webサービス企業求人条件を具体的に書け

はてな場合Webアプリケーションエンジニア

求められる知識経験

Incrementsの場合アプリケーションエンジニア

必須スキル

メルカリ場合ソフトウェアエンジニア(Server Side))

必須条件

ドワンゴ場合(【ニコニコ事業Webアプリケーションエンジニア正社員))

必須条件

こんなのそこらへんの学生でも持ってるスキルだろ。こういう甘い条件で人を集めてバサバサ不採用にして何がしたいのかわからん。たまにいいのが来ればいいや?みたいな感じ?どうせ内部では経歴や年齢や学歴差別してるんだろ(と疑われても仕方がない)。

Webサービス企業求人条件を具体的に書け。

2017-10-29

Excelもってない

自宅PCだと、XPノートOffice XP入ってるけど、

10ノートには入ってない

VBAMySQL接続ってのやりたくなって、アマゾンみたらExcel 5万くらいする

キモいから買えない

 

追記

単体なら15000円ぐらいだった^^;;

アーカイブ ヘルプ
ログイン ユーザー登録
ようこそ ゲスト さん