  |
はてなキーワード: Csvとは
ECサイトの運営を任されて4年。これまで蓄積された販売データは50万件以上に上る。
もと営業マンの上司（部長）がこの販売データに目をつけ、分析したいと言い出した。
どういったデータが欲しいのか要件定義をしてもらえればいくらでもデータ提供するのだが、この上司は「自分で分析をしたい」という欲求が非常に強い。
そして具体的な分析イメージが持てていないので、要件定義が全く出来ない。
それじゃ、って事でECサイト管理者権限を与え、管理ソフト上での閲覧もcsv吐き出しの方法も教えたのに、今度はそれが使いこなせない。
毎日ギャーギャー騒いだあげく、ついには「全部のデータをExcelで見れるようにしろ！」と言い出した。
「ビックデータ解析に一番有効なツールはExcelです。」だそうだ。
部長の後ろの本棚に最近そういう本が並んでいるのは知ってた。知ってたけど関わりたくなかったので無視していた。
それがついに正式な業務命令として振ってきてしまった。もう避けることは出来ない。
祝日出勤のイライラもMAXだったので、昼休み明けに1.5GBのcsvデータ作って部長のPCに放り込んであげた。
部長は大層喜んだ。「やっと分析に着手出来るな！」って他部署に聞こえるくらい大きな声で宣言してた。
で、さっきから“ファイルを開こうとする毎に画面真っ白になる”っていうのを延々繰り返して「なんだよこれー！！」ってキレててウケる。
日本のお役所がPDF大好きなのは、知っている。霞ヶ関から吐き出される有効な資料は、ほぼpdf！
一方で、e-statなどでは、ネ申エクセルや方眼エクセルとは、別の方向でcsvデータを公開している。
今、株価が上昇しているIT企業様は、PDFとhtmlとを比べるような使い方はしていないのでは？
世界は、IT企業、htmlとPDFとを比べたらどちらを重用しているのか？
googleがjava script 推しのJQueryを良く使ってるし、これからは、人工知能の時代だから、xml形式とか、マークアップ言語は、良く出てくると思うよ。
Facebookはphpなんでしょう？リア充御用達で、Twitterよりも株価も資本も安定している。
これからは、you tubeとかLINEみたいなツールがどんどん出てくるから、先のことは分からないよね。
オープンソースでもGit hubみたいなツールが使われているんだし。。
https://ja.wikipedia.org/wiki/Comma-Separated_Values
本来はカンマで区切るのが正しいけど、最近は TSV や SSV なんかを含めて
”Character Separated Values" （CSV）
ということも多い
マジ迷惑な話だな
PC向けの業務アプリを作っていると、マスタメンテナンスの一環として、登録データのCSVアップロードとダウンロード、もしくはそれらに準ずる機能を要求される場合が多い。依頼者曰く、膨大なレコードを1件ずつチマチマ修正する場合に面倒なので、CSVでババーッと修正してドドーッとアップロードできれば一括反映できて簡単でお手軽で便利で定時退社で５時から男だ、という事らしい。
そんな感じで、当初はあくまで一括処理のため、みたいな感じで要求されるのだが、作った後に実際の運用を調べてみるとほぼCSVアップロードだけしか使ってません、みたいな事になりがちだったりする。別にCSVアップロードを実装したところで1件ずつ登録したり修正したりする画面が無くなるワケではないし、どっちもあった方が良いのに越したことはない、というのは理解できるのだけど。
CSVアップロードとダウンロードによる一括作業のあるあるとしては、
・ユーザがCSVを編集するためだけにMicrosoft Excelを準備しなければならない（場合が多い）。折角Webベースの業務アプリにしようとなっているのに、Webとは別にCSV編集用のソフトウェアが必要というのは本末転倒な感じがする。「大体のパソコンにはWordとExcelが入ってますから」が常套句。
・CSVフォーマット自体がバリデーションを持たないため、アップロード後、サーバ側でチマチマとバリデーションを書く必要があり、それらをアップロード時のエラーとして丁寧に表示してやる必要がある。これがすこぶるウザい。リレーションなどが絡むと余計ウザい。ユーザも修正後2度3度4度とCSVをアップロードしなければならず、面倒である。
・データとして一括処理する前の作業が分業になっていて、CSVの行単位で分けたものを最終的にCSVとしてマージするというやり方にしたいという要求がある場合。社員1名が10000行のCSVをダウンロードし、それを手作業で100行ずつぐらいにしたものを、100人のパートタイマーに修正させる、等。そういうふうにCSVを分割してくれと言われたこともある。
・CSVファイルと画像ファイルをアップロードして画像も登録できるようにしろ、などと言われる。この場合、CSVのカラムに画像名を記載し、同階層にその画像名の画像を配置し、それらをZIPなどで固めてアップロードするなどの方法があるが、手順からして正気の沙汰とは思えない。画像のバリデーションなどもウザい。
・そんなふうにしてCSVアップロードを実装すると、処理が複雑すぎるせいで、最終的に属人的な業務になりがちだったりする。ZIP圧縮するときはこのアーカイバを使えとか、画像はjpgだけにしろとか、こちらが特に指定しておらず本来そうしなくてもいいような部分がヘンにローカライズされて面倒なことになっていたりする。
といったものが挙げられるかと思う。
・CSVの取扱をやめる。
・一括処理が必要なカラム等をヒアリングし、それを可能とする画面を作る。バリデーション等も考慮。
・編集時には行（ないしはページ）単位でロックをかけ、複数人での編集で衝突が発生しないよう考慮する。
・一括編集＆バリデーションチェック⇢保存で反映、という流れだけなのでシンプル。属人的にならない。
といったようなものが考えつくが、これらを提案しても「いやいやいやいやいやいやいやいや、ここはCSVで」とか言われる事が多かったりして嫌になる。なんで皆そんなにCSVが好きなんだろう。
上記以外に、何か良い代替案とかあったら、是非教えてください。
http://www.mermaid-tavern.com/indexs.html
ちょっとバイナリデータのヘッダー解釈とデータ処理をExcelにやらせようとググっているときに引っかかり、中を見て驚愕した。
最初に見た一瞬はイラッとし、ちょっと読むとあまりに低レベルな煽りっぷりに笑い、しかしそれが数百ページもあって、常軌を逸したレベルの量の煽り文を書ける人間性にドン引きした。
人をバカにする文章を書きながら、「ごっこネタ」と言い逃れているあたりが滑稽であり、しかし笑えない。
検索で飛んでくる99%までがオバカなExcel屋とその同類のC#屋とAccess屋である。その実態は企業内低能パソコンユーザーである。ここではそれらを総称して「エクセルバカ」としている。これは ©Microsoft が作り出す産業廃棄物の粗大ゴミである。
このセクションはそのエクセルバカが大好きな「ごっこネタ」である。エクセルバカが能もないのにやりたがる「文字コードごっこ」「バイナリごっこ」「UTF-8ごっこ」「改行ごっこ」「エンディアンごっこ」「16進数ごっこ」「CSVごっこ」「暗号ごっこ」などを総称したものである1)。小学校程度のアタマしかない者が微分方程式を解こうとするのに似ている。なお、私はExcelやBASICなどには興味も関心もない。頭の体操のためにそれで遊んでいるだけである。
確かに不必要に余計なやり方をしている人は困るが、検索してたどり着く人の中には能があり本当にそれが必要だから調べている人がいるだろうに、ひっくるめて全員を罵倒しているのが悲しい。
能がある人は知識を持ってるからググらない？レファレンスを見るからググらない？近くの人に聞くからググらない？本当かな。
というか、文字コードなんてcgi(php,perlあたり)の初学者がWindowsとUnix系の違いを理解していないがために最初に躓く話じゃないの？今はそうでもないのかな？
Excel自体は万能ツールではないし、Excel方眼紙を使う人とか報告書を全部Excelで作れとかいう要求には俺も辟易としている。
けれど、そんなレベルじゃない。明らかに言い過ぎで拡大解釈である。
しかしこの全方位をバカにして煽っていくスタイルはいったいどういう精神構造をしていればできるのだろう。
このドメイン配下のページにリンクしている人、飛んできた人を全員バカ扱いしているようだ。
トップへのアクセスや変な階層に直リンで飛んできた輩は、別のドメインや別ページに飛ばしたうえでIPと検索ワードを取って晒し者にしているらしい。
バカにするだけのためにExcelやBASICを学んだとまで言う。すごい熱意だ。
それに加えて最高に面白いポイントは、ちょっとググっただけで本人らしき名前が簡単に出てくる程度のITリテラシーで、よくここまで言い切れるものだと思った。
実は偽名なのかは知らんが。
これが釣りなら素晴らしい釣りだと思うけど、徹底的に人をバカにする仕方と熱意の強さのせいで釣りに見えない。
そんな素晴らしい能力がある人には見えないけど、こんなことを公言している人がどれだけ仕事ができる人なのか見てみたいもんだ。
どんなオッサンなんだろう。
保活中の身として物申したいです。貴方の方向性は正しい。できるだけ割り込みが入る窓口対応や電話対応を減らすべきです。業務が遮られますからね。私も集中してるときに内容のない質問されたらイラッとしますからね。元増田の意味のない「あいさつだけ」とかやめてほしいのは非常にわかります。
それと、元増田の「あいさつ」等の根回しは私も無駄（＝評価されない）だと思いますし、それを実際にもし評価されてるのであれば不公平なので、反対します。即刻にやめていただきたいです。これは主旨とずれるのでここでやめます。
話を戻すと、窓口対応のような「割込み」を、貴方含めた保育課の方々はできるだけ減らすよう努力してるのでしょうか？申し訳ないですが、保活中の身として言いますが、全くといってよいほど、その努力が感じられないです。わざと仕事量を増やしてる気がしてならないです。それで「忙しい」とか言っていたなら、税金返してほしいくらいですね。
なぜ私がそんなこと言ってるのか。その理由は、ネットに情報が公開されてないからです。ネットに情報を正しい情報を公開してれば、無駄な相談も大幅に減るでしょうし、電話対応も減ると思います。こんな誰でも思いつくようなことをやらないのは甚だおかしい。
実際に窓口で担当者に私は聞いてきましたが、前年度における各保育園の「何ポイントだったら入れたか」という情報を教えていただきました。なぜそれをネットに公開しないのですか？おそらくどこの区でもそうでしょう。
窓口では、自分が保育園に受かるかどうかの相談を多く受けてると思います。これがまったくの無駄です。先の情報を公開してれば、有志の人たちが勝手に数字をまとめますので、それを見て各自に判断しているはずです。
とりあえず、ネットに公開してほしい情報を列挙します。これを公開すれば、窓口対応や電話対応の数は大幅に減ると思います。
・前年度における、各保育園の内定者のうち、合否ボーダーラインの点数情報（何点以上だったらその保育園に入れたかの情報）※
・前年度における、各保育園の申込人数※
・前年度における、各保育園の募集人数※
・本年度の、各保育園の募集人数
・本年度の、各保育園の申込予想人数（できれば）
・エリアごとの新生児の増加人数（最低でも、大規模マンションが●●エリアに立った等のざっくり情報でも可）
※0歳4月、1歳4月、2歳4月、3歳4月入園のそれぞれ、つまり4つずつ必要です。
python の質問になります。 - 例えばlist = [[1,あ,い,う,え,お],[2,か,き,く,... - Yahoo!知恵袋
# make csv file import csv def make_csv_file(table_data, file_path): with open(file_path, 'w') as file: for row_data in table_data: csv.writer(file).writerow(row_data) # usage list = [ ['1','a','b','c','d','e'], ['2','f','g','h','i','j'], ['3','k','l','m','n','o'] ] make_csv(list, 'sample.csv')
pythonでのデータファイル読み込みについてpython初心者です。p... - Yahoo!知恵袋 に対する回答。
Step1. 次のようなファイル datafile.py を作成します。
# Set your np object in this file. np = .... # data data = [ [np.array([1,2,3]),np.array([0,1])], [np.array([4,5,6]),np.array([2,3])], [np.array([7,8,9]),np.array([4,5])], ]
Step2. 本体のファイルで datafile.py を呼び出します。
以下、変数 data, np には 上記の内容が、保存されて返ってきます。
from datafile import data, np
注意: 簡単ですが、この方法の場合 datafile.py の中で np オブジェクトも定義する必要があります。PHP で言う所の include 的なのがあったら楽なんですけどね〜。
Step1. 次のようなファイル datafile.csv を作成します。
1,2,3,0,1 4,5,6,2,3 7,8,9,4,5
Step2. data = [np.array..., np.array... ] としたいところを次のように書き換えます。
data = [] e = lambda i: int(c[i]) file = open('datafile.csv') for line in file: c = line.split(',') data.append([ np.array([e[0], e[1], e[2]]), np.array([e[3], e[4]]) ]) file.close
補足 lambda式
出会い系サイトはエンターテインメントであることを忘れてはいけない
・サーバー
・システム
サーバーについて
基本的にサーバーは国内か国外という大きな枠組みから決めることになる
海外であればフィリピン、タイ、中国、台湾、ここら辺になるだろう
国外であっても基本日本語対応できる現地日本人がいるので問題は無い
サーバーのある国の法律が基本的に適応されるので国内であればある程度覚悟する
注意しなければいけないのは国外サーバーだからといってやり方を間違えば日本の法律が適用されかねない事
csvサイトにするか広告を打つサイトにするかによってまったく方向性が変わってくる
csvサイト、何万件というアドレスをシステムに入れ無差別にメールを送る所謂スパムサイト。コストが安い
広告を打つ場合についてはコストがかかりすぎるがそこはやり方とイメージ付けの問題
○ルーダや○ショップが有名所、基本的にシステムを借りた方が参入は簡単
サイトの雛形や内部の形式がどうなっているか素人には判断しにくいかと思う
キャラと顧客の関連付けは利益を上げる上で非常に重要なので基本的なのをいくつか書く
個対個と個対多なシステム 客単価が非常に高く利益をかなり上げることができるが手間とスキルが必要
顧客対多 この形式のシステムは基本的に安く最初にこれで参入してしまったらほぼ失敗する
課金形式についてはシステムによって導入できるものが変わってくるが電子マネーと銀行振り込みクレジット
電子マネー ネ○○○ドキャッシュ ○○○ック ビッ○○○ッシュ がメイン
銀行振り込み 国内サーバーなら使ったらいい国外なら使うのは控えるべき
クレジット 新規顧客獲得を多くするなら確実に必要だが依存してはいけない
課金系の導入に審査など時間がかかるのでそこは留意しておくこと、どこかのサイトを譲り受けるのが手っ取り早い、システムの乗せ変えは比較的簡単だ
顧客から返金要求があれば応じなければならないがそうなるかどうかはスキル次第
サイトを譲り受けるのが手っ取り早いということを書いたがサイトを手放したがっている人間は少なくない
何よりサイトを閉めるというのが一番難しいからだ、ある程度お金を持った人間は手放したがる
個対個と個対多なシステムであればアクティブ1000人と10人常連が出来るだけで低く見積もっても月800万以上の売り上げが見込める
若い人は日本の50代以上の人間がいかにお金をもっているかもっと知るべきだし搾取されるより搾取するべき
最低限ほしい機能はこれだけなんだけど。
このご時世にまともにiPhoneのヘルスケア連携してる国産体重計が一つもないってどういうことなの。
何買おうかなとググってみてびっくりしたよ。
測定精度、速度とかでは洋物とは比較にならんのに残念すぎる。
候補としては以下の二つのみ
http://www.amazon.co.jp/dp/B00V35HEIC/
測定対象：体重／体脂肪／心拍数／CO2濃度 測定時間：約30秒（体重のみなら5～8秒らしい） 測定精度：200g単位 記録人数：8人まで
追加課金なしに「ピピッとwifi経由保存 ＆ 体重推移確認」となると、現時点ではこれになる。
体重測定毎にTweetしたりFBに投稿するウザい機能もついてる。エネループ使えないってレビューあったのがすげー気になる。
エネループと組み合わせて使えてる人いたら報告お願いしたい。
http://www.amazon.co.jp/dp/B00LNYOO0Y/
測定対象：体重／体脂肪／骨格筋率／基礎代謝／体年齢 測定時間：約4秒 測定精度：50g単位 記録人数：3人まで
「ピピッとwifi経由保存」は出来るが、月額300円を払わないと過去半年分のデータしか保存されない。iPhoneヘルスケア自動連携なし(csvで吐かせて手動で読み込ませる)。
WPSでの無線LAN設定が出来ず手動設定した場合は、電池交換毎にNW設定入れなおす必要がある。あとオムロン製品は体脂肪率が他社製より5-6％高く出る(らしい)。
他、選外
いちいちスマホをかざすBluetooth連携しかない上、閲覧は広告が入る公式アプリからのみ。iPhoneヘルスケア自動連携なし。
測定精度はおそらく一番良いのに残念すぎる。
http://www.amazon.co.jp/dp/B0077L8YOO/
http://www.amazon.co.jp/dp/B00I1F8H1K/
多分Withingsのを買う、というか買わざるを得ないけど、残念でならない。
