「csv」を含む日記 RSS

はてなキーワード: csvとは

2017-06-12

CSVテロ

上司accessCSVを取り込めないと騒いでいる。

そりゃそうだ。ファイル名にドットが入っているからな。

"定義XMLによるスキーマ確認が失敗しました。XMLドキュメントの行 | にエラーがあります。"というエラーメッセージが出るからな。

ふふ。苦しめ苦しめ!わしは帰り増田

2017-05-03

http://anond.hatelabo.jp/20170503151008

うちでも似たようなことがあって、同じように巨大なCSVを渡していたな。

Excelどころか一般テキストエディタでもまともに開けない代物をどうやって分析したのか非常に気になっている。

そもそもExcel分析なんて誰が言い出したんだろうか。

行列計算を繰り返し行うようなものExcelでやろうと言うのか。

その後の増田の行動を予想してみる

http://anond.hatelabo.jp/20170503151008

1.5GBのCSVが開けない上司から、「ファイルの容量が大きすぎるから開けない。10MBずつに分けて出せ!」と言われる

言われたとおりに出す。上司大喜びで「これでようやくExcel分析できる!」

なんか変な仮定を立ててファイル一つに注力して検証するが全く当てはまらない。

なんと、偶然一致する傾向が見えた!

別のファイル再検証したら全然当てはまらない。

全部終わるまで増田残業だ。ソースは俺

DBSQL理解できない文系上司

ECサイト運営を任されて4年。これまで蓄積された販売データは50万件以上に上る。

もと営業マン上司部長)がこの販売データに目をつけ、分析したいと言い出した。

どういったデータが欲しいのか要件定義をしてもらえればいくらでもデータ提供するのだが、この上司は「自分分析をしたい」という欲求が非常に強い。

そして具体的な分析イメージが持てていないので、要件定義が全く出来ない。

「色々といじってみないとわからない」の一点張りだ。

それじゃ、って事でECサイト管理者権限を与え、管理ソフト上での閲覧もcsv吐き出しの方法も教えたのに、今度はそれが使いこなせない。

毎日ギャーギャー騒いだあげく、ついには「全部のデータExcelで見れるようにしろ!」と言い出した。

「ビックデータ解析に一番有効ツールExcelです。」だそうだ。

部長の後ろの本棚最近そういう本が並んでいるのは知ってた。知ってたけど関わりたくなかったので無視していた。

それがついに正式業務命令として振ってきてしまった。もう避けることは出来ない。

祝日出勤のイライラMAXだったので、昼休み明けに1.5GBのcsvデータ作って部長PCに放り込んであげた。

部長は大層喜んだ。「やっと分析に着手出来るな!」って他部署に聞こえるくらい大きな声で宣言してた。

で、さっきからファイルを開こうとする毎に画面真っ白になる”っていうのを延々繰り返して「なんだよこれー!!」ってキレててウケる

2017-04-18

社内SEの人に

「それって基幹システムから吐き出すの?」って聞いたら、

「どっちかというと取りに行くですね。」って言われて???ってなった。

このCSV毎日誰がが取りに行ってくれてるらしい。

小人的な?

2017-03-20

http://anond.hatelabo.jp/20170320001230

自分html,pdf,csv等々は拡張子変数名でみかけるので小文字を使いがち

文章中のWWWが草生やしているようにみえて、それがWorld Wide Webの略であることに数秒を要した。

WEBと打ったのはCapsLockキーがそうさせたのではと推測した。普段まりCapsLockキー使わないからね。

2017-03-19

http://anond.hatelabo.jp/20170319132149

日本のお役所PDF大好きなのは、知っている。霞ヶ関から吐き出される有効資料は、ほぼpdf

一方で、e-statなどでは、ネ申エクセルや方眼エクセルとは、別の方向でcsvデータを公開している。

今、株価が上昇しているIT企業様は、PDFhtmlとを比べるような使い方はしていないのでは?

世界は、IT企業htmlPDFとを比べたらどちらを重用しているのか?

  

googlejava script 推しのJQueryを良く使ってるし、これからは、人工知能時代からxml形式とか、マークアップ言語は、良く出てくると思うよ。

Facebookphpなんでしょう?リア充御用達で、Twitterよりも株価資本も安定している。

これからは、you tubeとかLINEみたいなツールがどんどん出てくるから、先のことは分からないよね。

オープンソースでもGit hubみたいなツールが使われているんだし。。  

そう言えば、perlcgiは、ほぼお亡くなりになりましたね。

2017-02-24

祝日csv文句言ってる奴は間違いなく三流プログラマー

祝日の日付が毎年変わることは当たり前だし、春分秋分の日みたいに発表されて初めて確定する日もある。

祝日名称が変わることは容易に想像できるし、例のcsvはそういった事情を鑑みて優れてるとは言えないが妥当ものといえる。

そもそも仮に特定の日付について祝日かどうか判定して名称を取得するだけならいわゆる連想配列作るわけで

あのcsvからそれを作ることの何が大変かさっぱり理解できん。

2要素ずつ取り出してkeyとvalueに突っ込むだけだろうが。

そりゃjsonになってたら楽かもしれんけど言語によっては逆に面倒だわ。

2017-02-23

.iniファイル

このまえSIerPHPプロジェクトで、パラメーターを設定ファイルに外だししようって話になって「.iniファイルの読込ルーチンはどうする? だれか作れる? ○○さんがもってるかも」って話になってたから、PHPなら標準でxmljsonの読込関数がありますよって言ってみたけど「あ、こいつまた小難しいこと言ってる」みたいな空気になって流されたな。

ホットエントリ内閣府CSVやばいって記事で思い出した。

2017-01-25

はてなーウェブスクレイピングの実力を見てみたいw

このサイトから英語日本語フレーズを対にしてcsvに全部落とせる?

みんな大好きの瞬間英作文のソースが大量に落とせるよ!

http://gogakuru.com/english/phrase/genre/index.html

はてなーウェブスクレイピングの実力を見てみたいw

このサイトから英語日本語フレーズを対にしてcsvに全部落とせる?

みんな大好きの瞬間英作文のソースが大量に落とせるよ!

http://gogakuru.com/english/phrase/genre/index.html

2016-11-25

増田って画像は貼れないしCSVとかエクセルの書式のファイルPDFZIP掲載できないんだが

シンプル伊豆ベストってとこか

2016-11-16

http://anond.hatelabo.jp/20161116104349

https://ja.wikipedia.org/wiki/Comma-Separated_Values


本来カンマで区切るのが正しいけど、最近は TSV や SSV なんかを含めて

”Character Separated Values" (CSV

ということも多い


要は、タブだとしても CSV だっていうこっちゃ

マジ迷惑な話だな

エクセルかいう頭のおかしソフト

何でcsvだっつってんのに勝手にタブ区切りに変換してんだよ

なんだこの無駄ストレス

ビルゲイツ&メリン基金の総資金力を上げてこれを修正しろ

2016-11-05

http://anond.hatelabo.jp/20161105032504

2016-10-26

today's android

ガラケー電話帳!

こいつテキストエンコードが7bitじゃない。

良かった。いわゆる普通エンコード

具体的にいえば、シフトJis

いわゆるVcard形式アウトルックCSVに変換し

スマホ電話帳まで移植

移植成功

自分をほめてあげたい。

2016-09-28

CSVダウンロードアップロードに替わるやり方って何か無いのだろうか

PC向けの業務アプリを作っていると、マスタメンナンスの一環として、登録データCSVアップロードダウンロード、もしくはそれらに準ずる機能要求される場合が多い。依頼者曰く、膨大なレコードを1件ずつチマチマ修正する場合に面倒なので、CSVでババーッと修正してドドーッとアップロードできれば一括反映できて簡単でお手軽で便利で定時退社で5時から男だ、という事らしい。

そんな感じで、当初はあくまで一括処理のため、みたいな感じで要求されるのだが、作った後に実際の運用を調べてみるとほぼCSVアップロードだけしか使ってません、みたいな事になりがちだったりする。別にCSVアップロード実装したところで1件ずつ登録したり修正したりする画面が無くなるワケではないし、どっちもあった方が良いのに越したことはない、というのは理解できるのだけど。

CSVアップロードダウンロードによる一括作業あるあるとしては、

ユーザCSV編集するためだけにMicrosoft Excelを準備しなければならない(場合が多い)。折角Webベース業務アプリにしようとなっているのに、Webとは別にCSV編集用のソフトウェア必要というのは本末転倒な感じがする。「大体のパソコンにはWordExcelが入ってますから」が常套句

CSVフォーマット自体バリデーションを持たないため、アップロード後、サーバ側でチマチマとバリデーションを書く必要があり、それらをアップロード時のエラーとして丁寧に表示してやる必要がある。これがすこぶるウザい。リレーションなどが絡むと余計ウザい。ユーザ修正後2度3度4度とCSVアップロードしなければならず、面倒である

データとして一括処理する前の作業が分業になっていて、CSVの行単位で分けたものを最終的にCSVとしてマージするというやり方にしたいという要求がある場合社員1名が10000行のCSVダウンロードし、それを手作業で100行ずつぐらいにしたものを、100人パートタイマー修正させる、等。そういうふうにCSVを分割してくれと言われたこともある。

CSVファイル画像ファイルアップロードして画像登録できるようにしろ、などと言われる。この場合CSVカラム画像名を記載し、同階層にその画像名の画像を配置し、それらをZIPなどで固めてアップロードするなどの方法があるが、手順からして正気の沙汰とは思えない。画像バリデーションなどもウザい。

・そんなふうにしてCSVアップロード実装すると、処理が複雑すぎるせいで、最終的に属人的業務になりがちだったりする。ZIP圧縮するときはこのアーカイバを使えとか、画像jpgだけにしろとか、こちらが特に指定しておらず本来そうしなくてもいいような部分がヘンにローカライズされて面倒なことになっていたりする。

といったものが挙げられるかと思う。

これらに対する実装面での解決策としては、

CSVの取扱をやめる。

・一括処理が必要カラム等をヒアリングし、それを可能とする画面を作る。バリデーション等も考慮

編集時には行(ないしはページ)単位ロックをかけ、複数人での編集で衝突が発生しないよう考慮する。

画像ドラッグドロップ指定できるようにする。

・一括編集バリデーションチェック⇢保存で反映、という流れだけなのでシンプル属人的にならない。

といったようなものが考えつくが、これらを提案しても「いやいやいやいやいやいやいやいや、ここはCSVで」とか言われる事が多かったりして嫌になる。なんで皆そんなにCSVが好きなんだろう。

上記以外に、何か良い代替案とかあったら、是非教えてください。

2016-09-20

DMMサービスAPI商品コメント提供停止されていた

さらながら、これはかなりショック。。。

API叩けば、DMMの色々な情報が一気に取得できたのに…

という訳で、今後はどうするのか考え中…

→ APIクローリングコメントを取ってくるしかないと判断

  ついでにCSVにするようにしよう。

つー訳でスクリプト作成しよう。

2016-07-16

エンドユーザコンピューティングの話

社内SE転職した俺。

もともとその会社には専任IT担当者がいなくって、俺が初の担当者

で、色々な素人達が片手間に作ったシステムメンテナンスをすることもある。

殺意最初に芽生えたのはホームページビルダーで作ったHTMLソース

完全に物理タグレイアウトしてるじゃん!くっそ汚えコード

次はExcelVBA。なんでサーバDB上のデータを取り込むのに、

サーバ上でCSVにするプログラムをわざわざ動かして、

APIFTPを叩いてダウンロードODBCじゃダメなんですかね...

今やってるのは、素人MySQLPHPに手出しをしたプログラム

なんと、正規化という概念はないし配列も使ってない。

なんか、再コーディングした方が簡単なんじゃないかって思うプログラムマジで

2016-04-03

エクセルバカ」は煽り文だらけのアドバイス(笑)ページを見るか?

http://www.mermaid-tavern.com/indexs.html

ちょっとバイナリデータのヘッダー解釈データ処理をExcelやらせようとググっているときに引っかかり、中を見て驚愕した。

最初に見た一瞬はイラッとし、ちょっと読むとあまりに低レベル煽りっぷりに笑い、しかしそれが数百ページもあって、常軌を逸したレベルの量の煽り文を書ける人間性にドン引きした。

人をバカにする文章を書きながら、「ごっこネタ」と言い逃れているあたりが滑稽であり、しかし笑えない。

検索で飛んでくる99%までがオバカExcel屋とその同類C#屋とAccessである。その実態企業内低能パソコンユーザーである。ここではそれらを総称して「エクセルバカ」としている。これは ©Microsoft が作り出す産業廃棄物粗大ゴミである

このセクションはそのエクセルバカが大好きな「ごっこネタであるエクセルバカが能もないのにやりたがる「文字コードごっこ」「バイナリごっこ」「UTF-8ごっこ」「改行ごっこ」「エンディアンごっこ」「16進数ごっこ」「CSVごっこ」「暗号ごっこ」などを総称したものである1)。小学校程度のアタマしかない者が微分方程式を解こうとするのに似ている。なお、私はExcelBASICなどには興味も関心もない。頭の体操のためにそれで遊んでいるだけである

能のないエクセルバカが大好きな語は「バイナリUTF-8、改行、CSVである。いずれもネコに小判、ブタ真珠である


確かに不必要に余計なやり方をしている人は困るが、検索してたどり着く人の中には能があり本当にそれが必要から調べている人がいるだろうに、ひっくるめて全員を罵倒しているのが悲しい。

能がある人は知識を持ってるからググらない?レファレンスを見るからググらない?近くの人に聞くからググらない?本当かな。

というか、文字コードなんてcgi(php,perlあたり)の初学者WindowsUnix系の違いを理解していないがために最初に躓く話じゃないの?今はそうでもないのかな?

Excel自体は万能ツールではないし、Excel方眼紙を使う人とか報告書を全部Excelで作れとかい要求には俺も辟易としている。

けれど、そんなレベルじゃない。明らかに言い過ぎで拡大解釈である


しかしこの全方位をバカにして煽っていくスタイルはいったいどういう精神構造をしていればできるのだろう。

このドメイン配下のページにリンクしている人、飛んできた人を全員バカ扱いしているようだ。

トップへのアクセスや変な階層直リンで飛んできた輩は、別のドメインや別ページに飛ばしたうえでIP検索ワードを取って晒し者にしているらしい。

バカにするだけのためにExcelBASICを学んだとまで言う。すごい熱意だ。

それに加えて最高に面白いポイントは、ちょっとググっただけで本人らしき名前が簡単に出てくる程度のITリテラシーで、よくここまで言い切れるものだと思った。

実は偽名なのかは知らんが。

これが釣りなら素晴らしい釣りだと思うけど、徹底的に人をバカにする仕方と熱意の強さのせいで釣りに見えない。

そんな素晴らしい能力がある人には見えないけど、こんなことを公言している人がどれだけ仕事ができる人なのか見てみたいもんだ。

どんなオッサンなんだろう。

まあ、仕事ができようとできまいと、ネタでもこんなことを言う人とは仕事したくないし関わりたくもないのだが。

2016-02-21

http://anond.hatelabo.jp/20160219234227

保活中の身として物申したいです。貴方方向性は正しい。できるだけ割り込みが入る窓口対応電話対応を減らすべきです。業務が遮られますからね。私も集中してるときに内容のない質問されたらイラッとしまからね。元増田意味のない「あいさつだけ」とかやめてほしいのは非常にわかます

それと、元増田の「あいさつ」等の根回しは私も無駄(=評価されない)だと思いますし、それを実際にもし評価されてるのであれば不公平なので、反対します。即刻にやめていただきたいです。これは主旨とずれるのでここでやめます

話を戻すと、窓口対応のような「割込み」を、貴方含めた保育課の方々はできるだけ減らすよう努力してるのでしょうか?申し訳ないですが、保活中の身として言いますが、全くといってよいほど、その努力が感じられないです。わざと仕事量を増やしてる気がしてならないです。それで「忙しい」とか言っていたなら、税金返してほしいくらいですね。

なぜ私がそんなこと言ってるのか。その理由は、ネット情報が公開されてないからです。ネット情報を正しい情報を公開してれば、無駄相談も大幅に減るでしょうし、電話対応も減ると思います。こんな誰でも思いつくようなことをやらないのは甚だおかしい。

実際に窓口で担当者に私は聞いてきましたが、前年度における各保育園の「何ポイントだったら入れたか」という情報を教えていただきました。なぜそれをネットに公開しないのですか?おそらくどこの区でもそうでしょう。

窓口では、自分保育園に受かるかどうかの相談を多く受けてると思います。これがまったくの無駄です。先の情報を公開してれば、有志の人たちが勝手数字をまとめますので、それを見て各自判断しているはずです。

とりあえず、ネットに公開してほしい情報を列挙します。これを公開すれば、窓口対応電話対応の数は大幅に減ると思います

・前年度における、各保育園内定者のうち、合否ボーダーラインの点数情報(何点以上だったらその保育園に入れたか情報)※

・前年度における、各保育園の申込人数※

・前年度における、各保育園の募集人数※

・本年度の、各保育園の募集人数

・本年度の、各保育園の申込予想人数(できれば)

エリアごとの新生児の増加人数(最低でも、大規模マンションが●●エリアに立った等のざっくり情報でも可)

※0歳4月、1歳4月、2歳4月、3歳4月入園のそれぞれ、つまり4つずつ必要です。

できれば、これらをPDFではなく、CSVで公開していただきたいです。最低でもエクセル

以上、保育課窓口で1時間待たされた保活男より。

2016-01-24

Python で list から csv ファイル作成する。

python の質問になります。 - 例えばlist = [[1,あ,い,う,え,お],[2,か,き,く,... - Yahoo!知恵袋

# make csv file
import csv
def make_csv_file(table_data, file_path):
  with open(file_path, 'w') as file:
    for row_data in table_data: 
      csv.writer(file).writerow(row_data)

# usage
list = [
  ['1','a','b','c','d','e'],
  ['2','f','g','h','i','j'],
  ['3','k','l','m','n','o']
]
make_csv(list, 'sample.csv')

2015-12-26

pythonでのデータファイル読み込みについてpython初心者です。p... - Yahoo!知恵袋 に対する回答。

 

方法Python ファイルとしてデータ構造も含めてデータを保存する場合

Step1. 次のようなファイル datafile.py を作成します。

# Set your np object in this file.
np = ....

# data
data = [
  [np.array([1,2,3]),np.array([0,1])],
  [np.array([4,5,6]),np.array([2,3])],
  [np.array([7,8,9]),np.array([4,5])],
]

 

Step2. 本体ファイルで datafile.py を呼び出します。

以下、変数 data, np には 上記の内容が、保存されて返ってきます

from datafile import data, np

 

注意: 簡単ですが、この方法場合 datafile.py の中で np オブジェクト定義する必要がありますPHP で言う所の include 的なのがあったら楽なんですけどね〜。

 

方法CSVファイルデータを保存する場合

Step1. 次のようなファイル datafile.csv作成します。

1,2,3,0,1
4,5,6,2,3
7,8,9,4,5

 

Step2. data = [np.array..., np.array... ] としたいところを次のように書き換えます

data = []
e = lambda i: int(c[i])
file = open('datafile.csv')
for line in file:
  c = line.split(',')
  data.append([
    np.array([e[0], e[1], e[2]]),
    np.array([e[3], e[4]])
  ])
file.close

補足 lambda式

2015-11-06

YYYYMMDD

電子データ上で日付けをDD-MM-YYYY形式で扱うやつなんなの?

ファイル名に使うと日付順に並ばないから

SN-DDMMYYYY FILENAME.xlsxとかファイル名を付けてて、アホかと思う。

SNも途中で追加ファイルが入ったら枝番をどんどん増やしてるし。

もっとひどいのは、DDMMYYYY形式CSVファイル作成して

そのままエクセルコピペして渡してきて、

日付けカラムがめちゃくちゃなデータになってたりするのに、

平気な顔して使っていてデータが壊れたとか言ってくる

ふざけんな。

あと、CSVファイルフランス語入れるなら、文字コードSJIS使うな。

アーカイブ ヘルプ
ログイン ユーザー登録
ようこそ ゲスト さん