「sed」を含む日記 RSS

はてなキーワード: sedとは

2020-11-26

sed ここからここまで範囲削除

sed -i'' -e "/ここから/,/ここまで/d"

2020-09-10

AWKスクリプトの中身を解読する気がしない

Awk始めた。正確に言うとこれだけじゃなくてBashインストールしたら漏れなくついてくる関連のも使っている。SedとかPasteとか・・・

”今までExcelでやっていたことをAwkでやりたいんです”ってSFOに投げると親切な人から返事が来てそれをコピペ運用している。なので、スクリプトの中身を解読しなくて生きていけている。しかしぱっと見分かりにくい。例えば

FNR=NR

もちろんFNRNRといった個々の予約変数については調べればわかる。どうも入力リストと異なった形態中間リストが生成され、そいつの行番号を数えているようだ。

中間リストまで明示して解説してくれないので(解説を試みたサイトもあるにはあるが)そこでやる気をなくし、現在に至る。

入力リストに至るところまで厳格なルール適用しておけば、教えてもらったAwkコードは当分そのまま使えるし・・またなんか異種のパターンが来たら、SFOに投げればいいし。。自堕落だ!!それでも脱Excelしようとしてるだけマシか?

2020-08-26

Environment set up

  • Installation of Win10
  • Activation of WSL
  • Installation of MS 365
  • Installation of text editor

下準備

作業の中身 (結局Excel上でコピペになりそ)

  • Create unsubmitted guy list
  • Remove unnecessary columns (using awk)
  • Append column (all 0) from right hand side (using awk or paste)
  • Using join command, join to id list
  • Replace NAN with 1 (using sed)
  • Repeat above procedure 15 times

Scoring final stage result

この時点で, id-score pairが生成。

formatting in accordance with that template

quotation marksがawk的には曲者?いざとなればExcel上でコピペか?

金曜日が〆切とあるから別に17時じゃなくてOKそう。金曜の夜が勝負だな。土曜の午前くらいもOKか?おそらくこんな感じの手順だな。 unsubmitted guy listとscoringが手作業なのでこの辺が律速か?

2020-02-03

Android版OpenSSH

もどきスマホに導入したら、会議中でも研修会中でも内職してサーバSSH接続してゴニョニョできるわ。シェル芸覚えれば、サーバに入ったコードファイルを呼び出してSEDとかで新製すればいいし・・・

2020-02-01

anond:20200201003215

したけどなんか空行にへんな

i[null]

かい文字が挿入されるだけで、「入力ストリームの行を上下反転させる」とは程遠い動作なんですけど?意図した動作ですか?

意図した動作だとしたら何をする処理なのか説明をお願いいします。

tacを使う以外に方法はなさそうです。sedで出来るっていう人もいますが、実際のコードを見るまで信じられません。

よろしくお願いいたします。

2020-01-08

無印良品ウェブサイトが止まってる件について思うこと

この件⇒ https://togetter.com/li/1452558

ユニケージbashパイプで作られた、RDBMSを使わずテキストファイルによる空白区切り行志向レコードへのデータ処理(だいたいプログラム1本の処理内容がメインフレームCOBOLのそれと同じくSQLクエリ1個に相当する)で、同形式によるマスタとトランザクションファイルRDBMS内部のredoログに相当)を使う(データに含まれる空白文字0x20はアンダーバー0x5Fに置換する、アンダーバー複数存在するデータ場合どう扱うかは知らない)

開発と更新は早いんだけど参照が(テキストファイルなので)インデクスが効かないためシャーディングするしかなく、要するに検索機能の柔軟性がなく、リアルタイム性を損なう

おそらく基幹系というか在庫管理をユニケージでやっているので、ウェブサイト自体はユニケージ実装されていないかもしれないけど、しかし根幹に上記のような手作りデータベース実装があるし、RDBMSに移行するとなると全部を止めてマスタとトランザクションファイルマージしてインポートすることになる

追記トランザクションファイルのマスタへのマージ営業時間後の日次バッチとかでやるはず

システムを止めている間も店舗運営を続けているなら、たとえば店頭在庫を潤沢に積んだうえで、店舗間での在庫の融通は禁止し、店頭での売り上げ分はどこかでRDBMSに計上しなければならない

追記テキストファイルに対するインデクスをつくって行頭へのシーク高速化をすること自体はもちろん一般的には可能だけど、ユニケージ方法論だとそれをする標準的方法はないはず。ユニケージRDBでもNoSQLでもなく、バイト位置でのシークという操作自体がない世界なので。sedとかで行の差し替えをした場合SQLのUPDATE相当)当然行頭のバイト位置が変更した行以降ですべてずれてしま可能性があるのでインデクスの更新がひどく非効率になる

追記文章下手ですみません。ユニケージの良いところはRDBMS実装の基礎を理解できるところ(これはDate先生教科書を読んだりOracle Silverの勉強をしたりSQLの書き方を工夫したりクエリプランを読んだりするよりずっと効率的に学べる、ただしファイル編成法の知識ちゃんとした教科書で補う必要がある)、アプリケーション実装技術について横断的な理解ができるところだと思います(USP研究所シェルスクリプトマガジンには実際勉強になりそうな記事が多い)自分はユニケージへの移行案件を生き残れなかったクチなので。。

追記:Tsukubaiは好きになれませんでした。

追記anond:20200115152201

2019-11-14

sed n行目からファイル末尾まで削除

sed -e '42,$d'

特定増田を含む行から末尾まで削除

sed -e '/増田/,$d'

2019-10-09

シェル芸法律で禁じて欲しい

パイプでつないでawk使ってハッカー気分かもしれないけどお前の書いてるスクリプトクソクソクソオブクソだから

おとなしく

Python

subprocess

使え!!!!!!!!!!!!!!


追記

本物のハッカーである皆さんはどしどし使ってくれて大丈夫ですよ^^;

lispmemo シェル芸シェルスクリプトは異なる概念では?

そうですね、熱くなって言い過ぎました。

個人ターミナルに打ち込む一度きりのコマンドOKファイルに保存した瞬間に違法しましょう。

<追追記

いやあ思いのほかBuzzっちゃって^^;

awk代替がsubprocess?

awk適当に思いついたから入れただけでパイプ使ってるんだから他のコマンドも入ってますよ^^;

grepとかsedとかPythonで同様のことができる(実行時間現実的範囲で収まる)ならPython関数でお願いします。

読めないのか

読めませんよ。意図が。$1、$2とだけ書かれててそこにどういう値が入っているべきなのかコメントは書かれてませんし^^;

ハッカーの皆さんは当然コメントも書いてくださってますよね^^;

NOV1975 追記日本語が読めない増田だということがわかったし、業務を任せられない増田ということもわかった。君は一体何の増田なんだ

ソリティアやってますから置き物が必要になったら呼んでください^^;

2019-03-07

anond:20190306191019

それって、grep 案件では?

grep パン[正規表現]ティー


いや、grep じゃなくて sed でも awk でも perl でも何でもいいんだけど。正規表現が使えれば。

google検索じゃ使えないよね。たぶん。)

2019-02-06

COBOLってこんな言語

日経xTECHの元記事を読んでもCOBOLの特徴があんまり伝わってこない感じだし、かといってそれをディスってもしょうがないので、書いてみた。

https://anond.hatelabo.jp/20190205192741

COBOL本質的にはDSLなんだけど、一見汎用プログラミング言語に見えてしまってRubyPythonなんかと比較するのが誤解のもとではあると思う。今の人でも知ってそうなCOBOLに似ている言語はたぶんSQLで、データを処理するための専用言語。ただ、SQLは頑張ればすごく複雑なこともできるパワフルな言語で、だからこそ現代でも生き延びているわけだけど、COBOLはわりとシンプルデータ処理を想定している感じ。

SQLだけでアプリケーションを作れないのは触ったことある人なら誰でもわかると思う。普通JavaRubyで全体の流れを記述してデータベース入出力をSQLで書く。COBOLもそんな感じで、全体の流れをJCLやShellスクリプト、あるいはJP1のような運用管理ソフトで書く。SQLの1個の処理に相当するのがCOBOLコンパイル単位で、それごとにソースファイルが分割される。ひとつソースファイルに2個以上の処理を書くこともできるけど普通はしない。ここまで理解すると古いCOBOLに1ファイル内のすべての処理に影響するグローバル変数しかないのや、今のCOBOLコンパイル単位をまたぐ真のグローバル変数がないのも、それほどクリティカルではないことがわかると思う。もし、本当に複数の処理にまたがる値が必要なら、データベースに格納してしまえばいいんだし。

で、SQLでいうところのデータベースに相当するのがCOBOLではデータファイルsedawkテキストファイルCSVファイルを行ごとに処理するのとちょっと似てるけど、COBOL場合は固定長ファイルという点が違う。改行文字は入ってなくて、たとえば150バイトごとに次のレコードみたいな形式。これの1レコードごとに何月何日何時に〇〇という商品を□□円で売ったとか書いてあるのが典型的データの内容。それを集計して今日は〇〇が何個売れて売上がどれだけあったとか、出金合計がいくらで入金合計がいくらで、みたいな財務諸表を作ったり。SQLと同じように税率なんかが書いてあるマスタデータと、日々の売り上げが書いてあるトランザクションデータがあって、突き合わせたりということもする。こういう集計処理だからUIはなくて、夜中に自動起動するようなバッチプログラムが主な使われ方。(混乱するから余談だけど、今のCOBOLSQLを使って普通RDBにもアクセスできる。ただ使い方としては、RDBファイル処理→ファイル処理→ファイル処理→ファイル処理→ファイル処理→RDBみたいに、最初最後だけみたいなのが普通

入出力がファイルから今の感覚で考えるとアクセスは遅い。でもメリットもあって、1回に1行しかメモリに乗せないからどんな巨大なデータでも時間さえかければ処理できる。それこそ国民ひとりひとりの年金データとかね。あと、途中でバグ不正データで止まってもデータを失うのは最小限で済むので復旧が比較的楽だったり。

データベースの話に戻ると、テーブル定義はどこに書いてあるかというとデータファイル側ではなくてCOBOLプログラム側、というのがSQLと一番違うところかも。つまり、このデータファイル構造はこれこれこうなっていると想定して読みます、とソースコードに自分で書く。当然実際のデータ構造がそれと違ってたらおかしくなる。

まあそんな感じで80年代くらいに会計処理をする目的だったら悪い言語ではなかったので、銀行官公庁とか、電力水道ガスといったライフラインを扱う大企業がこぞって導入して今に至る感じ。普通大企業は途中でSunかに置き換えてその後Linuxクラウドさらに置き換えたりしたけど、最初に作ったシステムが大きければ大きいほど、重要であれば重要であるほど現代的な環境に置き換えられないというのが今の課題

2018-09-25

Perlの可読性が低いかどうかはともかく(そんなん主観しかないし)、sedawkで技巧的なことやるよりかはstraightforwardに書けるように思う。(あくま個人の感想です)

2018-01-14

IT業界某国スパイ巣窟

IT業界日本社会の縮図となっているんだよ - こうして僕らは腐る

http://www.byosoku100.com/entry/2018/01/13/212749

ITを学んでIT企業就職して、この国のIT企業はきっとCIAか何かによって弱体化を図られたとしか考えられないと思いました。

自分ロジック組んだり、アルゴリズムを考えたりする仕事をさせてくれている会社もありますが、会社の規模がでかくなればなるほどそういう仕事下流に任せる感が強い。まずこの構造が弱体化の出発点。

多重下請構造は、製造業日本ならではの伝統下流低賃金が根強い。背広を着た人がその伝統文化を売り捌く。文化が短納期、安請け合いを生み、短納期、安請け合いにより、品質が下がり、雇用も安く済まされ、弱いSEしかまらず、国際競争力はなくなる。この下請け構造文化を持ち込んだのは、他ならぬ製造業文化を固持してきたメーカーベンダーのように思えますメーカーベンダーCIAからなんだかのスパイ行為に加担したのでしょうか?

実はそんなメーカーベンダーにもいたのですが、ぽっと出の強いSEもいます。ところが強さが仇となり、全容を把握している神扱いで一段上に据えられます。そして多忙を極め、ロジックアルゴリズムをひねり出す知的生産力は、仕様書指示書と呼ばれるエクセル方眼紙に図形や文書を書き殴る作業力へと変貌します。

指示は全て自社フォーマット図面に書け!その図面審査承認課長に貰え!え?予算の都合、本部承認必要本部長いつ来るの?1週間後だって!?リスケだ!工数再見積もりだー…これは仕事ですか?それとも茶番ですか?こうして強いSEは弱体化します。強いSEほど自分の置かれた立場環境に順応しようとする意識が強く、仕事ができる人間になるためにはお上に楯突かず、弱体化を受け入れようと考えます

エクセルのvlookupを使うために、学生時代関数型言語を学んだわけじゃないのに…と就職して思うようになったunix文化を学んだ強いSEが、思考停止している情シスによって管理しきれないものは全てセキュリティホールみたいな会社にいたら、「あいつはセキュリティを脅かす不良社員」のレッテルを貼られ、朝から晩までvlookup,vlookup...(いやそのエクセル脆弱性情報パッチ出ているけど、いやお上のお達しを待て!的な茶番劇)せめてgrep,awk,sedくらい使わせてやれって、残業がなくなってボス最近社長の思いつきで始めた健康経営者として表彰されるかもしれんよ?思いつきだから明日あるか分からんけど…。いつまでこんな寸劇をやればいいのやら。学んだことは活かせません。茶番寸劇の中心にはやはりこの国のIT業界を弱体化させ国際競争力を低下させるスパイが潜んでいるとしかおもえません。

ここで、IT業界蔓延日本国際競争力をいちぢるしく低下させているスパイの特徴を述べておきます

・安請け合いをする無能な人

スパイ目的である国際競争力の低下にダイレクトアプローチするスパイ中のスパイです。こいつがいたら即辞めないと国や社会のためにも良くないです。

・「よく分からないものセキュリティの都合使えません」と思考停止している人

お前はそのツールコミッターでそのツール脆弱性を分かってそんな事を言っているのか?と、せめて同僚がツール有用性を知りつつ使いたいっていうならそれなりのセキュリティ的可用性を示すのが情シス仕事じゃねーのかと?まぁこ場合スパイなのでそんな調査は死んでもやりませんが…

・「ツール使用効率化ではなくズルだ!」と言い続ける人。

スパイの常套プロパガンダです。明らかにおかし言動なのでスパイの中では未熟者なのかもしれません。

・「大学で学んだことが社会では通用しない」と偉ぶる人

そのままで通用しないけど、出発点であるべき。でなければその空白を埋めるコストをどうしろと?そんな言葉マジで吐く人間は出発点にすら立たせて貰えていない場合が多い。ただ言葉を吐くスパイは、スパイが故に企業内の立場は上のほうにいるかもしれません。出発点に立っていなかろうが

法律無視する人

よく考えてみてください。遵法精神のあるスパイがいると思いますか?そもそもこのスパイ蔓延構造日本社会根深く浸透しているので、法律を取り締まる側もうまく騙されていると考える方が自然です。労基法下請法派遣法…機能しないのも当然です。

2017-08-13

なれる!SE16 の本当の闇

このオレさまが16巻の本当の闇を教えてやろう

帳票の桁ずれなんて数行のsed(,perl,ruby等の)スクリプトでちょろっと直せる、

というSEとして当然の知識を、技術オタク以外の誰も知らなかった、

というだけでなく、

その程度のことを人海戦術で乗り切ろうとするIT音痴のアホが部長をやっていた、

というところなんだよ!!

(あと技術オタク給与が多分あまり高くはないところ)

#2ch転載

http://matsuri.2ch.net/test/read.cgi/magazin/1502524744/11

2017-07-10

事務処理向けに高機能テキストエディタとはどんなものだろうか

https://anond.hatelabo.jp/20170706235735

勝手に具体的に考えてみる。

Excelなどの表計算に流し込むデータを加工する、表計算データメール文向けに加工する

CSV編集モードを持つエディタ

EmEditorなど最近は多いらしい。

grepsed、find、diff、uniq、count、sort相当の機能GUIから簡単に利用できるエディタ

マウス操作に優れたエディタ

マウス目的の部分をさっと選択できて、さっと切り貼りできる。EmacsViは1ストローク余計にかかって使いづらい。他のエディタなら大抵OK

定型作成支援

直子の代筆」みたいなもの

アウトラインプロセッサー、アイデアプロセッサー

長文執筆用。アイデア出し用。

執筆に集中するため全画面表示で余計なものを見えなくするエディタ

WriteMonkyなど

2017-02-17

[]lorem ipsum

lorem ipsum(ロレム・イプサム、略してリプサム lipsum ともいう)とは、出版ウェブデザイングラフィックデザインなどの諸分野において使用されている典型的ダミーテキスト書籍ウェブページ広告などのデザインプロトタイプ制作したり顧客プレゼンテーションしたりする際に、まだ正式文章の出来上がっていないテキスト部分の書体フォント)、タイポグラフィレイアウトなどといった視覚的なデザインを調整したりわかりやすく見せるために用いられる。

lorem ipsum」は様々なバリエーションがあるが、もっと一般的テキストは以下の通りである

Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.

Lorem ipsum - Wikipedia

2016-12-19

他のディレクトリからファイルコピーして、そのファイルの一部を書き換える

for i in 1 2 3 4 5 6 7 8 9;

do cp ~/xxx/hoge-"$i".dat ./;

sed -i -e "s/abcdefg/hijklmn/" hoge-"$i".dat;

done

参考にしたページ

https://open-groove.net/linux-command/sed-edit-files/

2016-07-01

【決定版】プログラミング言語を徹底解説!



http://cpg.hatenablog.com/entry/2016/06/30/193755

【決定版】プログラミング言語を徹底解説!

プログラミング言語は、200種類以上存在していると言われていますが、その亜種や野良プログラミング言語を含めれば、星の数ほどあります。たとえば今回紹介しませんが、ベーシックという言語だけでも、ファミリーベーシックプチコン3DSベーシック)、べーしっ君などがあります

今回はその中から厳選に厳選を重ねて厳選した、プログラミング言語を5つ、徹底解説します。

では早速解説していきます!!!

1.Perl

Perl歴史的に古く、sedawkといった歴史として語られる以前のプログラミング言語のいいとこどりをした、とても、素晴らしい言語だ。

モンスト以前のmixiや、みんな大好きはてブはてなブログは、Perlで作られています

学習する際は、歴史が古い分、Perl4の本も、たまに図書館に残っているため、気を付けなければなりません。

2.Perl

よく勘違いされるのが、「PerlPearlって似てるんでしょ?」。違います

何が違うかといいますと、文法から用途までほぼ全てが違います

Pearlとは?

Pearlとは真珠のことだ。あと、バンドメンにとっては楽器。それと、譲れない願いかPEARLCDを買った人も、いるんではないでしょうか。

Perlは?

PerlはAndoridにも、対応してたりします。

https://www.infoq.com/jp/news/2014/06/perl520

3.Perl

Webサービスを開発したい場合、真っ先にお勧めしたいのがPerlだ。

Perlの特徴として、[[TMTOWTDI]]があります。あとPerlを生み出したLarryは、プログラマの3台美徳として、 "Laziness, Impatience and Hubris"というすばらしい考え方があります

https://en.wikiquote.org/wiki/Talk:Larry_Wall

4.Perl

皆さんはAIをご存知ですか?

PerlAI(Artificial Intelligence)でググッテても、わかるように、2000年台前半からすでに話題に上がっており、最近流行ディープラニングでも、Perl6を使った話があるようだ。

http://ai.neocities.org/P6AI_FAQ.html

5.Perl

iPhoneで動くPerlもありますアプリあります

https://itunes.apple.com/jp/app/perl-programming-language/id486217730

だんだん書くのが疲れてまいりました。

http://blogs.perl.org/users/lestrrat/2013/09/perlmotion-perl-for-ios.html

あとはlestrratさんにおまかせします。

それとYAPCは去年で一区切りしましたが今年も、YAP(achimon)C::Asia Hachioji 2016 mid in Shinagawa あります!!!!!!

http://yapcasia8oji-2016mid.hachiojipm.org/

2016-03-31

http://anond.hatelabo.jp/20160331101136

うーん、さすがに今回の話はLinuxユーザースペースをWindowsに載せるって話だから

逆は難しいように思うけどね。

しろgrepとかawksedみたいなツールWindows移植やリコンパイルじゃなくて

そのままのバイナリが動くってのがキモだよね。

この辺のツール使いたくてMac選んだユーザーは端末の選択肢広がって良いと思う。

2015-08-19

http://anond.hatelabo.jp/20150818233553

Perl 以降の LL しか使えない人は多いですね。

最近sed / AWK で足りてても、他人が読めるように Ruby で書いてばっかりですorz

ログイン ユーザー登録
ようこそ ゲスト さん