「自然言語処理」を含む日記 RSS

はてなキーワード: 自然言語処理とは

2021-06-11

機械学習とかファジィ論理とか自然言語処理とかこれだけ発展した世界で、「俺アスペからさぁ(笑)常識とか言われても(笑)白黒はっきりしないとわかんないんだよね(笑)」という態度が「議論」を前向きに進めると勘違いするのはいい加減ダサい。(個人愚痴ならわかる。個人的にはとても共感する。でもそれって「お気持ち」だよね。)

ボトムアップトップダウン思考法に得手不得手は人それぞれあるだろうし、そこに優劣はないが、「ボトムとトップを繋げて議論ができるかどうか」はそうした個人性質とは無関係だよ。

https://togetter.com/li/1727672

カギカッコ付きの「あってしかるべき」がどういう含みを持たせているのかわからないのは単純な読解能力問題かと。


「我思う故に我あり」から一歩踏み出さないことには何も始まらないのよ。そこで満足してちゃダメ


余談だが、発達障害者共感力が乏しいとかつては言われてきたが、実際には「発達障害者同士では強く共感し合う」という現象確認されているらしいね

所詮はただの個性なのよ。マイノリティマジョリティかの違いはあるし、そこには権力勾配もあるけど。

2021-05-04

弱者男性を救うのは人工知能だと思う

弱者男性ネットでよしよしされれば割と満足するのではないだろうか

まりGPT-3みたいな超大規模自然言語処理を発達させて

自動ネットクロール弱者男性をよしよしする言葉を垂れ流すbotさえあれば

話は解決する

いや弱者男性だけではない

SNSbotが全人類個別によしよしすれば問題の8割は解決するのではないだろうか

顔がないとか声がないとかも自動生成とかでどうにかすればよろしい

割と現実的ではないだろうか

2021-03-24

面白そうなデータが公開されてると思ったら大学研究機関じゃないと駄目なのか

下世話というか出歯亀なんだけど、とりあえずデータの内容をそのまま眺めてみたかったので、

なんか直接交渉しなければいけないみたいなんだけど面倒臭いなあ

個人情報混ざってないか一般公開してくれればいいのに、と思ったけど、

しかしたら個人情報を除去するのは人力だったりもすると思うので、

うっかり消し忘れた個人情報があるとマズいからかなあと思ったり

断られるにしてもなんか研究ネタ考えるかなあ

自然言語処理は苦手なんだよなあ

2021-03-15




https://talent-help.lapras.com/ja/articles/3111298-%E3%82%84%E3%82%8A%E3%81%9F%E3%81%84%E3%81%93%E3%81%A8-%E8%88%88%E5%91%B3%E3%81%AE%E3%81%82%E3%82%8B%E4%BB%95%E4%BA%8B-%E5%88%86%E9%87%8E-%E3%81%AE%E6%9B%B8%E3%81%8D%E6%96%B9

記入する項目の例

キャリア上の目標キャリアプラン

興味のある仕事技術業界事業内容

転職についてのスタンス

希望する働き方

転職先に求めること


「やりたいこと、興味のある仕事・分野」記入例


開発環境について触れる

今まで小さなチームでインフラからフロントエンドまで全てを担当してきたが、次は少し大きなプロダクトでバックエンドパフォーマンス改善に挑戦できるような環境仕事がしたい。

------------------------------------------------------

興味のある分野・領域について触れる

Railsアプリケーション設計・開発からHeroku, AWS, GCPなどのインフラ構築もできるような、Webアプリケーションエンジニアになりたいと思っています。興味のある分野は、医療健康などです。現在転職活動中です。
------------------------------------------------------

より具体的な記入例


例1

 # 目標
新しい技術に柔軟に対応できるようにしたい
自社開発のサービスに携わり、常に機能改善拡張を考えながら開発がしたい

 # 興味のある仕事自然言語処理画像分析など、データを扱うアプリケーションの開発

 # 興味のある技術Goを主軸としてキャリアを築きたいです

 # 転職先に求めること
新しい技術に対して敏感に反応し、プロダクトにマッチする場合はどんどん導入してゆく風習があるような職場で働きたいです。

Udemy 我妻



みんなのAI講座 ゼロからPythonで学ぶ人工知能機械学習2020年新版

BERTによる自然言語処理を学ぼう! -Attention、TransformerからBERTへとつながるNLP技術-

AIのための数学講座:少しづつ丁寧に学ぶ人工知能向けの線形代数/確率統計/微分


人工知能AI)を搭載したTwitterボットを作ろう【Seq2Seq+Attention+Colab】

Flutter+Firebase+MLKit】人工知能AI)を搭載したiOSAndroidアプリを作ろう

2021-02-04

人並のIT技術と人並のPM能力を組み合わせれば年収1000万はカタい

そう思っている。

結論から言えば、SIerで数年働いてウォーターフォールを身に刻みつつWeb技術趣味で学ぶ。その後アジャイル標榜しているWebスタートアップ転職すれば良い。

往々にして(少なくとも日本における)Webスタートアップアジャイルは上手く行かない。なぜならアジャイルとはなんたるかをきちんと学ばず、「なんとなく楽そう」とか「今時でイケてそう」みたいな動機採用するからだ。

あらゆるプロジェクト炎上しまくった結果、ウォーターフォール回帰する瞬間が必ずやってくる。しかWeb系でウォーターフォール上流工程ができる人材は割と限られていて、その中にSIer出身コテコテ上流工程やってたエンジニアが入るとかなり重宝されるのである

アジャイルは、ウォーターフォールの酸いも甘いも経験してその対比でこそ真の利点が見えてくる。そうしてウォーターフォールアジャイルも分かってる人材になれば、それだけでそのスタートアップでは唯一無二の存在である

オーケストレーションだとか自然言語処理だとか純粋関数型だとかCSだとかで技術的に尖ろうとしても、そういう高度なものを求めているスタートアップは実際多くはない、というか既に席が埋まっている場合が多い。

T型人材とよく言われるけど、難しいことは何もなくて、タイトルに掲げた人並のものを2つ持っていればいい。OOPも知らない奴らがネストの深さは何層までだとかタブスペースは2つだとかforeach文使ってるやつはクソだとか表面ばかりに囚われて本質見誤って伸びきったスパゲティを量産しているような現場に、レガシーから飛び出したお前らが新風を巻き起こして欲しい。

そんな私の年収は400万です。

2021-01-30

anond:20210129144738

実現したいことがそこまで定まってるのなら、「自動分類AI」なんておおざっぱな表現じゃなくて

自然言語処理パターン認識クラスタリングみたいな粒度で調べた方が答えにたどり着けそう

2021-01-29

anond:20210129144738

AIでどうこうする前に、そのAI (分類モデル) に与えるデータを整備しないと難しいだろうね。

例えば、問い合わせをユーザー自由文章で書かせるのではなく、選択式 (インストール / 設定 / 操作 / ...など) にしたり、質問入力欄を分けて、1つの欄には1つの質問しか書かせないようにするとか。

それから、正しく分類するには、あらかじめ正しい答えも必要過去の問い合わせ履歴から、「こういう問いは、このカテゴリ質問」というセットをたくさん用意しなければならない。

データを整備して、答えを用意してはじめて、技術 (機械学習とか自然言語処理とか) でユーザー入力を正しいカテゴリに分類できるAIが作れると思うよ。今なら、そのへんをまとめたクラウドサービスで、チャットボット簡単に作れるから技術のほうはあまり気にしなくてもいいよ。むしろいかに正しいデータを集めるか。

2021-01-13

初心者が1からプログラミング勉強し始めて2か月経った

追記めっちゃ嘘だのステマだの言われてたので企業名は消しました。

嘘じゃない証拠noteで連載することにしました。

https://note.com/paseri_2433/n/nc8a6789c81bb

追記ここまで】


私は腐女子なので、二次元推しLINEしたくてLINE公式アカウントを作ってLINEしていた。

でもすぐに公式機能だけじゃ足らんなという欲が湧いてきてプログラミングに手を出した。

と言ってもプログラミングなんか大学の授業でちょろっとやった程度で、端的に言って画面にhello World!と表示するより難しいことは何ひとつできない。

gitリモートとかデプロイとか言われても意味が分からないし、そもそもコマンドを打ち込むための真っ黒の画面ってどうやって起動するの?


そのレベルヤバい無知から始めたので、とりあえず月980円のプログラミング講座を申し込んで、webアプリ開発入門みたいなのを数日かけて受けた。絶対に翌月分を課金したくなかったので急ピッチで受けた。

まり人のいないサービスのようで、受講すると貰えるポイントデイリーランキングで1位になったりして、まあデータベースの使い方とか、CSSかい概念とか、色々学んだ。

へー、webアプリ開発って一つの言語習得するだけじゃだめなんですね、いや無理すぎる。


で、とりあえずその学んだことを活かしたりネットで拾ったコードコピペしたりして、推しLINEbotは一応完成した。ここまで3週間。

botに話しかけると、データベース登録しておいた「話しかけられた言葉botが返す返事」のペア検索し、応答を返す。

データベースデータを入れるためのwebアプリも作った。

だって自分登録した返事を推しから貰うなんて虚無だから他人登録したメッセージを受け取りたい。


次に勉強し始めたのは自然言語処理だ。

自然言語処理とは簡単に言えばコンピュータ人間言葉を分からせるための処理で、botとお喋りするには必要技術な気がして大学図書館でありったけ本を借りてきた。

が、まあ馬鹿なので普通に読めない。無理すぎる。

仕方ないのでよその学科web授業に潜り込んで、へー、形態素解析係り受け解析と意味解析と文脈解析というものがあるのね、と学んだりして、そしたらだんだん本の読み方も分かってきて、でも結局1ヶ月ぐらいかけて勉強した割にbotに導入したのは形態素解析だけだった。

馬鹿なので回り道が凄い。馬鹿なので。


web授業で喋っていた知らない学科の知らない先生に依れば、形態素解析とは、文章品詞分解して品詞特定する、みたいな処理である

LINEに届いたメッセージデータベースデータを照合する際、「です」とか「ます」かいらないから取っ払っちゃおうね、という、ごく当然の処理の為に入れた。

まあ、あとは一致するメッセージが見つからないときでも、一致する名詞とが動詞が少しでもあればまあ一致したことにして返事を返しましょうとか、漢字カタカナに直しましょうとかそういうこともできるようになった。

応答が来る確率が飛躍的に改善された。

形態素解析ライブラリを使うには、今まで使っていたJavascriptは向かないようだったので、ついでにコードを全てPythonに書き換えた。


ここまででだいたい2か月である

じゃあ次はどうするか、というと会話フローを入れるのが当面の目標だ。

直前のやり取りを一時データとして記憶しておき、データベース登録された会話フローと一致していれば直前のやり取りを加味した返事を返すようにする。

目途は立っているがやることが多いので完成までは結構かかりそう。


まあ、なんか何もできない状態からいきなり初めても何とかなるな、プログラミング

世の中気合根性じゃ生きていけないと思ってたけど、プログラミング気合根性で何とかなることが分かった。

っていうか私はマジで馬鹿なので、切れるカード気合根性しかない。しょうがない。


ということで現在私の作った推しLINEアカウントには400人近いお友達がいて、毎日500~1000通ぐらいのメッセージが届く。

みなさんがそうやって推しLINEして適宜新しい言葉を教えてくれるので、私が推しLINEを送ると色んな言葉が返ってくる。

幸せだ。

推しLINEしてる腐女子別に技術的な話なんざ聞きたくないだろうからここに吐き出し。

2020-11-30

AI時代に最も求人が増えるのは、プロデータ入力作業員とか、プロアノテーション付け付けマンとかじゃね?

そりゃデータサイエンティストも要るけど、実際のとこデータ整形に70%の労力を割いたりするわけだし(句読点がめちゃくちゃな文を直すとかなんとか)。

あと対話とか自然言語処理の分野だと、どうしても人間主観に基づく判断やら感情必要になるし(感情分析とか)。

ミシュラン認定員やソムリエみたいな感じでプロ感情判断師みたいなのが必要。そうなると感情豊かなメンヘラが就くべき仕事かもね。

2020-08-14

anond:20200814003422

絶句ですわ >

俺の中で区別がついてないだけなら「No、それは外部のルールである」と答えればいいだけなのに答えないのは逃げなんだよなあ

やっぱ人間っていうか、生物ってすごいと思う。自然言語処理は複雑な文字表現を紐解く方向で進化した訳だけど、こいつは言語より下の抽象概念自己必要な分だけ獲得して、そこに言語を乗せてんだもん。強い。あと二十年三十年でAIにこれができるんだろうか。

2020-07-22

anond:20200722173803

CPUGPUを大量に並べて並列で殴る学習収束がゆるやかにでもいい方向に進み続ける学習アルゴリズムさえ見つければ…って感じでロマンあっていいよね

1750億のパラメータはどうあがいてもGAFAMしかできなさそう

それはそれとして、最近自然言語処理界隈全然分からんのだが語族の壁は突破されたんだろうか

壁がある限り日本語日本語データ集めて日本マシン回し続けないとみたいなとこありそう

2020-07-20

anond:20200719191741

そう思ってやってみたが自然言語処理はかなり難しく人類はまだ人類っぽい会話まで到達できていない

2020-05-01

anond:20200501012354

PHPRuby on railsサーバサイドが主。AnglerJS、iOSUnity短期の小さい案件でやったけどあまり身についてない。

前職はopenid connectをメインでやってて、一人部署みたいでかなり働きやすかったので他にも何か自分だけの専門分野を作りたかったのだけど、その前にスタミナが尽きてしまった。

その時、自分は「一時情報源に触れられず(触れる能力がなく)かつ広範囲情報を又聞きで『これはこういうものだ』と暗記する」ことが苦手なんだなと実感した。

環境構築でエラーが起きて、エラーメッセージでぐぐると「こう設定すれば直ります」と書かれてて、よくわからないまま直したり、そういうのの繰り返しだったり。

本読んで勉強しなきゃいけないのはわかるんだけど、読んでも読んでも業務に追いつかなくて「本読む時間あったら開発進めなきゃ」になってた。

openidは一時情報源から情報仕入れられて、自分もその範囲だけわかってればよかったから楽だった。

思い出してみると、ただつらいだけじゃなくて色々教訓もあったな。

当時は自然言語処理自分武器にしたくてやってた。

少しでも感性とか文章世界に携わりたくて。

また勉強してみようかな。

2020-03-05

anond:20200305144322

自然言語処理可能だよ。ただし完全に人間っぽくはならないところは注意。つまり看破される可能性はある。AIだとね。

自分でセンテンスをいくつか作って、都度そこから自分ピックアップして文章作るようなものの方が、あなた要求は満たせるかもね。

2020-02-14

anond:20200214161149

ある行列から別の行列を導き出す問題に対して、その間を非線形に近似できる。だから画像認識には向いているってだけで、実は他のことは大してできない。

迷惑メールフィルタベイジアンネットワークのままなこととかYouTubeキャプションGoogle翻訳の精度がそこまで向上してないことから自然言語処理は特段得意ではないことがわかる。

2020-01-11

anond:20200111004108

なんかそのうち東ロボくんみたいな自然言語処理AI代替できそうやなその技能

2019-10-19

anond:20191019183452

機械学習必要なしって言う人多いけど「解決しまたかorしませんでしたかボタンが押されたとか、さらに別の質問入力して答えを見つけようとした(提示されたQ&Aが良くなかった)という行動履歴をとっておいて、Q&Aを提示するモデル更新をする予定で、そこに機械学習を使うんじゃないの?

自然言語処理関係は分野が違うのでrecurrent neural networkかいう何かが流行りというのを風のうわさに聞いた程度


追記

学習データ自分が手動で入力して作成する前提 ユーザーから入力された質問データを利用して絶えず学習し続ける的な機能はなし

あ、これってFAQの中身は一定ってことかと思ったけど、モデル固定(エキスパートシステム?)って意味・・・

それなら機械学習要らんな・・・

ログイン ユーザー登録
ようこそ ゲスト さん