「GPT」を含む日記 RSS

はてなキーワード: GPTとは

2021-05-04

anond:20210504225506

GPT-3と組み合わせれば無限自分好みのめちゃシコHENTAI画像が生成できるはずなんだ・・・

弱者男性を救うのは人工知能だと思う

弱者男性ネットでよしよしされれば割と満足するのではないだろうか

まりGPT-3みたいな超大規模自然言語処理を発達させて

自動ネットクロール弱者男性をよしよしする言葉を垂れ流すbotさえあれば

話は解決する

いや弱者男性だけではない

SNSbotが全人類個別によしよしすれば問題の8割は解決するのではないだろうか

顔がないとか声がないとかも自動生成とかでどうにかすればよろしい

割と現実的ではないだろうか

2021-01-30

anond:20210129233416

このネタは「シンギュラリティがいつか起きるだろう」ではなくて、300万円プログラマーやらかしから始まってGPT-3で明後日の方向からそれをどうにかしよう、というトンチンカン二乗シンギュラリティを起こすというのが面白いところであって・・・

2020-12-02

日本でDXだとソフトに舵切っているが、アメリカハード投資している

日本だとGoogleが凄い、日経が次はDXと言ってるといった、

ハードウェアで稼ぐのはもう古い、ソフトウェアで稼ぐ時代だとなっている。


はいものの、Googleを支えているのは桁違いの計算機であり、通信機器だ。

スマホの端末で演算させれば、自社で電気代も端末代も負担せずにできる。


GoogleはTPU作り、AppleM1を作り、Amazon独自チップを作っている。

Microsoftハードを作ったり、GPT-3のスパコンを作っている。

サーバー物理的な仕様オープンにして価格競争を促している。


日本ネット界隈だとWeb技術キラキラしているが、差別化要因にできていない。

国内競争しているだけだ。

〇〇ペイも乱立したが、結局お金で殴ったところが生き残ったし、キャンペーンが終わった時点で客にもお店にもメリットが薄れ、

煩雑コンビニの支払いフローが残った。

UberAirbnbが凄いといわれているが、問題解決したようで、他に問題押し付けている。

このコロナ騒ぎが数か月経つが、リアル空間で稼いでいた人の生活を全部支えられるようなエコシステムも生めてない。

2020-08-21

グーグルって魅力なくね?

Google Developer Dayという、グーグル社員が何やってるかを発表するみたいなのを、youtubeで見たんだけど。

え、、、普通じゃん。

なんなら、そこらのIT社員より普通じゃん。

  

ってか、検索エンジンの改良とか延々とやってるとか、、、。

もちろん、gmailかいろんなサービスを作れるのかもしれないけど。

PFNみたいな、新しいもの作ってますとかからしたらショボくね?

機械学習を使ってファナック工場を良くするんだとか、聞いてるだけでワクワクするもんなーPFNとか。半導体作ったりさ。

  

もっと、GANとかGPT-3とか、量子コンピューター開発とか、機械学習のための半導体作ってますとか、そういう話をグーグルには期待してるのよ。

そういうの期待してたわ。

なんだよ、新サービスってそりゃ普通のしごとじゃん。

グーグル入った意味ないじゃん。

もちろん、すごいよ?だってグーグルリソースがすごいから。グーグルがすごいから。

でもそれって、トラックがすごいから長距離輸送できますみたいなもんだよね。

ドライバーの腕はいいのかもしれないけどさ、

新しいドライビング手法とか、飛行機作って輸送根本から変えるとかじゃないじゃん。

  

なんか、研究とかも、airxiveにめちゃくちゃな量が毎日研究成果として流れてきてるから

そういうのばっかりだと思ってた。

エンジニアってか、本当に普通エンジニアじゃん。

そこらの大学院生より新規性低いんじゃないか?下手したら。みたいな発表があって。

しかしたら、新人が多かったからかもしれないが、ワクワクしなかったわ。グーグルへの幻想ガラガラと崩れた。

まあ、もちろん、GPT-3みたいなすごいところもあるんだろうけど、それどこよ、それに携わる方法とか携わってる人の話聞きたいよ。

  

MECABUみたいな、新しい分野のスタンダードプロダクト作ってくれよ。

むっちゃ残念。

2020-08-08

日本ってなんで金のかからないプログラミングも遅れてるんだ?

GPT-3のような1回の学習が数億かかるようなのは無理でも、プログラミングは他の産業に比べると初期投資は少なくて済む。

政府研究費を出さないか技術力がないという指摘は、プログラミングにも当てはまるものなのか?

プログラミングの開発環境なんて皆最新のが好きなので違いはないはずだ。

何か他の原因があるような気がしてならない。

教育か?知識を伝える能力か?数学力や物理力か?組織力か?


ハード重視でソフト軽視だからという指摘が出てくるだろうが、

製造業大手はそうだろうが、ソフト専門もあるはずだ。

CPUGPUの汎用ハードブラックボックス化していて使いこなせないというのであれば、

それこそArm日本企業が購入してハードを生かすような奇跡でも起きない限り追いつけない。

(インテル製のコンパイラが速いみたいな話。pipでいれたNumpyよりcondaでいれたNumpyの方が速いとか。)


AI話題になったときに、結局、統計データのとり方や分析の仕方、数式で躓いているのを見かけたので、

プログラミング以外の問題だと思っているがどうだろうか。

(それこそこの問題について分析する能力が足りないといったら、そうだろう)

2020-08-05

半導体技術への期待と落胆

半導体について少し調べてみた。

ムーアの法則は堅調に保ってるらしいが、2025年から先が自分調査では見えなかった。

2年で2倍のペースなので、現状のスパコンやらとかが能力伸ばせるのがあと4倍程度ってことなのだろうか。

  

GPT-3などの明るい新技術が出る一方で、マシン能力の打ち止めのため、夢のシンギュラリティが来ないんじゃないか心配になってる。

シンギュラリティによって人類が救われることだけが生きてる希望なので、このあたりがはっきりしないのはすごくストレス

  

正直、現状のPCスペック微妙じゃないか

物理の数値シミュレーションソフトとか動かしてみると、全然終わらない。数秒のシミュレーションでも3Dにした瞬間1ヶ月とかかかったりする。

いろいろな物理シミュレーション限界スパコンの処理能力で決まっちゃうんだけど。

全然足りないんじゃないかという気がする。

シミュレーションアルゴリズム自体効率結構上がってはいるけど、機械学習みたいなチートを使ったとしてもまだ足りないわけで。

  

2025年まで5年あるので、ブレイクスルーが出てくる可能性はあるんだろうけど。どうなんだろう。

個人的には現状の1000倍(2^10)くらいは欲しいので、あと10回くらいはムーアの法則やって欲しい。

シンギュラリティとかで、収穫加速とか言ってたのに、その辺どうなんだろう。

とにかく、新技術、新マテリアルが出ないと厳しいか

それとも、量子コンピューターがどんどんよくなったり、光量子コンピューター実用レベルになるのか?

  

2025年までの5年が勝負に感じるんだけど、どうなんだろうか。

AWSサーバーがとんでもない量のエネルギーを食ったり、世界ITによる消費電力がヤバイらしく、パワー半導体などで消費電力が下がるか、エネルギー技術で蓄電や新発電がうまくいけばメモリーを積みまくれるとかになって解決とかしないのだろうか。

それとも、演算能力より先にIOT自動運転やら生活が便利になってIT以外の労働力IT流れるようになってITの発展がより強くなっていくのか。

  

(調べた内容)

NANDメモリー ⇨ 多層化により発展中、現在200層つめるのが確定のうちの100層くらい積んでる。2年で2倍の容量増加で現状1T程度だから2022年に2Tまではいくが、そこから先が不明

DRAM ⇨ 微細化により発展中。現在20nmを切ったくらいで、2021年に14nmくらい行きそう。3dにすることでさらに伸び代があるが、2024年くらいから先の見通しは見つかってない? RRAM,MRAMなど次世代商品化されてるものなどあるが2025年までは少なくともDRAM支配的。

GPU ⇨1.5年で4倍の機械学習効率の上昇など、目覚ましい発展中

パワー半導体シリコンを置き換える新素材がいい感じで市場に出ている。GaNという新素材が能力すごいらしい。

2020-08-02

[]2020年7月はてブあとで読むトップ30リスト

はてブホットエントリ(総合)で月内に数多く[あとで読む]タグを集めたエントリ



あとで読むタグの数は去年の水準に戻ったように見える。

AWSによるクラウド入門」が2つ入っているのは?s=09というパラメータが付いているのと付いていないとので割れたせい。

筋トレとか睡眠とか健康関連がちらほら。

2020-07-30

日本はどうして半導体への投資諦めたのか

インテルAMDNVIDIAクアルコムARMAppleなど、日本語でも半導体話題になることが多いが、

国内では敗退色が強く、研究投資もない。


韓国国家を上げて半導体勝負しているし、サムスン投資金額は巨額だ。

中国も同じく国家戦略として国産しようとしている。

EUソフトバンクARMを買収したことによって、European Processor Initiative Research ProjectEUとしての半導体を持とうとしている。

imecという先端プロセスを開発してる拠点もある。


富岳で富士通が関わっていたが、どちらかというとARMアーキが使われたことと1位になったこと、TSMC製造したこと話題で終始しているし、

スパコン予算が取れなかった時点で設計者は消えてしまう。

設計用のEDAソフトウェア国産しようという動きもない。


これからハードではなくソフトウェア差別化だと言っている間に、AndroidiOSに見られるようにパクりパクられを繰り返して多少の使い勝手はあるもの差別化要因になっていない。

Androidスマホなんてカメラ性能とCPU性能とディスプレイ性能を比べてのハードウェアによる差別化しか残ってない。

iPhoneなんてApple siliconを独自SoCを作ることで差別化しようとしているし、GoogleはTPUv4で差別化しようとしている。

GoogleがBERTを学習できるのは大量のサーバーがあるからだし、OpenAIGPT-3を学習できるのはマイクロソフトに大量のサーバーを構築してもらったからだ。


ソフトウェア不要ということはないが、ハードウェアの性能以上のことができないし、より抽象度を上げて処理が重くなる方向に向かってるので、ハード進化するしかない。

それ以前にソフトウェアサービス国内市場しか取れず、Appleには手数料を30%から40%に上げようかと言われる始末だ。


からなら量子コンピュータだろうという意見もあるだろうが、下記の慶応量子コンピュータアーキテクチャの図1を見ればわかるように今のコンピュータがなくなるわけじゃない。

どちらかというとGPUのようなアクセラレータとしての域をまだ出ていない。

https://www.futurelearn.com/courses/intro-to-quantum-computing/0/steps/31566

RISC-Vが、という意見もあるだろうが、性能が突出してるわけでもなく、開発環境が整っているわけでもなく、無料という以外のメリットがない。




最後に謎の半導体会社を紹介しておく。プロセッサー業界情報が知りたければThe Linley Groupサイトニュースお勧めする。

  1. Groq社、GoogleのTPUのコア部分を作ったJonathan RossがCEOとなっている会社で、AI用のテンソルストリーミングプロセッサを作っている。
  2. Graphcore社、AIチップを作っている。Azure上で使えたり、デルサーバーに搭載されている。検索エンジンのQuantも画像処理に使ってる。
  3. GrAI Matter Labs社、エッジ向けAIプロセッサニューロモーフィックで低消費電力が売り。
  4. Cerebras社、215mm×215mmのウェーハレベルAIチップを作っている。
  5. 中国Cambricon Technologies社、サーバー向けの推論チップSiyuan 270を作っている。エッジ向けのSiyuan 220もある。
  6. SiMa.ai社、エッジ向けAIチップを作っている。画像処理用のISPコンピュータビジョン用のハードML
  7. BrainChip社、エッジ向けAIチップAkidaを開発。ニューロモーフィック。

2020-07-27

シンギュラリティ

研究全然ダメ大学院生なんだけど。

現実逃避の内容が最近シンギュラリティになってる。

  

自分がしてる研究なんか、明らかにしょぼくって

だけど、シンギュラリティに向かうような、なんだろ、次世代パワー半導体だの、5 nmの半導体だの、FRAMだの、そういうやつとかさ。

あとあれだ、エネルギー問題も、蓄電でフリーエネルギーみたいなところまで行くんじゃ無いとか。

あと、GPT−3だっけ、自然言語AIできて、AIが雑な命令に対して自動サイト作ってくれるらしいとか、文章作るらしいとか。

自動運転はちょっと遠そうだけど。

  

そういう、シンギュラリティっぽいのが、5年以内の確実にくる。

  

一方、自分のやっている研究

ものすごーくしょっぱい。ITですらないしね。

そら、できたらすごいんだろうけど、できる気がしないし。

何より、今のとこ出てる成果ってのをパワポにまとめる時間がひたすら辛い。どんだけパワポクオリティーに拘るんだよ。

物理的に正しい図だの、図が揃ってるほうがみやすいだの、フォントだの。

いや、、、、。キツイ。その作業こそ、AIがやってくれたら、すんげー楽なんだが。

GPT−3でパワポ自動で作られる世界になって欲しい。

2020-07-26

GPT-3をスパムマルウェア実装したら確かに危険な気がする

面白そうな気もする

そのうち知性と呼べるものになるかもしれない

2020-07-24

違う. GPTじゃない. Python3.8を入れようとしてたんだ. 10月には3.9が出るのにいまだに3.7ってありえんぜ

2020-07-22

GPT-3はすごいな

あと15年くらいで説法AIが作れるかもしれない

GPT-3学習できるようなスパコン日本でも必要

はてブホットエントリーに上がったGPT-3だが、マイクロソフトデータセンターを使っていて、

85,000のCPU10,000のGPUと400Gbpsのネットワーク接続されたクラウドを使っていると言われている。

1750億個のパラメータがあるので、メモリ必要だわ、学習時間必要だわになっている。

ムーアの法則を超えたスピードパラメータが増加しているので、AIチップが出てくればなんとかなる、にはならない。


気になるのは日本語対応するかどうかだが、アメリカからすると、そんな日本語データ用意するモチベーションがない。

スパコン富岳もAI考慮したといわれているが、どちらかというと使いやすさ重視だし。

2020-06-06

10キロ痩せた

10キロ痩せた。すごいと自分でも思った。誰かに聞いて欲しかったので書く。

事の始まりは二年ほど遡る。健康診断E判定を喰らったのだ。肝機能問題だった。

わたしは二年前まで定職についていなかった。若さ健康の証だと思って健康診断も受けていなかった。大学時代健康診断も一度行ったが二度目の記憶がない。定職について久しぶりの健康診断で、初めてE判定を喰らった。これには正直少し堪えた。「え、死ぬの?」って思った。

当時、E判定などがあると自動的に再検査があると思っていた。しかし実際は、自分適当病院に予約して受診すれば良いことを上司から聞いて、初めて知った。毎年健康診断を受けさせる義務会社にはあるが、再検査に行くも行かぬも自己責任なのか、線引きがはっきりしているなと思って少し面白かった気がする。

診断結果が届いてから比較的すぐに再検査の予約をして受診した。身長が178cm、体重が78キロ程度、見た目もそこまで太っているわけではないのに肝機能の数値が異常に高いので、家族性 高コレステロール血症ではないかと診断された。体質的コレステロール値が高くなってしまうとか、何人だかに一人の確率発症するとか、治るものではないので薬を飲み続けるしかない、ただ死んだりするものじゃないとか言われた。根治不能ものに罹ったことがなかった人生で初めて「治らない」と医者から言われたのも結構堪えたかな。セカンドインパクトだ。その日は肝炎発症していないか確認のために再度血液検査をして終わった。そして、血液検査の結果からやはりということで、家族性 高コレステロール血症として薬を飲んでコレステロール値などを抑える生活が始まった。

しかし、これが下がらないんだ。薬さえ飲めば一発でグーンって下がってホッとするみたいな急転直下の展開を期待していたのに、定期的な血液検査では常に微減。だいたい横這いのエブリデイ。当初は怯えていた不治の病にもだんだん慣れてきていた。薬を飲む以外に方法はなく、薬に副作用はなく病による体調の悪化もない。実感がないから緊張感もない。これをずるずると引きずると合併症などを併発してきっと大変なことになるんだろうとは思いつつも、しかし、ここまで何もないと気の引き締めようもない。

そして、昨年の健康診断。やっぱり肝機能の数値が高かった。比較すると若干数値は低くなっていたが、gptなんて正常値なんて4倍近い(前年は6倍)。服薬の成果が全く現れずにゲンナリした。

事態が動き出したのは健康診断の結果を再度かかりつけの医者に見せた時だった。「脂肪肝かも知れませんね。一度、大きな病院検査してみますか?」と聞かれた。紹介状を書くとのことだ。わたしは嫌だった。大きな病院というのはやたらと待たされる。待つのはよくても待たされるのは嫌いだ。だが、こうも数値が変化しない状況が続いているのも困るので仮に脂肪肝だった場合、何をするのか尋ねた。「食事療法ダイエットですね」とのこと。

わたしは思った。検査なり調査をして原因を明らかにして問題アプローチをすることは正しい、しかし、食事療法ダイエットなら別に原因が不明でもいいじゃん、と。だって食事ガイドラインなんてググればいくらでも出てくるし、ダイエットも正しい方法必要とはいえ結局は適切な食習慣と適度な運動だ。薬や手術などの医学アプローチ必須というわけじゃない。たかだかダイエットしましょうと言われるために、大きな病院で待たされるのは想像するだけで辟易する。それにあれを食べろとかあれはやめろとか動けとか指図されるのも嫌だった。ということで医者には考えておきますとだけ伝えて、一人ダイエットをすることにした。

ここでわたし自分体重を減らすことに自覚的に考えるようになった。

運動週間だがわたしは定期的にランニングしていた。だいたい週末に10キロ程度。年明けにハーフマラソンに出場しているから、大会が近くなるともう少し走る。初めて健康診断E判定を喰らった時からずっと続いている。だから運動しているし、脂肪は燃焼しているだろうと思っていた。だが、体重が減る原理とは細かい数式とかはさておき、結局は摂取カロリーよりも消費カロリーが大きい場合体重は減る、これに尽きる。ランニング10キロ走ると、だいたい700キロカロリーを消費する。20キロ走ると概ね倍。1キロ痩せるためには7000キロカロリーの消費が必要らしい。つまり1キロ落とすために、100キロ走らないといけない。ダルすぎる。

しかしわたしは気づいた。カロリーを消費する方法別に運動だけではないことに。つまり日々の摂取カロリーを控えて、基礎代謝(だいたいわたしくらいの体格の成人男性なら1800〜2200キロカロリーくらい)を下回り続ければ、走らなくても勝手痩せるんだ。ということで日々の食事見直した。

やったことは簡単野菜をいっぱい食べる。これだけ。

まず朝食は食べない。というか食べられない。出社のギリギリまで寝ていたいのでいつも食べていない。

昼はコンビニサラダチキンスープを買って食べる。「洗わず食べられるカット野菜」みたいなやつ。お腹にたまらいから2パック食べる。袋のままで箸を突っ込んで自席で食べていたので、最初のうちは奇異の視線を浴びたが、1週間もすると周囲がわたしに慣れた。

夜はご飯と肉か魚と野菜とたまにキノコ類。野菜は主にリーフレタスとかとサラダほうれん草の葉物類に、赤パプリカミニトマトブロッコリーなどをあわせる。だいたい毎回これ。

コロナで在宅になってからは、夜食べていた野菜を昼にも食べるようになった。

これの食事を続けると摂取するカロリーがだいたい1000〜1600程度になる。わたしにとってこれは革命だった。10キロ走らないと得られない消費カロリー毎日飯を食っているだけで勝手に得られる。なんて楽なんだと思った。何よりいいのはサラダの楽さだ。元来物臭な性格をしており、一人暮らし料理にも飽きていた。外食冷凍食品もあまり好きではなくなんとなく作るが美味くないし美味くもならない。しかし、その点サラダはいい。切って洗えば盛り付けるだけ。味チェンドレッシングで思いのまま。超楽。しか健康にもいいらしくてカロリーも抑えられる。いいことづくめ。日持ちがしなくて、エンゲル係数に打撃を与えがちなのは厄介だが、まぁ上述の利点には替え難く致命的というほどではなかった。

さて、そうこうするうちに目に見える変化があった。お腹周りがなんだかスッキリし始めたのだ。学生時代に痩せていたため、いまだ痩せているという自意識から抜け出せないわたしスッキリ目のズボンを買ってしまう。苦しいと思いながら、座るとさらに苦しいと思いながら、履いていたのだが、全然苦しくないのだ。おや?と思い確かめると、スーツベルトも穴を一つ減らせることに気づいた。体重計がなかったので買ってみると、10キロ痩せていた。このとき5月の頭頃だった。野菜を食べていたらいつの間にか痩せていた。

定期検診で件の医者のところへ行き、血液検査をしてきた。つい先ほど結果を取りに行ってきた。一部、正常値よりはまだ高いものはあるが、ほぼ全ての数値が正常値に収まっていた。一時期は180とかあったgptが今は40台だ(正常値は40以下)。体重に加えて、目に見える成果が出て嬉しかった。

そんなこんなで10キロほど痩せました。やっぱりいろんなブログとかで書いてあるように痩せようと思ったら食事大事だね。

これからも気をつけていきたいと思います

それでは

サラダバーCV:悠木碧

ログイン ユーザー登録
ようこそ ゲスト さん