  |
はてなキーワード: 研究室とは
キャンセルカルチャーの問題点は、「悪い・正しくない」と思う倫理が内発的なものではないことなんだろう。
どこかで知った聞きかじりの「教養」に発するものだから、キャンセルすることでなんとなく自分が「正しい側」にいることに内心満足してしまう。「正しい側」にいるというのは安全地帯なので、いくらでも無知な人を罵倒し、笑い飛ばせる。その教養は実際のところ、★のたくさんついたブコメかもしれない、その程度に知った教養でも安全地帯に入った感覚を得られる。
つまり、「いーけないんだいけないんだー、センセにいってやろ」のアレと大差ない。
その程度の教養と正義感で、MVを取り下げ、ミュージシャンを謝罪に追い込む社会なわけだね。
かつて、なだいなだが、ケシカラニズムといって、理性的な正義と感情的な正義を区別し、自分のことでもないくせに感情的な共感によって主語がでかくなるのが感情的な正義の特徴だとした。そのことで人々がプロパガンダに流されやすくなる、という趣旨のことをどこかで書いていたのを思い出す。
もうひとつ思い出したのは、2年くらい前、
のなかで、人権とかマルクス主義とか、外付けされた倫理は歯止めが効かず暴発する、ということを内田樹がいっていたこと。
コロンブスとナポレオンが他所に乗り込んでそこにいた猿を使役したり自分の文化を教え込んだりする描写になんとも思わんのかお前はｗ
というのがあるね。
正直、なんとも思わないね、というのが俺の感想だし、植民地主義への反省なんていっても、外付けの反省どまり。
俺の中では、このMVはたわいもなくみえている。そんな他愛のないものを批判したくなるほど自分のなかで植民地主義批判は内面化されていないわ。
そんなことをいうと、すぐにいろいろな知識を開陳して説教したくなるサヨクがぼうふらのようにわいてくるんだが。
むしろMVのなかで、不快に思ったのはそこではなくて、ナポレオンなどの人物たちが「Monkey Attack」というビデオを鑑賞するシーン。負傷していまにも死にゆくハチマキをした類人猿の兵士を抱きかかえる類人猿の兵士、その場面にビデオ鑑賞していた皆が涙する、という場面だが、このシーンは、旧日本軍の兵士を連想させられ、ビデオ鑑賞で感動ポルノを消費するという行動にはイラっとさせられた。
類人猿をベートーヴェンが指導したり、人力車にひかせたりというのには何とも思わなかったのに、このシーンだけは嫌な気分にさせられた。
そう、まさに「つまり解釈の余地があるんです。」という感じなんだな。モンキーアタックビデオへの不快感はあるものの、袋叩きにしてやり込めるほどのものではない。他愛もないMVだよ。
もっとも俺も若い頃、20年くらい前までは、人権の歴史を教科書通りに学んで、それを教養として広めていけば、外付けされた倫理は共感を呼んで広まっていく、みたいに素朴に思っていた時期があった。
https://lady-joker.hatenadiary.jp/entry/2024/06/16/011301
みたいなことを素で思っていたというか、それこそ20年前のはてな草創期の「何とかidさんの日記」にはそういうのがあふれていたし、はてなにははてサと言われる人たちが多かったのだろう、そういう人ともつながった。
しかし、いつしか違和感を覚えるようになった。特に、歴史修正主義というドイツで使われた文脈の言葉を安易に日本の南京虐殺否定の文脈で使うことが一般的になり始めたころ、はてサという存在が疎ましくなっていった。
俺の違和感の正体は、結局のところ、歴史の文脈のなかで生まれた言葉には、その歴史に紐づいた反省があり、過去への抗いがあるはずなのに、いつしか「教養」として普遍化するなかで、その歴史の固有性が失われ、あたかもハンディな批判ツールになり下がることだった。
村上春樹が2009年、イスラエルの文学賞を受賞したとき、はてサは一斉に授賞式に出席しようとする村上を引き留めようとし、攻撃した。出席することは共犯を意味するとまで言った人もいた。そのとき、村上氏は自身への批判を受け、それらの情景を正論原理主義といった。パレスチナの人たちとの現実の接点をもたずに、パレスチナだ、ガザだ、人権だと漠然と騒いでいる、ごく普通のひとたち（私たち）の”寄り添い”は本当に軽いものだ。共犯という言葉も軽い。イスラエルに赴いて「高くて頑丈な壁と、それにぶつかって割れる卵の側では、私は常に卵の側に立つ」と現場で話をした村上春樹の言葉のほうがよっぽど覚悟が必要だ。それでも村上春樹を攻撃する様子をみて、俺はだんだん嫌気がさして、ブログからフェイドアウトしていった。
お前、そんなこともわからないのか、そんなことも知らないのか、といって得意げに歴史や知識を開陳する態度。
てめえだって大して現実味のないことに対して義憤を抱いてるにすぎないくせに、この尊大な態度。
サヨクに対する嫌悪感は、ここに尽きる。キャンセルカルチャーは、無力なサヨクが得意げに知識開陳して自己満足する場になってるんだよ。
言葉の軽さはどこからくるのか。ヒントになるのは、前述の内田樹の文章。
永井：それで言うと、私は本当に「人権」というものを外付けしたタイプだと思います。大学１、２年の頃、大学で平和学の授業を取ってたりしたのですが、そのときに、何が幸福なのか、他人が何を考えているのかなんてわからないと思ったんです。そして陳腐ですが、みんな正義も正しさも違うよねともやはり思いました。
じゃあ何を拠り所にしたらいいのだろうと考えた結果、「そうかそうか、人権というものがあるのか、みんな賛同してるし普遍性高いじゃん」となりました。普遍性が高いなら、「人権が著しく侵害されているのであれば、これは問題だ！」と堂々とみんなに言うことができる。そうして私は良くも悪くも人権というか権利しか見ない人になっていったわけですが、それは本当に「外付け」だったと思います。
「これは問題だ！」と深く自分のこととして考えもせずに簡単にいえてしまう、ここにこそ問題がある。
そういう義憤の正体って何だろう。
最近、朝日新聞の人生相談に回答した野沢直子に対して、それを朝日新聞記者のコメントともに、冷笑と受け取って批判している記事があった。
[B! 報道] 読者を小馬鹿にする記者の態度にビックリ…野沢直子（61）の「悩み相談」騒動に見る“朝日新聞の冷笑主義” | 文春オンライン
https://digital.asahi.com/articles/ASS5K30WGS5KUCVL02MM.html?ptoken=01J0FYBDAZQF5YH5MPNMCJH3QA
「不正義や理不尽な行動を伝える新聞報道を見るたび、怒りに燃えて困っています」とかいう50代の男性の相談。
私個人は、野沢直子の回答の感覚に近い。現地に行ってみろと。行けば当事者意識を持てるから。
これは冷笑でもなんでもない。正直、野沢直子の回答を冷笑と捉える文春の批判のほうが今の時代の病を表現していると思った。
新聞で得た世界の出来事をいかに正義の言葉で嘆いても、その切実さは現場の人の感覚とは何も通じ合っていないかもしれない。
かつて、北アフリカのスーダンで、ダルフール紛争と呼ばれる、政府系の集団による虐殺が国際問題となったことがある。
日本のブロガーも反応し、かつてFinalvent氏がこの知名度の低いこの問題を何度も取り上げ、意識を高めようとするべく、記事をお書きになられていた。
最初は、自分の啓発もかねて弁当氏の言説に注目していたのだが、しかし、その後、私自身が北アフリカ地域に仕事上関与するようになってから、スーダン人とも仕事をしたし数多く知り合いになった。自分なりに関心をもって現地で情報を集めてみると、国際的に展開されているセーブ・ダルフール・キャンペーンは次第に異なる運動に映じるようになっていった。
それは当時のバシール大統領の断罪をはじめ、現地武装性組織の悪業を過剰に喧伝する国際NGO特にアメリカのNGOのキャンペーンのやり方に対する違和感だった。紛争の実態はもう終わっているにも関わらず紛争が継続しているかのような言説が多く、過剰かつ単純な演出によって集められた資金は、NGOの広告費に回っているという話まで聞いた。
正しい、とみんなに思い込まされていることでも、プロパガンダが功を奏しているだけかもしれないということだ。
弁当氏がその後、一貫してスーダンに注目していたかどうかは知らないが、やがて同氏の記事の傾向が変わり、国際問題にはほとんど言及されなくなっていった。
今、現在、スーダンの置かれている状況はというと、2023年に始まった国軍と準軍事組織「迅速支援部隊（RSF）」による内戦により、ダルフール紛争の比ではない、深刻な国内避難民が発生している。2023年末時点で国内避難民が905万2822人。これはスーダン人口の2割に相当。2003年の世界最悪レベルの人道危機と言われたダルフール紛争のときですら国内避難民は100～200万人というオーダーだったので、それをはるかにしのぐ難民が発生している今の状況がいかに危機的かがわかる。
しかし、俺は思う。当時、弁当氏のスーダン記事を読み、義憤を抱いた人の何割くらいが、現在進行形の危機を憂いているだろうかと。エジプトとトルコはスーダン国軍支援、アラブ首長国連邦はRSF支援、このように中東の中堅国らは、自分たちに好意的な顧客を武装させながらも、和平を口にする、いわば代理戦争の様相を呈している。
ただ、一方で、外付けの教養には意味がない、とは思わない。しかし、植民地主義の歴史を知るとか、外付けの倫理をいかに理解しているかという意味ではない。
普遍的な価値として、人権を外付け実装してきた日本人である自分自身がいかに受容してきたのか、それを踏まえて自分の生きる社会をどうしたいのかを知ること。
そのルールや規範の成り立ちといった背景をもう少し知る必要があると思っている。
表現の自由ひとつとってもそう。表現の自由って大切じゃないか？と少しでも思ったら、それを所与の普遍的価値だから、と思考停止しないでよくよく考えてもらいたい。
なぜアメリカの判事は歴史的な判決のなかで、空気が濁っているほうが社会は健全だといったのか。なぜフランスでは神を冒涜することが権利なのか。
なぜドイツではホロコーストの否定は表現の自由に当たらないのか。日本は公共の福祉の解釈としてそれらをどのように受容したのか。表現の自由が失われると何が恐ろしいのか、それはそれぞれの社会の文脈がある。少なくとも自分の社会ではそれは何なのか、それを知ること、それこそが教養というものだと思っているし、理性的な共感というものだと思う。
少なくとも俺が思うに、日本社会においては、冒頭のケシカラニズムが政府にとって都合よく操れる心情だろう。
表現の自由が失われることによって立ち現れる社会では、こういう感情的正義がますます膨れ上がるだろう。
表現の自由が失われることによって立ち現れる社会は、「これが正義だ！」とみせられるとすぐに無教養な人々を煽り立てることでき、簡単なプロパガンダで誘導することのできる、政府にとって都合の良い社会ということになろうかね。
MV叩いて知識開陳してマウントとってるサヨクもそれで満足ですかね。まあそういう奴はそういう時代がくれば体制寄りになってるかもしれないけどね。
世界中、世の中でいろいろと深刻で理不尽なことが起きているなか、そういう諸々には無関心で当事者意識もないくせに、「教養ある人」が突然ポリコレし始め、他愛もないMVの植民地主義的な傾向にかみついて、そうだそうだとみんなして一斉に同調した結果、MVの発表取り下げに至る、という構図は学級会のつるし上げそのものだ。
サヨクは知識マウントできて満足だし、日ごろのストレス発散になったことだろう。
朝日新聞に人生相談をした「不正義や理不尽な行動を伝える新聞報道を見るたび、怒りに燃えて困っています」という50代の男性も、MVをぼこぼこに叩いて満足するくちかもしれない。新聞を読んで中途半端なポリコレ意識をもてあましている、という輩に対する処方箋としては、野沢直子の回答はこれ以上ない的を射たものだと思った。
ゴジラ（1954）観た。
台詞は聞き取り辛いし、ゴジラもかっこよくないし、ミニチュア感丸出しで映像的にはしんどめだだった。
水爆が呼び寄せた（というのは作中でも推測の範疇であって、真実は分からないけど……）ゴジラをまた別の大量破壊兵器で始末するという悪循環。
目先の被害を防ぐためにオキシジェンデストロイヤーを衆目に晒して良いものか。目先といっても死んだ人にはそれが全てだし、ゴジラがいつまで暴れるのかも分からない。
研究室に籠もってる博士と違ってその目で恐ろしさを目撃した尾形達は大衆の代弁者なのかもしれないけど、兵器利用に関して強い覚悟を持つ彼にオキシジェンデストロイヤーの使用を迫るのは死ねと言ってるのと同義。芹沢博士がゴジラと設計図を自分もろとも葬るのも、美しい犠牲と呼ぶにはグロテスクな解決。
とか思ってたら直後に報道者がオキシジェンデストロイヤーの名を口にしていてズッコケそうになった。
そういうものを作ろうと思えば作れる、というのも知られたら困るだろ……
実は応用の範囲も狭くて、水中かつ生身相手限定の道具だしまあそこまで……って事だとしても、じゃあ自分を犠牲にまでした芹沢博士がバカみたいじゃないですか……
あなたのお父さんが世間話をするために会社までやって来て困っている。仕事中に何回も電話をしてくる。でも、折り返し電話をしても出てくれない。
アラフィフの従姉妹は彼女の父の会社を継いでおり、会社の中ではいわゆる偉い人。
父に話をきくと、彼女は技術系の専門知識も無いから大した仕事してない。隅っこに座ってニコニコしてるだけだから暇だろ。遊びにいってやってるんだ！と。
私が大学で研究室に配属された時、あんなに喜んでくれていた父が……働く女性を見下す言動をとっているのを見て涙目になってしまった。
娘の私がメンタルやられて大学中退して、パートで食いつないでる状況になってしまったから『女なんて役に立たない』って考えになってしまったんだろうな
https://news.tv-asahi.co.jp/news_economy/articles/000352769.html
とりあえず、先生の名前と研究室でしらべたところ、東北大学の寄付講座とのこと。
寄付講座は企業や団体などがお金を出すから、大学の施設と名前を貸してねという講座。
そこの業績の欄に、歯科の商業雑誌への論文があり、手元にあったので、読んでみた。
装置の概要は、歯石を取るときに使う、超音波スケーラー（ピーッという音がして、金属で歯石を割りながら剥がす機械）の改良版。
論文には出てくる光の殺菌作用（）と、特別な害がないこと（これは重要）が書いてあった。
結論として、これで歯周病が治るわけではない。あくまでも、歯石や歯垢をを取りながら、光で薬品を活性化させて殺菌をする装置。これまでも、水ではなく薬品を出しながら歯石歯垢を取る機器は多数あるので、それの類と考えて良い。
光はあくまでも補助的な部分と思われるので、その光と薬品に害がなければ、医療機器の認証が出るのも納得できる。（歯石、歯垢をとることは歯周病治療にとても有効。）
光で殺菌という考えも新しいわけではないが、効果が限定的なのもわかっている。バイオフィルムという細菌が作る塊の性状がその理由だが、簡単に書くと、うんこの内部を光と振動で殺菌することはできないということと同じだ。
口腔内では最近の餌と必要な温度と湿度は常に与えられるので、住みやすい環境（深い歯周ポケット、歯石、歯根の形態）があれば、少し残った細菌がすぐに増えて、元のようになる。
だから、この治療が普及すれば、歯周病から解放されるとか、そういうモノではなさそう。でも、マユツバな治療機器ではないから、少しでも治療が進歩するといいと思う。
高校は文芸部で、大学は理系だけど研究室が論文の誤字脱字に厳しいところだったので、まともな教育を受けた人間は校正に厳しいのが当たり前だと思ってる。
旧ツイッターなどは書いたら訂正できないシステムなので、ギリギリまで一文字一文字を見直すけど、それでもミスったら仕方ないと諦めていた。
だけど、増田みたいに何度でも訂正できるところで、「てにをは」レベルの、少し読みなおせば違和感を持つようなところをいくつも間違えたまま放置している奴は、それだけでバカに見えるし、いい加減でやる気がないのが伝わってくるからそもそも読もうとも思わない。
たまに仕事でもそのレベルの文書を恥ずかしげもなく出してくる奴がいると、ヤバいのに当たったなという気持ちで混乱する。
日本の（特に理系の）教育はまったく文章を書かせないので、官公庁クラスの書類でもこんなのありかと思うような酷いものが存在する。
自分はたまたま論文力を鍛えてくれる研究室で「どこまで細かくなるべきか」を身体で覚えさせて貰ったけど、日本の技術者は計算や図面が完璧でも、ドキュメントの日本語になると「てにをは」はおろか酷い誤変換やタイポを放置しまくるような人もいて、こんなことやってると信用を失くすぞと心配になってくる。
文章の粗さは知識の抜けや態度の不安定さと同じくらい他人の信用を損なう問題だということを、少なくとも自分がちゃんとした教育を受けたと証明したいならもうちょっと意識した方が良いよという話。
（※ちなみにこの文章だと、読みなおして「馬鹿」と「バカ」の表記の揺らぎが気になるくらいの躾け方をされた。今回はあえて気づいた上で放置しておくけど。）
これらすべての重要な変動要因になりうるものがあります。つまり、より多くのスクレイピング・データでより大きな言語モデルをプリ・トレーニングするという素朴なアプローチが、まもなく深刻なボトルネックにぶつかり始める可能性があるということだ。
フロンティア・モデルはすでにインターネットの多くで訓練されている。例えば、Llama 3は15T以上のトークンで学習された。LLMのトレーニングに使用されたインターネットの多くのダンプであるCommon Crawlは、生で100Tトークンを超えるが、その多くはスパムや重複である（例えば、比較的単純な重複排除は30Tトークンにつながり、Llama 3はすでに基本的にすべてのデータを使用していることになる）。さらに、コードのようなより特殊な領域では、トークンの数はまだまだ少ない。例えば、公開されているgithubのリポジトリは、数兆トークンと推定されている。
データを繰り返すことである程度遠くまで行くことができるが、これに関する学術的な研究は、16エポック（16回の繰り返し）の後、リターンは非常に速く減少し、ゼロになることを発見し、繰り返しはそこまでしか得られないことを示唆している。ある時点で、より多くの（効果的な）計算を行ったとしても、データ制約のためにモデルをより良いものにすることは非常に難しくなる。私たちは、言語モデリング-プレトレーニング-パラダイムの波に乗って、スケーリングカーブに乗ってきた。大規模な投資にもかかわらず、私たちは停滞してしまうだろう。すべての研究室が、新しいアルゴリズムの改善や、これを回避するためのアプローチに大規模な研究の賭けに出ていると噂されている。研究者たちは、合成データからセルフプレー、RLアプローチまで、多くの戦略を試していると言われている。業界関係者は非常に強気のようだ：ダリオ・アモデイ（Anthropic社CEO）は最近、ポッドキャストでこう語った：「非常に素朴に考えれば、我々はデータ不足からそれほど遠くない[...]私の推測では、これが障害になることはない[...]。もちろん、これに関するいかなる研究結果も独占的なものであり、最近は公表されていない。
インサイダーが強気であることに加え、サンプル効率をはるかに向上させたモデルをトレーニングする方法（限られたデータからより多くのことを学べるようにするアルゴリズムの改良）を見つけることが可能であるはずだという強い直感的な理由があると思う。あなたや私が、本当に密度の濃い数学の教科書からどのように学ぶかを考えてみてほしい：
モデルをトレーニングする昔の技術は単純で素朴なものだったが、それでうまくいっていた。今、それがより大きな制約となる可能性があるため、すべての研究室が数十億ドルと最も賢い頭脳を投入して、それを解読することを期待すべきだろう。ディープラーニングの一般的なパターンは、細部を正しく理解するためには多くの努力（そして多くの失敗プロジェクト）が必要だが、最終的には明白でシンプルなものが機能するというものだ。過去10年間、ディープラーニングがあらゆる壁をぶち破ってきたことを考えると、ここでも同じようなことが起こるだろう。
さらに、合成データのようなアルゴリズムの賭けの1つを解くことで、モデルを劇的に改善できる可能性もある。直感的なポンプを紹介しよう。Llama 3のような現在のフロンティアモデルは、インターネット上でトレーニングされている。多くのLLMは、本当に質の高いデータ（例えば、難しい科学的問題に取り組む人々の推論チェーン）ではなく、このようながらくたにトレーニング計算の大半を費やしている。もしGPT-4レベルの計算を、完全に極めて質の高いデータに費やすことができたらと想像してみてほしい。
AlphaGo（囲碁で世界チャンピオンを破った最初のAIシステム）を振り返ることは、それが可能だと考えられる何十年も前に、ここでも役に立つ。
LLMのステップ2に相当するものを開発することは、データの壁を乗り越えるための重要な研究課題である（さらに言えば、最終的には人間レベルの知能を超える鍵となるだろう）。
以上のことから、データの制約は、今後数年間のAIの進歩を予測する際に、どちらに転んでも大きな誤差をもたらすと考えられる。LLMはまだインターネットと同じくらい大きな存在かもしれないが、本当にクレイジーなAGIには到達できないだろう）。しかし、私は、研究所がそれを解読し、そうすることでスケーリングカーブが維持されるだけでなく、モデルの能力が飛躍的に向上する可能性があると推測するのは妥当だと思う。
余談だが、このことは、今後数年間は現在よりも研究室間のばらつきが大きくなることを意味する。最近まで、最先端の技術は公表されていたため、基本的に誰もが同じことをやっていた。(レシピが公開されていたため、新参者やオープンソースのプロジェクトはフロンティアと容易に競合できた）。現在では、主要なアルゴリズムのアイデアはますます専有されつつある。今はフロンティアにいるように見えるラボでも、他のラボがブレークスルーを起こして先を急ぐ間に、データの壁にはまってしまうかもしれない。そして、オープンソースは競争するのがより難しくなるだろう。それは確かに物事を面白くするだろう。(そして、ある研究室がそれを解明すれば、そのブレークスルーはAGIへの鍵となり、超知能への鍵となる。）
続き I.GPT-4からAGIへ：OOMを数える(7) https://anond.hatelabo.jp/20240605210017
コンピュートへの大規模な投資が注目される一方で、アルゴリズムの進歩も同様に重要な進歩の原動力であると思われる（そして、これまで劇的に過小評価されてきた）。
アルゴリズムの進歩がどれほど大きな意味を持つかを理解するために、MATHベンチマーク（高校生の競技用数学）において、わずか2年間で～50%の精度を達成するために必要な価格が下がったことを示す次の図を考えてみてください。(比較のために、数学が特に好きではないコンピュータサイエンスの博士課程の学生が40%のスコアを出したので、これはすでにかなり良いことです)。推論効率は2年足らずで3OOMs-1,000倍近く向上した。
https://situational-awareness.ai/wp-content/uploads/2024/06/math_inference_cost-1024x819.png
これは推論効率だけの数字だが（公開データから推論するのが難しいトレーニング効率の向上と一致するかどうかはわからない）、アルゴリズムの進歩は非常に大きく、また実際に起こっている。
この記事では、アルゴリズムの進歩を2種類に分けて説明します。まず、「パラダイム内」でのアルゴリズムの改良を取り上げることにしま す。例えば、より優れたアルゴリズムによって、同じパフォーマンスを達成しながら、トレーニングの計算量を10倍減らすことができるかもしれません。その結果、有効計算量は10倍（1OOM）になります。(後ほど「アンホブリング」を取り上げますが、これはベースモデルの能力を解き放つ「パラダイム拡張/アプリケーション拡張」的なアルゴリズムの進歩と考えることができます)。
一歩下がって長期的な傾向を見ると、私たちはかなり一貫した割合で新しいアルゴリズムの改良を発見しているようです。しかし、長期的なトレンドラインは予測可能であり、グラフ上の直線である。トレンドラインを信じよう。
アルゴリズム研究がほとんど公開されており、10年前にさかのぼるデータがある）ImageNetでは、2012年から2021年までの9年間で、計算効率が一貫して約0.5OOM/年向上しています。
アルゴリズムの進歩を測定することができます。同じ性能のモデルを訓練するために必要な計算量は、2012年と比較して2021年にはどれくらい少なくなっているのでしょうか？その結果、アルゴリズムの効率は年間0.5 OOMs/年程度向上していることがわかります。出典Erdil and Besiroglu 2022.
これは非常に大きなことです。つまり、4年後には、～100倍少ない計算量で同じ性能を達成できるということです（同時に、同じ計算量ではるかに高い性能も達成できます！）。
残念ながら、研究室はこれに関する内部データを公表していないため、過去4年間のフロンティアLLMのアルゴリズムの進歩を測定することは難しい。EpochAIは、言語モデリングに関するImageNetの結果を再現した新しい研究を行っており、2012年から2023年までのLLMのアルゴリズム効率のトレンドは、同様に～0.5OOM/年であると推定しています。(しかし、これはエラーバーが広く、また、主要なラボがアルゴリズム効率の公表を停止しているため、最近の上昇を捕捉していません）。
https://situational-awareness.ai/wp-content/uploads/2024/06/llm_efficiency_epoch-1-1024x711.png
Epoch AIによる言語モデリングにおけるアルゴリズム効率の推定。この試算によると、私たちは8年間で～4OOMの効率向上を達成したことになります。
より直接的に過去4年間を見ると、GPT-2からGPT-3は基本的に単純なスケールアップでした（論文によると）が、GPT-3以降、公に知られ、公に干渉可能な多くの利益がありました：
最近リリースされたGemini 1.5 Flashは、"GPT-3.75レベル "とGPT-4レベルの間の性能を提供する一方で、オリジナルのGPT-4よりも85倍/57倍（入力/出力）安い（驚異的な利益！）。
公開されている情報を総合すると、GPT-2からGPT-4へのジャンプには、1-2 OOMのアルゴリズム効率向上が含まれていたことになります。
https://situational-awareness.ai/wp-content/uploads/2024/06/stacked_compute_algos-1024x866.png
GPT-4に続く4年間はこの傾向が続くと予想され、2027年までに平均0.5OOMs/年の計算効率、つまりGPT-4と比較して～2OOMsの向上が見込まれます。計算効率の向上は、低空飛行の果実を摘み取るようになるにつれて難しくなる一方、新たなアルゴリズムの改良を見出すためのAIラボの資金と人材への投資は急速に増加しています。 (少なくとも、公開されている推論コストの効率化は、まったく減速していないようだ)。ハイエンドでは、より根本的な、トランスフォーマーのようなブレークスルーが起こり、さらに大きな利益が得られる可能性さえある。
これらをまとめると、2027年末までには（GPT-4と比較して）1～3OOMのアルゴリズム効率向上が期待できることになります。
続き I.GPT-4からAGIへ：OOMを数える(6) https://anond.hatelabo.jp/20240605205754
端的にいうと指導教官に不幸を願う言葉を投げかけられたことがある。
研究をしたくて大学へ進学した。しかし、研究室に所属している数年間で持病が悪化して以前のようにバリバリ実験をするどころか毎日登校することもできなくなった。詳しい経緯は靄がかかったように思い出すことができないけれど話の流れで、あなたが就職して普通に働いていたら(院では何も出来ていないから)ちょっとね、ということを面と向かって言われた。泣き言ばかりで結果を出さない私にイライラしていたのだろうけれど、どんな意図で当人である私に言ったのかが全く推測できない。他にも、持病について伝えてあるにも関わらずその症状が迷惑をかけていると言われたこともある。意図はやはり推測もできない。
今はどうにか卒業してなんとか社会人をしている。未来の不幸を呪われるという経験はそうそうないので放出させていただきたい。
追加
私自身は地方都市の大学院に進学し、研究室は学生が少ないこともあって比較的丁寧に教えてもらった記憶です。
返信の中で何人かが書いていますが、院生と社会人で求められるスキルは全く違うので、その教授の言うことは当てにならないと思います。
友人のなかには、大学院を休学して企業のインターンに参加したり、公務員の勉強をしている人もいました。
その友人たちは結果的にその友人は大学院を中退していますが、話を聞くとその選択を後悔しているようには思えません。
あなたのスキルや能力などはわかりませんが、その研究室だけが世界ではありません。何か行き詰ったら外の世界に目を向けてみてはいかがでしょうか？
教授に言われた内容で十分にアカハラ判定されると思うので、時系列で整理して所属大学のしかるべき部署に行ってください。
教授と闘って勝とうと思うと、なかなか難しいかもしれませんが、研究室の変更だったら普通はやってくれると思います。
それと、追記を読みました。
教授の年齢は分かりませんが、昔は確かに大学進学率も今より低い上に、大学院まで進むのはごく少数だった時代があります。
そういう時代を生き残って大学教授になるということは能力も自信も人並み外れたものが要求された、みたいなところはあるかもしれません。
そう言う教授が、自分の学生に自分がやったのと同じようなハードな努力と才能を要求しがちである、と言うことはあります。
しかし、ここ20年は大学院も大衆化してきており、５０%が大学に進学し、そのなかで理工系に限れば４割近く、全体でも１割強が大学院に進学する時代です。
ついでに言うと、政府はそれでも「国際競争を考えれば、近い将来に高度人材が足らなくなる」と悲鳴をあげているわけです。
（20世紀前半に活躍した科学者で科学論者であったJ.D.バナールは、いずれ働く人の３割が何らかの意味で科学者になると予言しました。荒唐無稽に感じるかもしれませんが、例えば「コンピューターを扱える」と言うのもバナールの時代を考えれば一種の科学者と見えるかもしれず、そんなに無茶なことでは無いのかもしれません）
こうした時代において「スーパーマン」だけを合格させては到底、大学に期待された役割を果たせませんし、合格させた以上はそれなりの経験なりスキルなりを身につけて社会に送り出す義務が、大学側にあるわけです。
「学費を払ったお客さんだから」とふんぞり帰って何かを与えられるのを待つと言うのも違うと思いますが、能力を悲観して要求すべきものを諦めてしまうのはもっと違うと思います。
せっかく、若い時期を何年か費やし、（多分）それなりの学費も払うわけですから、もっと自信を持って大学を有効活用することを考えてよろしいかと思います。
文系のことは知らんけど、自分のいた研究室は毎日来るのが当たり前の情報系だったので、そことは大いに違うな。
個人的感覚だと、研究室が課している出席のルールを満たしていてこれはちょっとあり得ない。
過去、卒論をそんな理由で失敗していた学生なら見たことはある。
一つ下の学年の自分から見てもヤバいと思うような発表内容で、回覧に出されていた卒論もほとんど何も書いてない感じのだった。
後で聞いた話だと、その発表をした学生はほとんど研究室に来ていなかったらしい。
...まあ、こういう状況で「これでは修士に値しない」はわかるけれど、それなりに研究室に来ているのにそれをもらうのははっきり言ってブラック研究室。
実際に見たことはないんだけれど、自分のいた学部にかつて卒論発表会で自分の学生にパワハラを始める人がいたらしくて、
その研究室に行くとヤバいってことが知られているところがあったな。
今でいうAIのような流行りもののテーマを扱っている研究室だったので、憧れだけで研究室を選んで地獄を見る場所だったらしい。
文系大学院の常識は知らんけど、自分の感覚だと修了率50%は相当ヤバいと思う。
この研究室で論文を書く場合って、指導教官はauthorに入りますか？
ゼミで指導をしたと言えば言えるのかもしれないけれど、文系の研究室はえらく気が長いんですね。
月1程度(1回1.5時間ほど)以外は研究について話すのNGなんですよね。
研究を進めるうえで研究室で特殊な機械を借りたり、先生の人脈を使ったりしてますか？
自分の感覚だと、その程度の相談時間で、研究室のリソースも使わないとなると、指導教官をauthorに入れていいのか怪しいレベルだと思うんだけど。
ちなみに、自分のいたところは毎日指導教官とテーマについて話してました。
論文を書くときは構想から相談して、添削もしてもらってました。
「増田君が言いたいことはこういうことでしょ」と先生が書き直したことも時々あったので、ぶっちぎりでauthor感があった。
これが1カ月に1回。ほんとに研究室の進捗がslowなんだな。
そして、シン・仮面ライダーのメイキング(NHK制作のドキュメンタリー見てくれ)よりもひどい世界だ。
早いフィードバックで何度も回すのが自分の周りだと普通なので。
もちろん、先生に毎回確認するのは気が引けるので博士などの人が先生に質問をするときに一緒に居たりして、一緒に先生の話を聞いて意図を組んで、その人と壁打ちをすることが大半だと思うけど。それでもって、その博士の人もauthorに含まれる。話しているうちに博士の人のアイディアが入ることもあるし。
は別に正直でいいと思うんだけれど、先生の知り合いでその分野に明るい人を紹介してもらって共同研究できないんだろうかとかは考える。
④ヒステリックになっていると言われる
「先生方は現状をどのようにお考えなのですか」の回答はそんなに問題があるとは思えない。
「お考えですか」だからね。
大学としてこの修了率は普通のことなのか、普通じゃないのか？みたいなところからだな。普通のことだったら、それ以上の会話はないよ。
普通じゃなかったら改善案についての話になるけれど、普通のことだったら改善などないからね。
正直、元増田のお気持ち表明以上の意味がある質問には見えない。
修了率が高い研究室に移れないかを考えてもいいとは思うけれど。
⑤計画性がないと言われる
ここまで読んでいて思うのは先生には学生を育てる動機づけがないってことかな。
先生の問題というよりも、大学やその業界の問題のような気がしてならない。
うちの分野だと自身の研究成果はさておき、育てた学生(特に博士)の数や研究も評価の対象になるので、下を育てることにそれなりの動機付けがある。
多分、指導能力がない(学生を育ててない)人はテニュアトラックに乗れないんじゃないかなと。
あと、先のところでも書いたけれど、もしかして、元増田の通っている大学院は別に修了しない学生が多くても構わないって思ってない？
自分のいたところはその分野の人材を育てるという意味合いもそれなりにあったのか、修了率はかなり高めだったと思う。中途で消えた人は見たことない。
でも、修了率50%でなんとも思わないというのは研究室どころか、その専攻科がそれを良しとしているとしか思えない。
え？先生って定形勤務なの？てっきり裁量労働なのかと思ってた。
働きたかったら何時間でも働いていいけれど、働きたくなかったら別に何もしないでもokみたいな。
ふんわり定時みたいなのがあったほうが自分も学生も働きやすいからそういうのをやっているだけかと思ってた。
でも、この書類もGW直後に見てもらうのだと間に合わなかったんだろうかとも思ったりする。
先生にだって休みの日を休みの日として過ごす時間は必要だと思うので。
家族サービス中にちらちらとメールチェックをするのはokですか？ngですか？
ちょっと研究室にいた時間と自宅にいた時間がかぶってて、なんかおかしいので時間帯はわからんけど、
理系だと追い込みの時期に研究室に住んでいるみたいな人は普通にいる。
ま、事実上研究室に住んでいるような人生を研究に捧げた先生なんかもいるらしいしね。
学位論文書いてた時は研究室から徒歩数分のソバ屋で年越しそば喰って、正月も研究室にいたけれど...
研究に費やす時間についてはこんなものだと思う。修了できなかったら死ぬみたいな気持ちでやってたのは事実で、文字通り命を削って学生してた。
親はモラトリアム楽しんで遊びに行っていると思っていたようで、恥ずかしいからと親戚の集まりに来ないように仕向けられてた。
労働基準法で守られているし、学位を取れなかったら死ぬみたいな謎な緊張感もないしね。
でも、指導教官の対応はなんかおかしいと思う。そもそも、学生を育てようとか卒業させようとかいう意思を全く感じない。
でも、それは個人の問題というよりもシステムの問題なのかもしれないとも思う。
もし、増田の分野が人を育てることを重視していないなら、それは業界の問題であって個人の問題ではないし、
そこは手厚い育成を求める人たちが行ってはいけない分野なんだと思う。
法テラス？
普通に考えると、この手のトラブルは弁護士に話す案件かなーと思った。他の人の状況や客観的な証言を集めたかったら探偵も使うのかもしれないけど。
元増田じゃないけど、これ読んでなんで自分が会社で上司にパワハラされたかわかった。
に近い事案かましたのか。
ことあるごとに「断って君を採用したんだよ」みたいなことを言っていたから、多分これだな。
そんなにお目当ての人に来てほしかったなら、ワイを面接で落としておけばよかったと思うんだけれど、上司以外はgoを出したから断れなかったとかなんだろうな。
これからセミナーや研究会の発表を本気で聞いて良い人を探すといい
休憩時間や懇親会を利用して発表者に近づいて「あなたの発表面白かったです」といっていろいろ質問しよう
良い人が見つかったら「あなたの研究に興奮しました！わたしにも研究させてください！」とアプローチしよう
たぶん、書類上の籍は今の大学に残したままそちらの研究室に受け入れてくれると思う
一流の研究室ほど教授たちの移動は早いし、一年のうちの殆どを外国で過ごすから書類上の指導教官と実質的な指導者はみんなバラバラ
学生の方も教授について ●大→ワシントン大→R研 みたいな移動の仕方をする人もいれば
日本に残っていろんな人と共同研究している学生もいて経歴もルーツもみんなめちゃくちゃだよ
共同利用機関や研究開発法人みたいなところも学生受け入れをしているのでとにかく声かけてみよう。
すごいパターンだと研究所長と共同研究した学生もいるよ！やってみれば意外となんとかなるよ！さあ冒険だ！
頭の良さや情報収集能力、流行に乗り危ない時には身を引く要領の良さ、研究者としての信頼。それから運も重要だけど
無知に引け目を感じなくて良い
馬鹿にされることを恐れずどんどん質問しよう。読むべき教科書や論文を教えてもらおう。
知らないことは片っぱしから吸収していくと良い
馬鹿にしてくる人は気にしなくて良い。うさぎと亀の兎みたいなものだ。サラッと追い抜けるよ
怖いのは利口な兎のほうだね。彼らは亀を気にしない。自分より上の人だけを見ている。あなたも利口な兎を目指すとよい。
みたいなかんじかな
あなたは教授になって大学院生に講義をするつもりで発表すると良いよ
まずはそのチャプターの目的とあらすじをサラッと解説しよう。常に議論の道筋を見失わず今どこにいるのかがわかるように声かけをしたり、途中で簡単にここまでのまとめを挟むとわかりやすいよ。
単純な式変形は適宜省略して、でも聞かれた時にはサラッと示せるようにしておこう。
もし理解できない箇所があるなら暇そうなポスドクに質問して回るか同期と議論しよう。教科書１冊で満足しないで名著や重要論文は片っぱしから読んでおこう。
ちなみに私も昔パワハラを受けたことがあって指導者を変えているんだ
最初に私の指導に当たった人はちょっと問題がある人でね。嫌がらせをされて困っていた。
そんな頃すごい論文を読んだ。それは革新的な研究で新しい学術領域を作り出すものだった。その論文の著者は天才と呼ばれている人でね。名前をAさんとしようか。
Aさんは当時1人も学生を持っていなかった。噂では彼の認めた天才しか取らないのだという。
「この研究がどうしてもしたいです！どうか指導してください」と私はAさんの部屋に突撃していった。（注：アポを取りましょう）
パワハラを受け後が無い私に怖いものはなかった。やけっぱちとも言う。認められなければ辞める気だった。
Aさんはちょっと驚いていたけれど後日改めて呼び出された。
今の研究の状況や元の指導者との関係を聞かれたので淡々と説明をすると
「それは私の方から話をつけたほうが良いね。あなたは口裏を合わせてね」と言われた。１週間も経たずに新しい刺激的な研究が始まった。
天才と議論ができるのは本当に素晴らしい経験だった。Aさんの生き方や考え方は研究だけではなく私の人生全てに影響を与えた。大学院の日々は私の人生で最も楽しく輝かしい日々だ。自分で言うのも恥ずかしいけどとても良い研究成果も残せた。本当にAさんと出会えてよかった。心から尊敬している。
後日例の噂の話をしたらAさんは笑っていた「そんな話初耳だ」と。
何のことはない、学生は勝手に恐れ誰もAさんに指導を申し出なかっただけなのだった
ポスドクは情報通だ。学生を育てるのが上手い人は誰なのか、研究環境が良いのはどこかをよく知っている。
特にアカハラをするような奴は悪い意味で業界の有名人だ。ポスドクは絶対知っているはずだ。
（※必ず複数人から聞こう。M1に嘘を吹き込む悪い人もいるからね）
「さっきの発表面白かったです！AをBで解決するなんてよく思いつきましたね」「ひょっとしてこの研究はXに利用できますか？」
目をキラキラさせて研究を語るあなたの周りに人は集まるようになるだろう。人が集まるということは情報が集まるということだ。それは研究者として有利なことなんだよ
心が弱ってる線の細い人に「図太くいけ」というのは草
ありがとう。私も最初は心配していたんだけど元増田の追記を見て大丈夫そうだと判断した。
一晩で前向きになっているところを見るに元々タフな子なのだろう。ぬるま湯を捨ててあえてチャレンジングな環境に身を投じる所も優秀な子の特徴だ。
ここからは私の予想だけれども、元増田の内容を見るに地方から上京してきた子なのではないか。
経験上、遠くから来た子は5月の連休くらいで高熱を出してダウンすることが多い。地方と東京では人間関係の距離感が違うし新しい生活も最初は大変だ。
5月の終わりというのはちょっと時期が遅いけれど、それだけ元増田がガッツがある子なのだろう。
理系の大学院じゃなくて文系の学部の方の事務の派遣職員だけど。
大学って場所では、変な先生には本当に常識が通じないんだよね。
人としてそんなこと言っちゃダメでしょ？ とか、我々事務職に対する無理難題とかもないわけじゃない。
先生方は自分の研究が最優先なのは分かるんだけど、社会や大学のルールを逸脱するようなのはいかがなものかと思う。そこまで無茶を言う人はそこまで多くはないけど、いらっしゃるんだよな……これが。そういう先生には派遣じゃなくて大学職員さんが直接対応してくれたりしているけど、こんな人が教授やってたりするんだ……って最初の頃はマジでビビった。
文系の学部ですらそんな状況なんだから、理系の院で研究室でとなると、先生が絶対的権力者みたいになっているんじゃないかと思う。
一般社会ではそんなになんでもかんでもできなきゃ生きていけない……とかはないからね？ もちろん、それなりの能力はあった方が有利ではあるけど、その程度だと思う。無能は死ぬしかないとか生きていけないとか、そこまでじゃない。
大学当局としても、学生さんが無茶をやらされているとしたら見過ごせないはずだから（そこは学部も院もないと思うよ）、なんとか、学生相談室とかにつながって欲しいな。研究が忙しいなら、例えばメール相談とか受け付けてないかな？
ウチの大学の学生相談室ではZoom面談もやっているみたいだった。そういうこともあると思うので。
研究室の中のことは大学当局からは残念ながら見えづらい。声をあげてもらった方が大学としても助かると思う。この先、院を続けるにせよ、やめるにせよ、大学側への相談はした方が良いと思うよ。
学生さんの人格をふみにじるようなことは、教授だろうと誰だろうと、人として言ってはいけない！ 言ったとしたらそれはおかしな人だよ。
・大学教授は、多くの場合小学校に入学してから現在に至るまで学校しか知らない
・社会に出たことがない者の「社会に出てから〜」は想像であり、聞きかじりであり、当てずっぽうに過ぎない
・もしも大学教授が優秀ならば、社会から引く手数多のはずがアカデミアなんかで安月給に甘んじている
・特に東京大卒で大学教授やってるやつなんか、同級生が皆官僚になる中、官僚になり損なった落ちこぼれだ
・まして東京大でポストを取れずに、他の大学にいる者には、それなりの理由がある
・相対的には落ちこぼれでも、学力は高いはずだが、裏を返せば高い学力を打ち消して余りある特徴を備えているはずでもある
・目前の人物が答えを示している
・知能の高い人物には、時に圧倒されてしまうが、目前の観測事実から目を背ける理由にはならない
・やばいラボを生き残った者は、驚くほどパワフルだが、元々パワフルだから生きてるだけで、教育の成果としてパワフルになったわけではない
・生まれがパワフルでない者が、20歳を過ぎてからパワフルになることはない（と思う）
・憧れに目を曇らせてはいけない
・ゆえに、安全に命をかける知恵と言うべきものが研究室には伝統的にある
※ない研究室もある
・なんの工夫もなく戦うと死ぬことがある
・死ななくても健康を害する
・「そんなことはない」と思うなら、もはや戦うしかない
