  |
はてなキーワード: コリンとは
過去10年間のディープラーニングの進歩のペースは、まさに驚異的だった。ほんの10年前、ディープラーニング・システムが単純な画像を識別することは革命的だった。今日、我々は斬新でこれまで以上に難しいテストを考え出そうとし続けているが、新しいベンチマークはどれもすぐにクラックされてしまう。以前は広く使われているベンチマークをクラックするのに数十年かかっていたが、今ではほんの数カ月に感じられる。
https://situational-awareness.ai/wp-content/uploads/2024/06/owid-test-scores-1024x723.png
ディープラーニング・システムは、多くの領域で急速に人間レベルに達し、あるいはそれを超えつつある。グラフィック データで見る我々の世界
私たちは文字通りベンチマークを使い果たしている。 逸話として、友人のダンとコリンが数年前、2020年にMMLUというベンチマークを作った。彼らは、高校生や大学生が受ける最も難しい試験に匹敵するような、時の試練に耐えるベンチマークを最終的に作りたいと考えていた。GPT-4やGeminiのようなモデルで〜90％だ。
より広く言えば、GPT-4は標準的な高校や大学の適性試験をほとんど解いている。(GPT-3.5からGPT-4までの1年間でさえ、人間の成績の中央値を大きく下回るところから、人間の成績の上位に入るところまで、しばしば到達した)
https://situational-awareness.ai/wp-content/uploads/2024/06/gpt4_exams-780x1024.png
GPT-4の標準テストのスコア。また、GPT-3.5からGPT-4への移行で、これらのテストにおける人間のパーセンタイルが大きく跳ね上がり、しばしば人間の中央値よりかなり下から人間の最上位まで到達していることにも注目してほしい。(これはGPT-3.5であり、GPT-4の1年も前にリリースされたかなり新しいモデルである。)
https://situational-awareness.ai/wp-content/uploads/2024/06/math2022-1024x273.png
灰色：2021年8月に行われた、MATHベンチマーク（高校数学コンテストの難解な数学問題）の2022年6月のパフォーマンスに関する専門家の予測。赤い星：2022年6月までの実際の最先端のパフォーマンス。ML研究者の中央値はさらに悲観的だった。
MATHベンチマーク（高校の数学コンテストで出題された難しい数学の問題集）を考えてみよう。このベンチマークが2021年に発表されたとき、最高のモデルは問題の5％しか正解できなかった。そして元の論文にはこう記されている：「さらに、このままスケーリングの傾向が続けば、単純に予算とモデルのパラメータ数を増やすだけでは、強力な数学的推論を達成することは現実的ではないことがわかった。数学的な問題解決をより牽引するためには、より広範な研究コミュニティによる新たなアルゴリズムの進歩が必要になるだろう」、つまり、MATHを解くためには根本的な新しいブレークスルーが必要だ、そう彼らは考えたのだ。ML研究者の調査では、今後数年間の進歩はごくわずかだと予測されていた。しかし、わずか1年以内（2022年半ばまで）に、最高のモデルの精度は5％から50％に向上した。
毎年毎年、懐疑論者たちは「ディープラーニングではXはできない」と主張し、すぐにその間違いが証明されてきた。過去10年間のAIから学んだ教訓があるとすれば、ディープラーニングに賭けてはいけないということだ。
現在、最も難しい未解決のベンチマークは、博士号レベルの生物学、化学、物理学の問題を集めたGPQAのようなテストである。問題の多くは私にはちんぷんかんぷんで、他の科学分野の博士でさえ、Googleで30分以上かけてやっとランダムな偶然を上回るスコアを出している。クロード3オーパスは現在60％程度であり、それに対してインドメインの博士たちは80％程度である。
https://situational-awareness.ai/wp-content/uploads/2024/06/gpqa_examples-768x1120.png
続き I.GPT-4からAGIへ：OOMを数える (4) https://anond.hatelabo.jp/20240605205024
S+ アンパンマン(勇気100倍) ブラックノーズ ゴロンゴラ(陸&海)
S アンパンマン(ドーリィ蘇生) スーパーカビダンダン ジャイアントだだんだん メタルグリンガ バイキンヘンテエネルギーメカ(戦闘形態)
S- ニャニイ(覚醒) アンパンマン(ヤミラの剣およびサンシャイン) アンパンマン(元気300倍) ジャイアントベアリングロボ ムウマ
A+ 元気100倍アンパンマン(りんごぼうや) スーパーダダンダンモグリンスリー ズダダンダン ヨゴスゾウ バイキンシャボンダダンダン 鋼鉄ばいきんまん スーパーダストデーモン チェンジバードロボ スーパーモグリン1号
A 黒雪姫 マジョーラ ブラック大魔王 氷の女王 ブラックココリン 黒バラ女王 化石の魔王 こおりおに(バナナ島) どくむしロボ ガラゴン ジャイアントモグリン 巨大鉄骨ホラーマン
A- ばいきんまん(大魔法) ウッドラー ばいきん大魔王(メコイス) ドロンコ魔王 バイキン大魔王(バイキン星の王) ランプの巨人 砂の魔王 モグリンゆうれい船
B+ ブラックロールパンナ(ロールとローラ) ハロウィンマン 闇の女王
B アンパンマン(元気100倍) ロールパンナ 鉄骨ばいきんまん スーパーモグリン2号
B- バイキン黒騎士 すなおとこ(虹のピラミッド) にじおばけ いわおとこ こおりおに なだれおに くらやみまん
C+ グリンガ 鉄骨ホラーマン 怪傑ナガネギマン あかちゃんまん ファイヤーモグリン
C へどろまん おばけいか ヌラ クータン ゴミラ モグリンガー2号 たぬきおに
C- ベロリだだんだん やみだんだん だだんだん ジャイアントばいきんまん(2000年) おむすびまん ニセパンマン アンパンマン 辛さ100倍カレーパンマン ゴロンゴロ もぐりん
D+ ジャイアントばいきんまん(2008年) 鉄火のマキちゃん 忍者のニャンジャ かつぶしまん
D バイキンUFO バイコング しょくぱんまん カレーパンマン アップルパイアンパンマン かぜこんこん アングリラ アンコラ ストーンマン でかこ母さん ゴールドかまめしどん
D- フランケンロボ もみじ王子 さくらもちねえさん サラダ姫 カエルリュウ
E やきそばパンマン ハンバーガーキッド ニガウリマン ザーマス・ボンド ひのたまこぞう ドキンUFO
E- アンパンマン(勇気3倍) かんづめカンたろう メロンパンナ こむすびまん かみなりピカタン
F+ SLマン ばいきんまん(バイキン光線の拳銃) つきのしらたま 栗のかまめしどん
F カップラーメンマン クリームパンダ アリンコキッド ハニー ショウ・ロン・ポー トリオ・デ・グー クリ・キン・トン てんどん母さん カッパのカピー ちゃわんむしまろ しかくおに さんかくまん
F- ばいきんまん(ハンマー) ドーナツマン ちびぞう ちょうちんへいじ アンパンマン(顔が〇〇〇で力が出ないver)
G ムシバキンマン たいふうぼうや らーめんてんし みるくぼうや ちくりん だいこんやくしゃ もくちゃん
G- アンパンマン(元気3倍) かぜこぞう ミミ先生 レアチーズ チーズ ドキンちゃん ドーリィ
H+ ばいきんまん てんどんまん カツドンマン かまめしどん キャベツマン りんごぼうや
H いぬのおまわりさん ドリアン王女 ホラーマン ドンキ・ホタテ
前半では美術を知的にとらえようとした。後半は生物学がテーマ。
平安文学のマイブームが続き、続いて神林長平とヴォネガットを読み始める。
英国の貴族や執事、メイドがテーマ。なぜか田中啓文も読みだす。疲れたので脱力系を。
シオドア・スタージョン「一角獣・多角獣」
奇妙な味シリーズがしばらく続く。たまに古いSFが読みたくなる。
ブラウン神父シリーズは途中で飽きる。「聊斎志異」を読みだす。
冊数が少ないのは、中島敦全集がぶ厚いからだ。ページ数では一冊で実質三冊ほど読んでいる勘定だ。
ひたすら中国の古典を読む。物語としては読みやすいが、脚注について調べていると意外と時間がとられる。
アーネスト・サトウを除いて中国文学が続く。明治維新が一日単位で記録されていると見落としていた事実が多いとわかるし、刻一刻と情勢が変わっていったのも感じられる。。
やっと森薫を読み始める。ハルタコミックス（旧fellows!）ばっかり。
コロナで回数は少なめ。
「パディントン」
「イェスタディ」
「JUNK HEAD」★★
生物学、脳科学、歴史、SF、海外文学が多い傾向は昨年から変わっていない。
（あれば）BHB塩15グラム
ハイウルソ顆粒1包
水500cc
BHB塩は30分後には血中濃度がピークになるくらい即効性があるが、２時間持たない。上記を混ぜよく撹拌したものを、勉強時間の6時間ほどかけてちびちび飲む。ゲボマズなので、これで味の強いプロテインを割るなど工夫する。
さらに、最初にビタミンEとビタミンB2、御岳百草丸を飲む。また、普段のサプリとして、アセチルNカルニチン、カネカ製コエンザイムQ10を飲んでおく。
ケトジェニック中は頭が冴えたような気がするがちょっと勉強に向かうとすぐ実感できるくらいに疲れがくる。体を動かすのであれば皮下脂肪を分解してエネルギーにしてくれるが、どうやら勉強だけではそういったことをしてくれず、すぐに燃料切れになるようだ。そこで燃料をだらだら投入しながら勉強する。飲んだ油が消化され吸収され使われるよう、ハイウルソ、ビタミンB2、カルニチン、コエンザイムQ10の手を借りる。また油を多く摂るのでビタミンEも摂っておく。サンフラワーレシチンはコリンを求めてだけでなく乳化剤として。
また、ちょっとややこしい問題に出くわすとすぐにコルチゾールが脳をだめにして記憶力を低下させるので、気休めだが御岳百草丸を飲んでおく。
https://www.nytimes.com/2022/09/13/us/politics/ukraine-russia-pentagon.htm
By Julian E. Barnes, Eric Schmitt and Helene Cooper
ワシントン - アメリカ当局者によると、ウクライナがここ数日で急速に軍事的利益を得た背景には、数カ月前に対ロシア戦争の進め方についてウクライナとアメリカの当局者が何度も激しく話し合った際に、その戦略が具体化し始めたという。
この夏、米・ウクライナ高官による緊急協議の末に原型から修正された反攻作戦は、大方の予想を超える成功を収めている。ウクライナ軍はロシアの指揮統制を壊滅させ、同国北東部での前進と南部での別の作戦に生かす態勢を整えているように見える。
この作戦は、ウクライナのヴォロディミル・ゼレンスキー大統領が、ロシアの侵攻を押し返すことができることを示すために、劇的な行動を取りたいと将軍たちに告げた直後から始まった。ゼレンスキー大統領の指示の下、ウクライナ軍は南部全域でケルソンを奪還し、マリウポルを東部のロシア軍から切り離す大規模な攻撃を行う計画を立案した。
ウクライナ軍将兵とアメリカ政府関係者は、このような大規模な攻撃は膨大な犠牲者を出し、大量の領土を迅速に奪還することができないと考えた。ウクライナ軍はすでに1日に何百人もの死傷者を出しており、戦闘は激化していた。ロシア軍も同じような犠牲者を出しながらも、ドンバス東部地域のウクライナの町を蹂躙しながら、じりじりと前進していた。
ウクライナの司令官たちは、長い間、計画の詳細を共有することに消極的だったが、米英の情報当局に対してより心を開き、助言を求めるようになった。
政権高官によれば、国家安全保障顧問のジェイク・サリバン氏とゼレンスキー氏の最高顧問であるアンドリー・ヤーマク氏は、反攻の計画について何度も話をしたとのことである。統合参謀本部議長のマーク・A・ミリー元首相とウクライナ軍幹部は、情報と軍事支援について定期的に話し合っていた。
また、キエフでは、ウクライナと英国の軍当局者が引き続き協力し、米国の新しい国防アタッシェであるギャリック・ハーモン准将は、ウクライナの最高幹部と毎日セッションを持つようになった。
米軍とウクライナ側は、「一刻を争う」と考えていた。ウクライナ側が効果的な反撃を行うには、ロシアのプーチン大統領がガス供給のコントロールを利用してヨーロッパに圧力をかけることができる初雪の前に動く必要があった。
この反攻作戦までの経緯は、ウクライナの指揮官が戦闘を形成するのに役立った、ワシントンとキエフ間の機密協議について説明を受けた複数の米国高官やその他の人々へのインタビューに基づいて書かれている。多くの高官は、協議の内容が秘密であることを理由に、匿名を条件に話した。
米国政府関係者は、反攻の完全な影響を判断することをためらい、それがどのように展開し続けるかを見守ることを懸念していた。今のところ、キエフが有利である。
この夏、米軍とウクライナ軍による戦争ゲームでは、南部への大規模な攻勢が成功するかどうかが試され、ひとつの決定的な瞬間があった。CNNが先に報じたこの演習では、そのような攻勢は失敗することが示唆されていた。アメリカの懐疑的な見方を受けて、ウクライナ軍関係者はゼレンスキー氏のところに戻ってきた。
国防総省の政策主任であるコリン・カールは、電話インタビューで、「我々はいくつかのモデル化と卓上演習を行った」と語った。「その演習では、ある種の反撃の方法が他の方法よりも成功しそうだと示唆された。我々はその助言を行い、ウクライナ側はそれを理解し、自分たちで決断したのです」。
賭け金は大きかった。ウクライナは、これが単なる凍結した紛争に終わらないこと、領土を奪還できることを示す必要があり、国民の士気を高め、西側諸国の支持を強化するためだった。
8 月に入ってから、ウクライナ側の要請で、米国当局はロシア軍の位置に関する情報の提供を強化し、 ロシア軍の戦線の弱点を浮き彫りにした。また、ウクライナの反攻準備を察知しても、モスクワがウクライナ北東部の部隊を迅速に強化したり、南部から部隊を移動させたりすることは困難であるとの情報もあった。
「ロシア軍は、ウクライナ軍が開始した反攻作戦に備え、優秀な部隊の多くを南部に移動させたという事実がある。「ロシア軍の士気の低下とウクライナ軍の圧力により、ロシア軍の一部は見た目よりも脆くなっていると思われる。
ウクライナ軍は大規模な攻撃を1回行う代わりに、2回の攻撃を提案した。一つはケルソンで、ロシア軍が集中しているため、劇的な成果が出るまで数日から数週間かかると思われる。もう1つは、ハリコフ近郊で計画されていた。
イギリス、アメリカ、ウクライナの3カ国は、この新計画を評価し、もう一度、戦争ゲームにしようとした。そして、ゼレンスキー氏が望んでいた「明確な大勝利」を得ることができた。
しかし、キエフのある参謀によれば、この計画は、米国からの追加軍事援助の規模とペースに全面的に依存しているという。
旧ソ連製の旧式兵器を使用していたウクライナは、自国の弾薬をほとんど使い果たしていた。戦争の最中に新しい兵器システムの使い方を学ぶのは難しい。しかし、これまでのところ、この危険な行動は成功している。例えば、155ミリ砲弾は80万発以上がキエフに送られ、現在の攻勢に一役買っている。米国は、2月の開戦以来、145億ドル以上の軍事支援を行っている。
ウクライナ軍将校によると、反攻作戦の前に、ウクライナ軍は米国に計画を成功させるために必要な兵器の詳細なリストを送ったという。
高機動砲ロケットシステム（HIMARS）のような特定の兵器は、戦場で圧倒的な効果を発揮している。GMLRSと呼ばれるこの発射台から発射される衛星誘導ロケットは、それぞれ200ポンドの爆薬が入った弾頭を持ち、ここ数週間、ウクライナ軍が400以上のロシアの武器庫、司令部、その他の目標を破壊するために使用されているとアメリカ政府関係者は述べている。
さらに最近、ウクライナ軍は、ソ連が設計したMiG-29戦闘機に、アメリカが供給したHARM空中発射ミサイルを搭載した。このミサイルは、ロシアのレーダーを破壊するのに特に効果的である。
先週ドイツで開かれた、ウクライナに軍事・人道支援を行う50カ国の会議で、ミルリー将軍は「これらのシステムの使用で、ウクライナから実際に測定可能な利益が得られている」と述べた。"彼らは軍隊に補給し、戦闘損失を補うのに非常に苦労している "と述べた。
ウクライナとアメリカの政府関係者は、ペンタゴンが毎週または隔週で発表するアメリカの備蓄品からの武器や弾薬の新出荷が、キエフの上級司令官に複雑な同時攻撃を計画する自信を与えていると語った。
「西側の軍事支援の重要性は、特定の兵器システムだけでなく、ウクライナ人が将来の計画に利用できる保証と自信にある」と、最近ウクライナから帰国したロンドンの王立連合サービス研究所のジャック・ワトリング上級研究員は言う。
週末にウクライナ軍兵士が北東部の地域に移動すると、ロシア軍は崩れ落ちた。米国防当局によれば、ハリコフ周辺のいくつかの場所では、ロシア軍は装備や弾薬を残して戦闘から立ち去っただけだという。
計画について説明を受けた人々によれば、ケルソン攻撃は決してフェイントや陽動作戦ではなかったという。そして、モスクワに、ケルソン地域の一部がロシアに加わることを望むかどうかの偽の投票を延期させることに成功したのである。しかし、ハリコフに比べれば、ロシア軍の数がはるかに多いため、予想通り、反攻はよりゆっくりとしたものになった。
結局、ウクライナ当局は、長期的な成功には、ザポリジャの原子力発電所の奪還、マリウポルのロシア軍の遮断、ケルソンのロシア軍をドニプロ川を越えて押し戻すなど、破棄された戦略の当初の目標に進展が必要だと考えていると、アメリカ政府関係者は述べた。
ロシアは弱体化した。ハリコフ周辺でのウクライナの増強を察知できなかったことで、ロシア軍は無能さを示し、確かな情報力を欠いていることが明らかになった。その指揮統制は壊滅的で、部隊への供給にも問題があり、今後数週間でウクライナに隙を与えることになる、と米政府高官は述べた。
ウクライナは東部でより多くの領土を奪還する機会があるかもしれないが、米国とウクライナの当局者は、南部が戦争の最も重要な舞台であると述べている。
「国防研究機関CNAのロシア研究ディレクター、マイケル・コフマン氏は、「ケルソンとザポリジャーが潜在的な目標になりそうだ。「将来、そこで突破口を開くために、ウクライナ軍のさらなる作戦が見られるかもしれない」と述べた。
真夏の話し合いから生まれた計画は、アメリカの情報とハイテク兵器に大きく依存したものだった。しかし、アメリカ側は、ハリコフで比較的小さな部隊を大勝利に導いたゼレンスキー氏とウクライナ軍の功績が大きいと主張している。
「まだ誰もサッカーボールのスパイクを踏んでいない」とカール氏。しかし、「ウクライナ人が複雑な攻撃的作戦を行えることを世界に示したと思う」とも付け加えた。
