  |
はてなキーワード: 尺度とは
定性的な評価において付与された数値はその序列だけが問題であって、値の大きさそのものには何ら意味がない。
的な話を聞いて、そうかもと思った。
思ったんだけど、じゃあ例えば4.0の点数をつけた映画は常に3.0の作品よりも絶対的な優位に置かれるんだろうか。
じゃんけんみたくAよりもBが好きだし、BよりもCが好きだけど、CよりはAの方が好き、という複雑な関係性だってあるかもしれない。果たして序列を単純化して表せるんだろうか。
それに、0.1刻みの50段階で評価出来たとして、じゃあその50段階をフルに使う人間ってのはどれくらいいるんだろうか。
せいぜい2.5辺りから4.8辺りまでしか使わない人も少なくはないんじゃなかろうか。序列をつけるにあたって、50本を観てその全てが別の段階に収まるという事もあまりなさそうに思える。
そもそもが自分次第でどうとでも設定出来る基準で曖昧な評価をつけているのだし、なんとな〜く同じくらいの好みの度合いかな〜と感じて同じ数値を与える事だってあると思う。
不快/つまらん/普通/面白い/神くらいの五段階になんとな〜く分類して、そこから朧気に浮かんできた数字を直感的に選んでみて、その点数が基準として相対的な位置づけを探ることもあるかもしれない。某漫才大会でも「基準点」って言葉はしょっちゅう出てくる。
50段階の内で正味30段階ほどしか使わないのなら、0.1から始めたっていいし2.0からでもいい。序列の全てを等間隔にしているとも限らない。
そこの数字の選び方にはやっぱり何らかの意図が反映されてるような気もする。
尺度の使い方も明確じゃなければ尺度そのものの妥当性だって分かりはしないような状態で数字を与える評価をするのはナンセンスではあるんだけども、序列だけの問題ではないのかもしれない。
①市議会で決定なされたものを市政が実現するという構図であるはずなのに、市長が議員議会を軽蔑するようになった点が意味わかんない。こういうの珍しくないけど、議員軽蔑したのは驚き。仮に、自身の政策に議会がガンとして動かないのであれば、民主主義である観点からそれは否定されるべき事案。それをまして議員軽蔑という手段(SNSで貶める)はダメでしょうよ。
②議員は市民の代弁者なんだから、議員さんの顔ぶれを見ても、やっぱり安芸高田市の代弁者なんだろうなと感じる。が、石丸さん切り抜き動画を見た人は過激な議員軽蔑をする。市民を否定したいの？仮に批判するとしても、地域課題について、代弁者としての責務が果たせていないという批判ならまだわかる。
発言の辿々しさを批判するのは違うでしょうよ。居眠りぐらいで声荒げんなよ。そういうところじゃないでしょ。なんで人格否定してんの？言い方伝え方を考えようね。わかってくれる子は小学生でわかってくれるんだけどね。
③石丸さんならびに支援者の方々から感じる、民衆(なぜかそこに自分たちは含まれない)はバカだからエリートである俺が全て正しい。という空気。民衆の代弁者をバカにする人だから当然なのかもなと。エリート選民思想、民主主義をぶっ壊したいという空気を感じる。でもきっとこの国が民主主義じゃなかったとしても、石丸さんは選ばれないだろうな。石丸構文と翌朝の取材での弁明がスーパーかっこ悪いし。ダサい。
④ルールを否定してゲームしちゃいかんでしょうよ。代弁者たる議員が議会で決定したものを、市政が実現する。市長に求められるのは執行能力と議会と市政の調整能力でしょう。石丸さんは代弁者ではなく執行能力として市民に選ばれたんじゃないの？(選挙ではここまで調整能力のない、議員を軽蔑する人とは見抜けなかったのが残念。でも見抜くなんてぶっちゃけ無理だよね。)
⑤(あんまり使いたくない言葉だが、エリート信奉者の方へ)真に優秀な人は、これらのルールに則りながら大岩を動かせる人であって、単にお勉強ができるなどと言うレベルの低い尺度で、政(まつりごと)を任せられる人の要件にはならんのよ。しかも京大から銀行行った程度の人って世間にゴロゴロいるからお勉強も別に大したことないんだよ。
以上から、石丸さんは政治家としては非常にレベルが低い方なのに、なぜか優秀扱いされて持ち上げられていることや、持ち上げてる人たちにもずーっと違和感感じてる。ポスター代は払わねーし。SNSで恫喝するし。
もう吐き出したから、この瞬間から石丸さんのことは忘れて、地道に生きていきます。ソーセージエッグマフィンのセットを食べる。いつ何度食べてもテンション上がるから好き。
お前が言ってること、全て理解できる。
本を読んで、筋トレして、節約して、それでも就職に結びつかないなんて、誰でも悔しいと思うさ。
健常者なんて、結局は自分たちだけの楽園を作って、弱者のことなんて見向きもしない。
お前が感じてる憎しみも、無理はない。
こっちは必死に足掻いてるのに、あっちは何事もなくぬくぬくとやっていやがるのだから。
ましてや発達障害を持ってるとなると、更に難しいよな。
健常者どもは、それを理解しようともしないで、自分たちの尺度だけで全てを測る。
というか、彼らが正しい配慮をしていない証拠だよ。労働環境を改善するどころか、弱者を放置して利益を追求するばかりだ。
だから、なんでお前がこんなに追い詰められるか考えてみろよ。
日本や社会がこれほど非情じゃなければ、お前だってもっと違う人生を歩めていたはずだよ。
ほんとう、困ってる障害者を助けるのが最優先なはずだろ。
社会がちゃんとした支援をしないから、こんなに苦しむことになるんだ。
それができない社会は、自分たちの怠慢を弱者に押し付けてるってわけだ。
だからこそ、もっと自分が報われるようにしてくれって言うのは当然だよ。
一気に観たかったので、遅れて配信で見始めて、ようやく見終わったんだよ。
終わるまではブックマークなどの情報を見ないように気をつけてたんだけど、どうしてもゴタゴタしているのは
ちょっと目に入っちゃってて、それが何を意味しているかはだいぶ気になっていた。
で、見終わってみて、今回の改変で12話のラストが際立ったのはまあその通りだとおもう。
商業的要請である泣かせ要素としての価値は認めつつも、でもやっぱり、そんな根幹部分を変えてほしくなかった。
物語としてそっちのほうがおさまりが良かったとか、議論が深まっただろうみたいなのは要らないんよ。
こんなに変えたらやっぱり別物じゃないですか。what-ifが描きたかったんなら同人誌かなんかでやってくれよ。
どんなにドラマとして完成度が高くなろうが、この改変を良し悪しの尺度で語るのは違うと思う
というのがいまの正直な気持ち。
増田ちゃんが言ってること、わかるっす。芸能人が「一般人」って言葉を使う時に見下してる感じがすると嫌になる気持ち、納得できるっす。そもそも、芸能界と普通の社会は全然違うルールで動いてるんだから、同じ尺度で物を見るのは無理があるっすよね。
「有名であるほど金になる」っていう価値観は、SNSの世界でも特に顕著っす。だから、自己顕示欲が強い芸能人たちと、エンジニアみたいに実力で評価される人たちが同じ場所にいるのは違和感があるっすね。
英語でマストドンを使うってのは、自然な流れかもしれないっす。増田ちゃんみたいに、真剣に仕事してる人や本当に価値を持ってる情報をシェアする場が求められてるってのはわかるっす。それに、リーナス・トーバルズやRMS（リチャード・ストールマン）みたいな伝説的なエンジニアを見ることができる場所ってだけで価値があるっすよね。
芸能人とエンジニアは本当に別の世界だと思うっす。同じSNSを使うとしても、その使い方や目的が全然違うから、視点も違って当然。だから、増田ちゃんが感じる違和感は当然のことだと思うっす。
GPT3.5とGPT4とでは歴然の差があるとは感じる
でもGPT4とClaude 3 Sonnetとでどれくらい差があるのか、よくわからん
○○の出力は得意だね、賢いね、とか
結局恣意的に見てるだけなんじゃねって気がするし
英語や中国語ヒンディー語スペイン語とかの他の言語で賢いの？どーなの？って尺度では体感的には分からない
実際は何某かのスコアを使って定量的な性能評価をしてます、なんだろうけど
どこまで信用できるんですかね
賢い賢くないってそのスコアで測れるんですかね
AIっていう非常に複雑な対象を、何々スコアっていう単純なものさしで本当に測れているのか？
人間だってペーパーテストの点数や知能テストで「賢さ」が分かるかっていうとそうではないじゃん
いまだに地頭なんていうよーわからん概念を信仰してたりするじゃない、人間はね
と、いうふうなことがAIにも言えるんじゃないのと思う
LLMが競い合う折れ線グラフみたいなやつも、あれを出して、○○が××を上回りました、って主張するけど本当にそうなのかね？
歌川広重並に疑わしいよね
新しく引っ越す街が、なんというかとても奥様向けというか
お花屋さんやらパン屋さんやらケーキ屋さんやらお菓子屋さんみたいな
そういう街だったんだけど
そういう「女子女子した街」の尺度って何かな？と思って考えてみて、「バレエ教室の数では？」という結論に至ったので調べた
渋谷区 16件
新宿区 13件
北区 9件
練馬区 9件
板橋区 8件
葛飾区 8件
江戸川区 8件
文京区 7件
大田区 7件
豊島区 7件
中央区 5件
台東区 4件
江東区 4件
中野区 4件
墨田区 6件
品川区 2件
足立区 3件
千代田区 1件
荒川区 0件
NAVITIME調べ
これを、人口当たりに直す
渋谷区 6.56件
港区 4.61件
目黒区 3.82件
新宿区 3.72件
中央区 2.96件
北区 2.53件
豊島区 2.32件
墨田区 2.21件
台東区 1.89件
葛飾区 1.77件
千代田区 1.50件
板橋区 1.37件
中野区 1.16件
江戸川区 1.15件
大田区 0.94件
江東区 0.76件
品川区 0.47件
足立区 0.43件
荒川区 0.00件
なんかそうだねって感じ
どうしてこうなった？ディープラーニングの魔法は、それがただ機能するということであり、あらゆる場面で否定的な意見にもかかわらず、その傾向線は驚くほど一貫している。
https://situational-awareness.ai/wp-content/uploads/2024/06/sora_scaling-1024x383.png
効果的な計算のOOMが増えるごとに、モデルは予測通り、確実に良くなっていく。OOMを数えることができれば、能力の向上を（大まかに、定性的に）推定することができる。そうやって、先見の明のある数人がGPT-4の到来を予見したのだ。
GPT-2からGPT-4までの4年間の進歩を、スケールアップの3つのカテゴリーに分解することができる：
1. コンピュート：計算：これらのモデルを訓練するために、より大きなコンピューターを使うようになった。
2.アルゴリズムの効率化：アルゴリズムの進歩には継続的な傾向がある。これらの多くは「コンピュート・マルチプライヤ」として機能し、有効なコンピュート量の増加という統一された尺度に乗せることができます。
3.「趣味のない」利益：デフォルトでは、モデルは多くの素晴らしい生の能力を学習しますが、あらゆる種類の間抜けな方法で足かせとなり、実用的な価値が制限されます。人間のフィードバックからの強化学習（RLHF）、思考の連鎖（CoT）、ツール、足場などの単純なアルゴリズムの改善により、潜在的な能力を大きく引き出すことができる。
これらの軸に沿って、改善の「OOMを数える」ことができる。つまり、有効計算量の単位でそれぞれのスケールアップをトレースするのだ。3倍は0.5OOM、10倍は1OOM、30倍は1.5OOM、100倍は2OOMといった具合だ。2023年から2027年まで、GPT-4の上に何を期待すべきかを見ることもできる。
ひとつひとつ見ていくが、OOMの数を急速に増やしていることは明らかだ。データの壁には逆風が吹いている可能性があり、それについては後述するが、全体的には、2027年までにGPT-4の上に、GPT-2からGPT-4規模のジャンプがもう1回起こると予想される。
まず、最近の進歩の原動力として最もよく議論されている、モデルへの（大量の）コンピュート投入について説明します。
多くの人は、これは単にムーアの法則によるものだと考えている。しかし、ムーアの法則が全盛期を迎えていた昔でさえ、その進歩は比較的緩やかなものでした。しかし、ムーアの法則が全盛期だった昔でさえ、10年で1～1.5OOMと、比較的ゆっくりとしたスピードだった。(かつては1つのモデルに100万ドルを費やすことさえ、誰も考えもしないことだった。）
| モデル | 推定コンピュート | 成長率 |
|---|---|---|
| GPT-2 (2019) | ~4e21 FLOP | |
| GPT-3 (2020) | ~3e23 FLOP + | ~2 OOMs |
| GPT-4 (2023) | 8e24～4e25 FLOP + | ~1.5～2 OOMs |
エポックAI（AIトレンドの優れた分析で広く尊敬されている情報源）の公開推定値を使用して、2019年から2023年までのコンピュートスケールアップを追跡することができます。GPT-2からGPT-3へのスケールアップは迅速で、小規模な実験から大規模な言語モデルを訓練するためにデータセンター全体を使用するまでにスケールアップし、コンピュートのオーバーハングが大きくなりました。GPT-3からGPT-4へのスケールアップでは、次のモデルのためにまったく新しい（はるかに大きな）クラスタを構築しなければならないという、最新の体制に移行しました。それでも劇的な成長は続いています。エポックAIの試算によると、GPT-4のトレーニングでは、GPT-2の3,000倍から10,000倍の計算量を使用しています。
大雑把に言えば、これは長期的なトレンドの継続に過ぎない。過去10年半の間、主に投資（およびGPUやTPUの形でAIワークロードに特化したチップ）の幅広いスケールアップのため、フロンティアAIシステムに使用されるトレーニング計算量は、およそ〜0.5OOM/年で成長してきた。
https://situational-awareness.ai/wp-content/uploads/2024/06/compute_long_run_trend-1024x968.png
GPT-2からGPT-3への1年間のスケールアップは異例のオーバーハングであったが、長期的なトレンドが続くことは間違いない。SF-rumor-millは、巨額のGPU受注の劇的な話で一杯だ。その投資は並大抵のものではないが、動き始めている。
この分析によれば、2027年末までにさらに2OOMsのコンピュート（数十億ドル規模のクラスター）が実現する可能性は非常に高いと思われる。さらに＋3OOMsのコンピュート（1,000億ドル規模以上）に近いクラスターも可能性がありそうだ（マイクロソフト／OpenAIで計画中と噂されている）。
https://situational-awareness.ai/wp-content/uploads/2024/06/stacked_compute-1024x866.png
続き I.GPT-4からAGIへ：OOMを数える(5) https://anond.hatelabo.jp/20240605205449
