  |
はてなキーワード: トークンとは
| モデル名 | リリース日 | コンテキストウィンドウ | 入力料金(100万トークン) | 出力料金(100万トークン) | MMLUスコア |
| GPT-3.5-Turbo | 2022年3月 | 16K | $0.5 (約¥74) | $1.5 (約¥220) | 70% |
| GPT-4 | 2023年3月 | 32K | $30 (約¥4,400) | $60 (約¥8,800) | 86.4% |
| GPT-4 Turbo | 2023年11月 | 128K | $10 (約¥1,500) | $30 (約¥4,400) | 70% |
| GPT-4 omni | 2024年5月 | 128K | $5 (約¥735) | $15 (約¥2,205) | 88.7% |
| GPT-4o mini | 2024年7月 | 128K | $0.15 (約¥22) | $0.60 (約¥88) | 82% |
Multi-task Language Understanding on MMLU
https://paperswithcode.com/sota/multi-task-language-understanding-on-mmlu
AI、というよりはChatGPTのようなデカくて応用力が期待されるLLMに向いてない。
LLMはあくまでも、データセットから学んだ情報を元に「与えられたテキストにはどんな言葉が続く可能性が高いか」で動く。
LLMは人間ではないので、自然言語をトークンという値に変換してから学ぶ。この場合、我々にとっての数字の1はLLMにとって数字の1ではなくなる。要は、1を1として認識してない。
だからChatGPT単体では正しくカウントできないことがあるし、計算や生年月日の他、細かい部分も間違うことがある。ただ確率に従っているだけで、自分が何を書いてるか分かってないから。
脳の中に色んな概念が重なり合っていて、その中から一つの可能性を選び続けているだけだと考えればいい。
この仕様で常に正しい情報を言うってことは、めちゃくちゃ学習して「この流れの時は99％の確率でこのトークンが続く！」みたいな状態にならないといけない。（Top PとTemperatureの調整で似たような状態は作れるが）
でもその状態になると、応用力がなくなるんだよ。例えばリンカーンについてめっちゃ学習したら、生成時にリンカーンという単語が入ってるとWikipediaを先頭からコピペしたような文章ばかり吐くようになる。しかもここで、間違って学習してたら目も当てられん。
画像生成AIのプロンプトに「モナリザ」と入ってたら、どう頑張っても額付きの「あのモナリザ」が生成される、みたいな状態だ。
それは従来のチャットボットの仕事。本来ChatGPTに求めることじゃないんだよ。
だから何かに特化したAIが求められる。LLMには教えてと聞くのではなく、パターン処理能力を活かす方向で使えといわれる。RAGとか。
要件満たすため・社内政治的な理由でピンポイントで別のところ使う＋併用はあっても、
ゼロトラストセキュリティは、「信頼せず、常に検証する」という原則に基づいています。主な特徴として、常時の認証と承認、最小権限アクセス、アクセスの継続的な監視があります。以下の技術やソリューションを組み合わせることで、包括的なゼロトラストセキュリティモデルを構築できます。
1. Microsoft Entra ID（旧Azure AD）：
3. 多要素認証（MFA）：
1. 暗号化：
各サービスのAPI使うためにいちいちアクセストークン取得して、取得したデータ整形して、別のサービスに引き渡して、ってコードを普通はサクッと書けるの？
コードも書くしローコードツールも使うけど、はっきり言ってある程度の規模とか複雑性が不要ならコード書くよりノーコードツールでサクッと作ってサクッと使い捨てるよ。
でも、データの整合性とか厳密性が求められるところにノーコード使おうとしたら地獄だよ。
そんなバカなことやろうとしてる人がいたら是非止めてあげてね。
コード書ける人がノーコードツールに文句言うのってSlackがTeamsに向かって吠えるのと同じぐらい無意味だからそんな無駄なことしてる暇あったら好きなだけ有意義なコード書いとけば良いのに。
ローコードツールってのは、コード書くまでもない小粒なタスクを「そんなしょうもないものはローコードツールで自分で作れよ」って押しつけて有意義なコード書く時間を確保するためのものだよ。
オフィスワーカーならそうはならなんやろっての多すぎた。なんかもう IT屋エアプとかそういう次元じゃないんだよな
Azure使っているところないよAI使っているところないよAPIキーやOAuthトークンは全部同じだよ、これらの社会人は別に闇ではない
(話を聞けば『そうなんだ』でおわるだろうし、大したことでは無い)
一度も働いたことがない、オフィスワークしたことがないなら、特におかしくはない。やったことないのは知らんのが普通だ
しかし、まさかのオフィスワーカーの経験有り、何だったら元がつくとしてもIT屋さんに分類される何かで、それが認識出来ないだったりする
何度考えても何故なのかはわからない。実際に働いてわからないのだから、どうしたら認識ができるようになるのかわからない。謎である
これ一度も働いたことがなくても、自営業しかしたことなくても、ドキュメンタリーやフィクションやお外で得た情報で、
しかも、まさかのオフィスワーカーの経験有り、何だったら元がつくとしてもIT屋さんに分類される何かで、それが認識出来ないだったりする
何度考えても何故なのかはわからない。実際に働いてわからないのだから、どうしたら認識ができるようになるのかわからない。謎である
例えば、『俺の要望聞いてくれないから、○○○○の技術者は無能』とかそういうやつ。通常それIT屋さん関係ないやつです
関係があるとしたら、Tech Startup で規模が小さくて創業者がまだ開発者として仕事してるとかそういうのに限定される
改善要求に対して、どれを採用するか・どのような順序で対応するかの決定を担うのは、
企画部門や運営部門やアカウントマネージャー(営業)などであって、通常IT屋さんじゃないです
別にこれはITプロジェクトに限ったことではないです。多くのプロジェクトは様々な部門を横断して行われる
一度も働いたことがない、フランチャイズではない小規模な個人店で店長と従業員しかいところで働いたことしかないなら、特におかしくはない。
しかし、まさかの役割分担がある規模感でオフィスワーカーの経験有り、何だったら元がつくとしてもIT屋さんに分類される何かで、
何度考えても何故なのかはわからない。実際に働いてわからないのだから、どうしたら認識ができるようになるのかわからない。謎である
もちろん高度なプロジェクトマネージメントのお話とかじゃないです。それ以前の『そうはならんやろ』って話
一度も働いたことがなくても、自分が達成したいことに取り組むとかあると思うのよ。例えば、お小遣いを貯金するとかさ
最低限これが認識出来ていれば、問題があった時に、どこに責任があるのかわかりますよね？
しかし、まさかのオフィスワーカーの経験有り、何だったら元がつくとしてもIT屋さんに分類される何かで、それが認識出来ないだったりする
何度考えても何故なのかはわからない。実際に働いてわからないのだから、どうしたら認識ができるようになるのかわからない。謎である
これ一度も働いたことがなくても、自営業しかしたことなくても、ドキュメンタリーやフィクションやお外で得た情報で、
現場を任されている責任者に採用に関する一切が任されることもあるけど、日本は解雇規制が厳しく、一度直接雇用したらなかなか首に出来ない
なので、組織規模が大きくなると、カルチャーマッチングだの、長期的な人材の育成・活用ガーだので、人事は通常しゃしゃりでてくる
そういうの無視しても、採用は事業計画や組織戦略に直結する重要な経営活動だし、人事部は採用計画の策定から実行に至るまで、
経営目標の達成に貢献する人材を確保する責任を担う云々ってことに一般的にはなっている
現場の知識はないので、採用取り継ぎ役だけに徹しとこ・・・としてる場合も、通常どこの求人メディアに広告を打つかなどを決めているのは人事です
であれば、求職者はどういう戦略取るのが良さそうかなんとなくわかりそうな気もするのですが、気のせいですかね？
しかし、まさかの人事が採用を主導する規模感でオフィスワーカーの経験有り、何だったら元がつくとしてもIT屋さんに分類される何かで、
何度考えても何故なのかはわからない。実際に働いてわからないのだから、どうしたら認識ができるようになるのかわからない。謎である
『インターン制度も研修も無いよ』って会社もフツーにあると思う。これは別に何もおかしくない
でも、ドキュメンタリーやフィクションやお外で得た情報で、そういうのがある会社もあるんだなっていう認識はあると思います
ところで、IT企業研修センターや類するメニュー組んで実施してくれる会社、絶滅した認識ないです
何度考えても何故なのかはわからない。実際に働いてわからないのだから、どうしたら認識ができるようになるのかわからない。謎である
何度考えても何故なのかはわからない。実際に働いてわからないのだから、どうしたら認識ができるようになるのかわからない。謎である
anond:20240626103929 anond:20240625191650 anond:20240626145640
ちなみになんだけど、採用とプロジェクトとプロジェクトオーナーに問題があるってならないのは何故？ あとインターンも研修も無ければ、中途採用で何ができるかも問われないのは何故？
↓
↓
その発想が下記に繋がるわけですね
増田以外ではやらない方がいいぞ
↓
そうはならんでしょ(創作)の他に、学歴コンプ・マウント合戦のあれこれがあるのだということを理解した
マジでしょーもない
今後数年間の野心的なアンホブリングはどのようなものになるのでしょうか？私が考えるに、3つの重要な要素がある：
GPT-4は、多くの人の仕事の大部分をこなせるだけの生の賢さを持っているが、それは5分前に現れたばかりの賢い新入社員のようなものだ：関連するコンテキストを持っておらず、会社のドキュメントやSlackの履歴を読んだり、チームのメンバーと会話したり、会社内部のコードベースを理解するのに時間を費やしたりしていない。賢い新入社員は、着任して5分後にはそれほど役に立たないが、1ヶ月後にはかなり役に立つ！例えば、非常に長いコンテクストを通じて、新しい人間の同僚を雇うようにモデルを「オンボード」することは可能なはずだ。これだけでも、大きなアンロックになるだろう。
2.テスト時間の計算オーバーハング（より長いホライズンの問題に対する推論／エラー訂正／システムII）
今のところ、モデルは基本的に短いタスクしかこなせない。しかし、これでは非常に限界がある。5分どころか、数時間、数日、数週間、数ヶ月かかるのだ。
難しい問題について5分間しか考えることができない科学者は、科学的なブレークスルーを起こすことはできない。ソフトウェア・エンジニアは、より大きな仕事を与えられ、計画を立て、コードベースや技術ツールの関連部分を理解し、さまざまなモジュールを書いて段階的にテストし、エラーをデバッグし、可能性のある解決策を検索し、最終的には数週間の仕事の集大成である大規模なプル・リクエストを提出する。などなど。
要するに、テスト時間の計算オーバーハングが大きいのだ。GPT-4の各トークンは、問題を考えるときの内部モノローグの言葉だと考えてください。各GPT-4トークンは非常に賢いのですが、現在のところ、思考の連鎖のために～数百トークンのオーダーしか効果的に使うことができません（あたかも問題やプロジェクトに数分しか内部独白／思考を費やせないかのように）。
もし数百万トークンを使って、本当に難しい問題や大きなプロジェクトについて考え、取り組むことができるとしたらどうだろう？
| トークンの数 | 私が何かに取り組むのに相当する時間... | |
| 100s | 数分 | ChatGPT (私たちはここにいる) |
| 1000s | 30分 | +1 OOMsテスト時間計算 |
| 10,000 回 | 半日 | +2 OOMs |
| 100,000ドル | 1週間 | +3 OOMs |
| 数百万回 | 複数月 | +4 OOMs |
人間が〜100トークン/分で考え、40時間/週働くと仮定して、「モデルが考える時間」をトークンで換算すると、与えられた問題/プロジェクトにおける人間の時間になる。
仮に「トークンあたり」の知能が同じだったとしても、頭のいい人が問題に費やす時間が数分なのか数ヶ月なのかの違いになる。あなたのことは知らないが、私が数ヶ月でできることと数分でできることは、はるかに、はるかに、はるかに多い。もしモデルに「数分ではなく、数カ月に相当する時間、何かを考え、取り組むことができる」という能力を与えることができれば、その能力は飛躍的に向上するだろう。ここには膨大なオーバーハングがある。
今のところ、モデルにはまだこれができない。最近のロング・コンテキストの進歩をもってしても、このロング・コンテキストのほとんどはトークンの消費にしか機能せず、トークンの生産には機能しない。しばらくすると、このモデルはレールから外れたり、行き詰まったりする。しばらくの間、離れて単独で問題やプロジェクトに取り組むことはまだできない。
しかし、テスト時間の計算を解除することは、単に比較的小さな「ホブリングしない」アルゴリズムの勝利の問題かもしれない。おそらく、少量のRLは、モデルがエラー訂正（「うーん、これは正しくないようだ、再確認してみよう」）を学習したり、計画を立てたり、可能性のある解を探索したりするのに役立つだろう。ある意味、モデルはすでに生の能力のほとんどを持っており、それをまとめるために、さらにいくつかのスキルを学習する必要があるだけなのだ。
要するに、私たちはモデルに、困難で見通しの長いプロジェクトを推論させるシステムIIのアウターループのようなものを教えればいいのだ。
この外側のループを教えることに成功すれば、2、3段落の短いチャットボットの答えの代わりに、モデルが問題を考え、ツールを使い、異なるアプローチを試し、研究を行い、仕事を修正し、他の人と調整し、大きなプロジェクトを一人で完成させるような、何百万もの言葉のストリーム（あなたが読むよりも早く入ってくる）を想像してみてほしい。
続き I.GPT-4からAGIへ：OOMを数える(9) https://anond.hatelabo.jp/20240605210357
最後に、定量化するのが最も難しいが、それに劣らず重要な改善のカテゴリーを紹介しよう。
難しい数学の問題を解くように言われたとき、頭に浮かんだことを即座に答えなければならないとしたらどうだろう。最も単純な問題を除いて、苦労するのは明らかだろう。しかしつい最近まで、LLMにはそうやって数学の問題を解かせていた。その代わり、私たちのほとんどはスクラッチパッドで段階的に問題を解いていき、その方法ではるかに難しい問題を解くことができる。「思考の連鎖」プロンプトは、LLMのそれを解き放った。生の能力は優れているにもかかわらず、明らかな足かせがあるため、LLMは数学が苦手なのだ。
私たちはここ数年で、モデルの「足かせを外す」ことに大きな進歩を遂げました。これは単に優れたベースモデルをトレーニングするだけでなく、アルゴリズムの改良によってモデルの能力を引き出すものです：
足場作り。CoT++について考えてみよう：ただ問題を解くようモデルに求めるのではなく、あるモデルに攻撃計画を立てさせ、別のモデルに可能性のある解決策をたくさん提案させ、別のモデルにそれを批評させる、といった具合だ。例えば、HumanEval（コーディング問題）では、単純な足場作りによってGPT-3.5が足場なしのGPT-4を上回った。SWE-Bench（実世界のソフトウェアエンジニアリングのタスクを解くベンチマーク）では、GPT-4は~2%しか正しく解くことができませんが、Devinのエージェントの足場があれば14-23%に跳ね上がります。(後ほど詳しく説明するが、エージェントのアンロックはまだ初期段階に過ぎない。)
ツール：もし人間が電卓やコンピュータを使うことを許されなかったらと想像してみてほしい。まだ始まったばかりだが、ChatGPTはウェブブラウザを使ったり、コードを実行したりできるようになった。
エポックAIによる研究によると足場作りやツールの使用など、これらのテクニックのいくつかを調査したところ、このようなテクニックは多くのベンチマークで通常5～30倍の効果的な計算量の向上をもたらすことがわかった。METR（モデルを評価する組織）も同様に、同じGPT-4ベースモデルからのアンホブリングによって、エージェントタスクのセットで非常に大きなパフォーマンスの向上を発見しました。
https://situational-awareness.ai/wp-content/uploads/2024/06/metr_gains_over_time-1024x597.png
これらをコンピュートとアルゴリズムの効率で統一した実効的なコンピュート規模に当てはめることは困難ですが、少なくともコンピュート規模の拡大やアルゴリズムの効率とほぼ同規模の大きな進歩であることは明らかです。(また、アルゴリズムの進歩が中心的な役割を担っていることも浮き彫りになっています。0.5OOM/年の計算効率は、すでに重要なものではありますが、ストーリーの一部に過ぎません。）
「アンホブリング」こそが、実際にこれらのモデルが有用になることを可能にしたのであり、今日多くの商業アプリケーションの足かせとなっているものの多くは、この種のさらなる「アンホブリング」の必要性であると私は主張したい。実際、今日のモデルはまだ信じられないほど足かせが多い！例えば
ここでの可能性は非常に大きく、私たちはここで急速に低空飛行の果実を摘んでいる。これは非常に重要です。"GPT-6 ChatGPT "を想像するだけでは完全に間違っています。 GPT-6＋RLHFと比べれば、進歩は段違いだ。2027年までには、チャットボットというより、エージェントのような、同僚のようなものが登場するだろう。
続き I.GPT-4からAGIへ：OOMを数える(8) https://anond.hatelabo.jp/20240605210232
これらすべての重要な変動要因になりうるものがあります。つまり、より多くのスクレイピング・データでより大きな言語モデルをプリ・トレーニングするという素朴なアプローチが、まもなく深刻なボトルネックにぶつかり始める可能性があるということだ。
フロンティア・モデルはすでにインターネットの多くで訓練されている。例えば、Llama 3は15T以上のトークンで学習された。LLMのトレーニングに使用されたインターネットの多くのダンプであるCommon Crawlは、生で100Tトークンを超えるが、その多くはスパムや重複である（例えば、比較的単純な重複排除は30Tトークンにつながり、Llama 3はすでに基本的にすべてのデータを使用していることになる）。さらに、コードのようなより特殊な領域では、トークンの数はまだまだ少ない。例えば、公開されているgithubのリポジトリは、数兆トークンと推定されている。
データを繰り返すことである程度遠くまで行くことができるが、これに関する学術的な研究は、16エポック（16回の繰り返し）の後、リターンは非常に速く減少し、ゼロになることを発見し、繰り返しはそこまでしか得られないことを示唆している。ある時点で、より多くの（効果的な）計算を行ったとしても、データ制約のためにモデルをより良いものにすることは非常に難しくなる。私たちは、言語モデリング-プレトレーニング-パラダイムの波に乗って、スケーリングカーブに乗ってきた。大規模な投資にもかかわらず、私たちは停滞してしまうだろう。すべての研究室が、新しいアルゴリズムの改善や、これを回避するためのアプローチに大規模な研究の賭けに出ていると噂されている。研究者たちは、合成データからセルフプレー、RLアプローチまで、多くの戦略を試していると言われている。業界関係者は非常に強気のようだ：ダリオ・アモデイ（Anthropic社CEO）は最近、ポッドキャストでこう語った：「非常に素朴に考えれば、我々はデータ不足からそれほど遠くない[...]私の推測では、これが障害になることはない[...]。もちろん、これに関するいかなる研究結果も独占的なものであり、最近は公表されていない。
インサイダーが強気であることに加え、サンプル効率をはるかに向上させたモデルをトレーニングする方法（限られたデータからより多くのことを学べるようにするアルゴリズムの改良）を見つけることが可能であるはずだという強い直感的な理由があると思う。あなたや私が、本当に密度の濃い数学の教科書からどのように学ぶかを考えてみてほしい：
モデルをトレーニングする昔の技術は単純で素朴なものだったが、それでうまくいっていた。今、それがより大きな制約となる可能性があるため、すべての研究室が数十億ドルと最も賢い頭脳を投入して、それを解読することを期待すべきだろう。ディープラーニングの一般的なパターンは、細部を正しく理解するためには多くの努力（そして多くの失敗プロジェクト）が必要だが、最終的には明白でシンプルなものが機能するというものだ。過去10年間、ディープラーニングがあらゆる壁をぶち破ってきたことを考えると、ここでも同じようなことが起こるだろう。
さらに、合成データのようなアルゴリズムの賭けの1つを解くことで、モデルを劇的に改善できる可能性もある。直感的なポンプを紹介しよう。Llama 3のような現在のフロンティアモデルは、インターネット上でトレーニングされている。多くのLLMは、本当に質の高いデータ（例えば、難しい科学的問題に取り組む人々の推論チェーン）ではなく、このようながらくたにトレーニング計算の大半を費やしている。もしGPT-4レベルの計算を、完全に極めて質の高いデータに費やすことができたらと想像してみてほしい。
AlphaGo（囲碁で世界チャンピオンを破った最初のAIシステム）を振り返ることは、それが可能だと考えられる何十年も前に、ここでも役に立つ。
LLMのステップ2に相当するものを開発することは、データの壁を乗り越えるための重要な研究課題である（さらに言えば、最終的には人間レベルの知能を超える鍵となるだろう）。
以上のことから、データの制約は、今後数年間のAIの進歩を予測する際に、どちらに転んでも大きな誤差をもたらすと考えられる。LLMはまだインターネットと同じくらい大きな存在かもしれないが、本当にクレイジーなAGIには到達できないだろう）。しかし、私は、研究所がそれを解読し、そうすることでスケーリングカーブが維持されるだけでなく、モデルの能力が飛躍的に向上する可能性があると推測するのは妥当だと思う。
余談だが、このことは、今後数年間は現在よりも研究室間のばらつきが大きくなることを意味する。最近まで、最先端の技術は公表されていたため、基本的に誰もが同じことをやっていた。(レシピが公開されていたため、新参者やオープンソースのプロジェクトはフロンティアと容易に競合できた）。現在では、主要なアルゴリズムのアイデアはますます専有されつつある。今はフロンティアにいるように見えるラボでも、他のラボがブレークスルーを起こして先を急ぐ間に、データの壁にはまってしまうかもしれない。そして、オープンソースは競争するのがより難しくなるだろう。それは確かに物事を面白くするだろう。(そして、ある研究室がそれを解明すれば、そのブレークスルーはAGIへの鍵となり、超知能への鍵となる。）
続き I.GPT-4からAGIへ：OOMを数える(7) https://anond.hatelabo.jp/20240605210017
カスタード味もある。
（追記）
思いのほかトラバブクマエナジーあつまったな。みんなサンキュー。
エナドリのエナジーは液体だからエナジーのタンクに補給するイメージだけど
固形エナジーはもっとこう「ライフ」？とか「トークン」？を得る感じで食いたいんだよなー
あと固形だとピノみたいに人にあげたりできてコミュニケーションにもできるメリットがいいんだよな（ピノは絶対にやらんが）
そのなかでも和の固形エナジーはやっぱエナジーが無くなったときに「かたじけのうござる」って感じで手渡してもらいやすいのがベストだな。
あと拙者がやるなら名前は和の渋み感をだしたいでござるな。「ゑなじゐまんじう」みたいな。
満充電とかけて満充でもいいかもしれんでござる。
井村屋えいようかん https://www.imuraya.co.jp/eiyo-kan/ 「備蓄・保存用に最適な5年間の 長期保存可能なロングライフ商品です。 万が一の災害・避難時に手軽にカロリー補給が可能です」カフェイン入ってるほうがenergizeできるかな
えいようかんとかまんまエナジーでござるな。もしそこに覚醒の要素が加わったら・・・「ウェー－イようかん」になるのかな・・・。違う覚醒してそうでござるな。
エナジー兵糧丸
兵糧丸の感じもええでござるな。もらったときのかたじけなさがすごいでござる。
まず能力
Necrodominance (B)(B)(B)
あなたの終了ステップの開始時に、あなたは好きな数のライフを支払ってもよい。そうした場合あなたは支払ったライフの数のカードを引く。
パッっと見た感じあの《ネクロポーテンス/Necropotence》！？WotC気が狂ったか？と思うかもしれないが、ネクロより明確に弱い点が複数ある。
書いてあるそのまま。ネクロディスクのような黒コントロールのドローエンジンとして使用したい場合は影響を受けるだろう
今かなり流行ってる《オークの弓使い/Orcish Bowmasters》の能力が誘発する点が厳しい。
個人的に最も大きな弱体化と思われる点。
Necrodominance は終了ステップの開始時にしか能力を起動することができず、そこまでに除去されてしまうとドローを行うことができない。
---
黒コントロールデッキには強力なドローソースになりそうだけど、
コンボデッキに入るかというと、電位式リレーと枠を争うカードになるかどうか？ぐらいかなとは思う。
個人的にはかなり強いカードだが、現時点では下の環境を壊すほどではないだろうという印象。
併せてLEDを使うコンボデッキを1枚で完封できるカードが刷られる見込みなので、弱体化ネクロぐらいええやろって感じなんだろうね。
消費が増えてもキャッシュレス決済サービスが数％をかっさらう。事業者側にとっては増税みたいなもんだ。
だからユニオンみたいに断固現金って手段を取る手もある。ただ、結局イカツい現金識別マシーンのメンテ代はかかる。
飲食店だったらここらへん工夫できる。例えば全品100円にする。量はちょびっとで物価変動に合わせて調整する。払う方も釣り銭も楽なので現金識別マシーンはいらない。
これを既に実装したのが、形式化した「せんべろ」（千円でベロベロに酔える。ここでは、1000円で酒やツマミと交換できるトークンを数個貰える形式を指す）。ほぼ赤字の目玉メニューと原価安いメニューを混在させたり、ツマミにトークン1.5個必要にしたり、細かい調整が効く。客はサッと1000円飲んで二軒目に行くので回転もまあまあ早い。
この手順は、Latent Diffusion Modelsを使用してテキストから画像を生成するための一般的なアプローチを示していますが、いくつかの誤りや欠落がある可能性があります。以下にいくつかの修正と補足を示します。
1. **ライブラリのインポート**: `diffusers` ライブラリは存在しないため、代わりに `torch`、`transformers`、および `diffusion` ライブラリを使用する必要があります。
```python
import torch
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
from diffusion import LatentDiffusion
```
2. **環境のセットアップ**: 事前学習済みモデルとトークナイザーを使用する前に、必要なモデルとトークナイザーをダウンロードする必要があります。
```python
model = AutoModelForSeq2SeqLM.from_pretrained("nlptown/bert-base-multilingual-uncased-finetuned-xnli")
tokenizer = AutoTokenizer.from_pretrained("nlptown/bert-base-multilingual-uncased-finetuned-xnli")
```
3. **テキストプロンプトの前処理**: `encode_plus` メソッドを使用して、入力をトークン化し、テンソルに変換します。
```python
inputs = tokenizer.encode_plus(prompt, return_tensors="pt")
```
4. **Latent Diffusion モデルの定義**: `diffusion` ライブラリから `LatentDiffusion` をインスタンス化する際に、モデルとトークナイザーを渡します。
```python
ldm = LatentDiffusion(model=model, tokenizer=tokenizer)
```
5. **画像の生成**: `generate` メソッドを使用して画像を生成します。
```python
image = ldm.generate(inputs)
```
6. **生成された画像の可視化**: 画像を表示するために適切なライブラリを使用します。例えば、Matplotlibを使用して画像を表示できます。
```python
import matplotlib.pyplot as plt
plt.show()
```
