2024-06-14

anond:20240613235925

推論コストの話なので分かれてます

で、実際どうなの?

記事への反応 -
  • ???「AIは電力の消費がすごいんだぞ!!画像生成1回でスマホが522回充電できるんだ!」 (これはシンプルデマで実際は1000枚、最大消費時で計算してるのはおいといて) ぼく(何時...

    • 推論と学習は分けて考えましょう

      • 推論コストの話なので分かれてます で、実際どうなの?

        • 学習しないといけないものを使った推論のコストが安いから、推論は許して欲しいってことなら、この先一生新しいモデルを訓練できないんじゃない? 正当な反論としては、推論がコス...

          • もう一個のトラバはぼくじゃないから勘違いしないでね 学習しないといけないものを使った推論のコストが安いから、推論は許して欲しいってことなら、この先一生新しいモデルを訓...

            • 推論と学習の区別がついてないのかなって思ってた。ごめんね。 一枚の画像生成にかかった電力を計算したいなら、モデルの訓練にかかった電力を、そのモデルを使って推論した回数で...

              • AIの推論の前段階に必要なエネルギーの話、まず板タブを作るために凄まじいコストとリソースが掛かってて・・・みたいな話だと分かってる? いやまぁあなたのスタンスはよく分かっ...

                • たしかに板タブ液タブ自体の製造コストは考えてなかったな。なるほど。。。 PCとモニタは共通部品として、比較する点はグラボとタブレットのコスト差か。このあたりはその時々の資...

                  • 板タブもそうだけど、AIだってモデルを作ったけど誰も使わないなんてことはなくて、何かしらに利用されていくじゃない(いずれも、研究開発費や不良品などの破棄については考えない...

                    • まぁそりゃ実行環境を整えるためのリソースを度外視できるなら、推論一回で出せたほうが電力消費は安いでしょうさ。そこに異論はないよ。ないけれど、だからといって環境整って以...

                      • いいのみっけた。 https://note.com/martins_day/n/ne8e67981c74b#39CCC4A4-7300-4DC4-927E-F9D64B90E4C4 この延長線で液タブ+PCの消費電力、あと基盤モデルの学習コストは実は計算できそう。

記事への反応(ブックマークコメント)

ログイン ユーザー登録
ようこそ ゲスト さん