■諸々遊ぶ用GPUたち個人的まとめ

はじめに

ゲーム用ではなく計算用途(HashCat、SD/NAI、llama.cpp etc…)のまとめ

Linux(もっと言えばArchLinux)で利用する(=できるスキルがある)ことを想定、購入手段は最低限AmazonとヤフオクとAliExpressが使えるものとする

増田の仕様用途はllama.cppがメインなのでそれにフォーカス。

参考資料：llama.cppにおけるVRAM必要量参考(実体験に基づく)

P104-100

• GTX1070相当?
• VRAM 8GB
• 持ってる
• 7B q4_0 25ms/tok

【メリット】

• とにかく馬鹿みたいに安い。出来合いのマイニングリグを買ってばらせば1枚当たり3000円とか

【デメリット】

• 入手難易度が若干高い(ヤフオクが最安のため)
• 8GB化が必要
• Pascalなので若干アーキテクチャが古く、速度的に不利

Arc A380

• VRAM 6GB
• 持ってる
• 7B q4_0 200ms/tok

【メリット】

• 無し

【デメリット】

• 全部。計算用途で買うな

CMP 30HX

• GTX1660相当
• VRAM 6GB
• 持ってない
• 7B q4_0 25ms/tok?(同規模のGTX1660の速度から推測)

【メリット】

• 割合安い(AliExpressで9.5k円とか)
• 短い(小さいケースに突っ込める)
• 比較的低消費電力(とはいえ8pin x 1)

【デメリット】

• VRAMが6GBしかないので実質7B専用
• 16xx系ベースなのでSDに流用しづらい(FP16が利用不可)

CMP 40HX

• RTX2070相当
• VRAM 8GB
• 今度買う
• 速度は未知数(おそらく7B q4_0で15ms/tok～20ms/tokぐらい？)

【メリット】

• これも割合安い(AliExpressで15k円とか)
• VRAM 8GBある
• アーキテクチャが新しい

【デメリット】

• 悪名高き2000番台のGDDR6(しかもメモコンに異常な負荷がかかるマイニング上がり)なのでXO病相当のを掴まされる可能性

Permalink | 記事への反応(0) | 10:49

ツイートシェア