1bit(2^1値表現)と2bit(2^2値表現=4値表現)の間、なので1.58bit(2^1.58値表現=3値表現)というだけだろう。
1.58bitllmのことを指してるんなら、学習パラメータの量子化があそこまで進んだというだけ。
前はfp16(16bit)だったんだからな。進んだよ。これからはfp8(8bit)がメインだっけ？
Permalink | 記事への反応(0) | 15:36
ツイートシェア
＞操作の仕方が分からないんじゃなくて概念が分からない 俺も1.58bitの概念がわからんし もうダメかもしらん
1bit(2^1値表現)と2bit(2^2値表現=2値表現)の間、なので1.58bit(2^1.58値表現=3値表現)というだけだろう。 1.58bitllmのことを指してるんなら、学習パラメータの量子化があそこまで進んだというだ...
11
