  |
はてなキーワード: TENSORとは
ワイ：
x = torch.tensor([
[1.0,2.0,3.0],
[4.0,5.0,6.0]
])
Claude3.5 Sonnet：
はい、channel-wise 正規化（チャネル方向の正規化）を行います。この場合、最終次元（dim=-1）がチャネルとなります。channel-wise 正規化では、各チャネルの平均を0、分散を1に正規化します。
import torch x = torch.tensor([ [1.0, 2.0, 3.0], [4.0, 5.0, 6.0] ]) # チャネル方向（最終次元）の平均と標準偏差を計算 mean = x.mean(dim=-1, keepdim=True) std = x.std(dim=-1, keepdim=True) # Epsilon を追加して、ゼロ除算を防ぐ epsilon = 1e-5 # 正規化を実行 x_normalized = (x - mean) / (std + epsilon) print("元のテンソル:") print(x) print("\n正規化後のテンソル:") print(x_normalized)元のテンソル: tensor([[1., 2., 3.], [4., 5., 6.]]) 正規化後のテンソル: tensor([[-1.2247, 0.0000, 1.2247], [-1.2247, 0.0000, 1.2247]])
ワイ：
x = torch.tensor([
[1.0,2.0,3.0],
[4.0,5.0,6.0]
])
ChatGPT o1-preview：
import torch x = torch.tensor([ [1.0, 2.0, 3.0], [4.0, 5.0, 6.0] ]) # Compute mean and standard deviation along the batch dimension (dim=0) mean = x.mean(dim=0, keepdim=True) std = x.std(dim=0, unbiased=False, keepdim=True) # Perform channel-wise normalization x_normalized = (x - mean) / std print("Normalized Tensor:\n", x_normalized)Output:
Normalized Tensor: tensor([[-1., -1., -1.], [ 1., 1., 1.]])Explanation:
Compute Mean:
The mean is computed along the batch dimension (dim=0), treating each column as a channel.
mean = x.mean(dim=0, keepdim=True)This results in mean = [[2.5, 3.5, 4.5]].
Compute Standard Deviation:
The standard deviation is computed along the same dimension with unbiased=False to match the sample size.
std = x.std(dim=0, unbiased=False, keepdim=True)This results in std = [[1.5, 1.5, 1.5]].
Normalize:
Subtract the mean and divide by the standard deviation for each channel.
x_normalized = (x - mean) / stdThis yields the normalized tensor with standardized channels.
Note: Setting keepdim=True ensures that the mean and standard deviation tensors have the same number of dimensions as x, which is necessary for broadcasting during subtraction and division.
ChatGPTの方が正しいよね？
Nintendo Switchの次世代機の話があったが、任天堂がこだわる「新しい遊び」の部分は正直想像がつかないので楽しみに待つことにして、性能的な部分での予想をすると、一番重要なのはプロセッサをどうするかという点だ。
現在のNintendo Switchで使われているのはNVIDIAが設計したTegra X1というプロセッサのモディファイ版だと言われていて、当初は20nm、2019年ごろに登場した省電力版では16nmプロセスが使われていると言われている。
ARMコアにNVIDIAのGPUを組み合わせたSoCなので、それぞれ年数分の世代の進化に合わせたプロセッサがあればそれを使えばいいだけなのだが、問題はNVIDIAがモバイル向けのSoCをほとんど見捨てていることだ。
Tegra X1後継のSoCはXavier、Orinときて現在はThorという世代が発表されているが、いずれもモバイルやゲーム機向けではなく組み込み・ロボティクス向けのJetsonか車載向けのNVIDIA DRIVEとしてパッケージされている。
Tegraでやったように任天堂専用モディファイとしてプロセッサだけを切り出してSwitch 2に内蔵する可能性もなくはないが、いずれにしてもOrinやThorはバッテリ駆動するには消費電力が高めであるように思われるので、かなりクロックを抑える必要があると思われる。しかしOrinのベンチマークスコアはSwitchに搭載されたTegraの8倍程度はあるようなので、クロックを抑えたとしてもかなりの性能のジャンプアップは見込めるとは思われる。
とはいえNVIDIAのプロセッサの供給状況は不透明なので、任天堂は別の手段を考えているかもしれない。
ひとつは汎用のARMプロセッサとGPUを組み合わせたSoCを使う、つまりSnapdragonやKirinやDimensityを採用する可能性。
スマホ用のプロセッサといえば他にはサムスンのExynosもあるのだが、サムスン製品以外に採用された例がないので候補から外す――しかし実は変化球がある。GoogleのTensorはExynosのモディファイ版なのだ。任天堂とGoogleが提携してTensorを調達して載せる可能性があったりはしないだろうか？
いや、その変化球があるならば、もっと変化球として、アップルのApple Aプロセッサを採用したらいいのではないか？省電力性能もGPU性能も充分だし、任天堂は（故岩田社長が）アップル大好きだったのだから、提携するならアップルのほうが面白いではないか。なんならサムスンファブ製よりTSMCファブ製のほうが熊本方面が喜ぶかもしれない。
そこまで考えて、もしかしたら、任天堂がSwitch 2専用プロセッサを設計して搭載してくる可能性があるんじゃないかと思ってしまった。一億台売れる端末のプロセッサを、外注するより自社で設計したほうがいい、と任天堂なら考えたりはしないだろうか。
https://www.nintendo.co.jp/jobs/keyword/59.html このページなどでも語られているが、TegraのモディファイをするにあたってNVIDIAとはかなり突っ込んだ議論もしているようなので、現在ではSoC全体のデザインができるようになっていたら面白いと思う。
[NVIDIA、1パッケージに2ダイの新型GPU「Blackwell」。AI性能は学習4倍、推論30倍に - PC Watch](https://pc.watch.impress.co.jp/docs/news/1577301.html)
発表されたBlackwell(製品名はNVIDIA B200 Tensor Core GPU)は巨大なダイ2つが1パッケージに封入されており、2つのダイは10TB/sのNV-HBIで接続され、1つのGPUとして動作する。
(中略)
2基のB200と1基のNVIDIA Arm CPU(Grace)を1モジュールにした「GB200」も用意。GB200とH100と比較すると、AI学習時の性能が4倍、推論時の性能は30倍になっており、電力効率は25倍も改善するとNVIDIAは説明している。
B200と同時に、2023年のCOMPUTEX 23で発表したGrace Hopperこと「NVIDIA GH200 Superchip」(以下GH200)の後継となる、Grace Blackwellこと「NVIDIA GB200 Superchip」(以下GB200)を発表している。GH200では、Arm CPUのGrace(Neoverse V2 CPU)が1つ、Hopper(H100)が1つを1モジュールとして提供していたが、GB200ではGraceが1つ、Blackwell(B200)が2つを1モジュールとして提供しており、CPUが1つなのは変わらないが、GPUが2つになっている点が大きな強化点となる。だが、NVIDIAによればそうした強化で、GB200の性能はH100と比較してAI学習時には4倍、AI推論時には30倍、電力効率の観点では25倍になっているという。
数年前は、TSP(Tensor Streaming Processor)と呼んでいたが、LPU(language processing unit)と名前を変えた？
数年前のチップをそのまま使い続けているか分からないが、同じならアーキテクチャは4年前のユーチューブを見るか、アスキーあたりの記事にある。
https://youtu.be/UNG70W8mKbA?si=9VFeopAiPAdn08i_
要は、コインパイラで変換が必要。なので提供されているLLMモデルが限られている。
PCIeボードが400万くらいらしいが、SRAMの容量が小さすぎて1ボードでは動かない。
DRAMのレイテンシがSRAMではないので早いのだ、という意見も見られてたが、
1チップのSRAM容量が小さすぎるので、チップチップ間、ボードボード間の通信レイテンシは必ずあるはず。
（数ヶ月前から性能上がっているのは、このあたりのチューニングのはず）
DRAMのレイテンシというが、これも今どきはレイテンシ気にしないように隠蔽するはず。
チームが小さすぎてハード作れなかった可能性もあるが・・・。DMACでチューニングしているか？
ボードにでかいDRAMが載せられるのであれば、そちらの方がボードボード間の通信時間より減るのでは？
GF使ったのは、おそらくAMD設計者が居たからでは。デザインルールどこ破れば性能でるかある程度わかってたとか。1GHzくらいなのは知見なしでやってるとそれくらいで上限くるのはそうだと思う。
チップの世代を更新するかはわからないが、兎にも角にも電力下げて、チップ大量に載せて、チップチップ間の通信時間を下げられるか。
これについて
https://unite4buy.com/ja/cpu/Google-Tensor-G2/
>Google Tensor G2のAntutuベンチマークスコアは約808794ポイント、GeekBenchテストスコアは3315 / 1087、3Dmarkランキングは6398 です。パフォーマンスはMali-G710MPGPUによるものです。
https://unite4buy.com/ja/cpu/Apple-A13-Bionic/
>Apple A13 BionicのAntutuベンチマークスコアは約621163ポイント、GeekBenchテストスコアは3466 / 1333、3Dmarkランキングは7578 です。パフォーマンスはApple 4 core GPUGPUによるものです。
GeekBenchと3Dmarkの2/3でAPPLE A13 BIONICが上という結果
ただAntutuが示す総合性能はTensor G2がだいぶ上(APPLE A14 BIONICより上)、
同ページのゲーミングパフォーマンステストもTensor G2の方が好成績
GeekBenchの結果だけで同程度というのは疑問です
「「認知の性差」議論の複雑な事情」 坂口菊恵 東京大学 2017
https://www.jstage.jst.go.jp/article/sjpr/60/1/60_105/_pdf
さらに，脳梁の太さの性差に疑義が呈された（Bishop & Wahlsten, 1997；Wallentin, 2009）
脳梁の形状や，白質神経線維の接続状態の拡散テンソル画像分析（diffusion tensor imaging: DTI）を用いた脳の左右接続についての研究は現在も行われており，大規模なデータを用いて女性の方が脳梁は太かった（Ardekani, Figarsky, & Sidtis,2013），左右脳の神経接続は女性の方が強かった（Ingalhalikar et al., 2014）という報告がなされている。この差は子どもでは小さいものの，思春期・若年成人期（20 歳前後）に大きくなり，その後再び小さくなっていく。
脳梁に性差は無いとは現時点では言えないみたいだね。あるというのも確定したわけではないみたいなのでその点は訂正しておくが。
「Pixel6は888より弱いから云々」ってコメントを見るとちょっと腹が立つ。
確かにTensorチップの性能はSnapdragon 888よりちょっと劣ってる。
けれど、ハードウェア的には、スマホでやれることのほとんどは負けていないと思うし、
ソフトウェア的には、音声認識機能や画像編集機能などはどのメーカーより勝てていると思う。
つまるところ888を積んでるか積んでないか、じゃなくて何が出来て何ができないか、を見て買うか決めるのが良いと思うんだよな。
……ちなみにこの記事書くにあたって888搭載スマホ一覧は一通り目を通した。やっぱ中華スマホもいいなぁって思った。
https://newt.phys.unsw.edu.au/einsteinlight/jw/module3_weird_logic.htm
あと教科書に載っている光速不変の原理については誰もが直感に反すると思っていると思う
『直感に反する』とかいう理由からではないが、科学者も真面目に光速変動理論みたいなのやってるよ
▼ The critical geometry of a thermal big bang
https://journals.aps.org/prd/abstract/10.1103/PhysRevD.94.101301
We explore the space of scalar-tensor theories containing two nonconformal metrics, and find a discontinuity pointing to a “critical” cosmological solution. Due to the different maximal speeds of propagation for matter and gravity, the cosmological fluctuations start off inside the horizon even without inflation, and will more naturally have a thermal origin (since there is never vacuum domination). The critical model makes an unambiguous, nontuned prediction for the spectral index of the scalar fluctuations:
nS=0.96478(64). Considering also that no gravitational waves are produced, we have unveiled the most predictive model on offer. The model has a simple geometrical interpretation as a probe 3-brane embedded in an EAdS2×E3 geometry.
▼ 英語の科学読み物記事：
Theory that challenges Einstein's physics could soon be put to the test | Imperial News | Imperial College Londonhttps://www.imperial.ac.uk/news/176127/theory-that-challenges-einsteins-physics-could/
▼ 日本語の科学読み物記事：
かつて光は光速よりも速かった説を証明するかもしれない数値「0.96478」。光速変動理論の先駆者が発見 - Engadget 日本版https://japanese.engadget.com/jp-2016-11-29-0-96478.html
英インペリアル・カレッジ・ロンドンの研究者が、光の速度が変化するという説を証明するかもしれない数値を発見したと発表しました。その値は「0.96478」。いったい一体何を言っているのかわからないと言われればそのとおりですが、今後この数値の正当性が実験観測によって証明されれば、宇宙の成り立ちの常識が大きく覆されるかもしれません。
宇宙では、あらゆる方向から宇宙背景放射と呼ばれるマイクロ波が飛んで来ています。これはビッグバンのあと40万年後ぐらいまでに放出されたごく初期の宇宙の光の名残とされ、そのスペクトル指数は0.968と観測されています。研究者が発見した0.96478は、さらにビッグバンに近い、より古い時期のスペクトル指数値を理論的に導き出したもの。0.968と0.96478ではほとんど誤差じゃないかとも思えるものの、この差が観測によって正しいと証明されれば、太古の光は現在よりも速かったといえるわけです。
今回の数値を発見したジョアオ・マゲイジョ教授は、光速変動理論の先駆者として知られる人物。現在の宇宙では片側の端から反対側の端まで、たとえ光の速度でも宇宙ができてからの年月以内にたどりつくことができない地平線問題という矛盾があります。宇宙に光の届かない場所があるならば、宇宙の場所によって温度にムラができなければなりません。ところが、実際は宇宙空間のどの場所でも温度は均一です。この問題を解決するのが、ビッグバンが起こったような宇宙の初期ほど光は高速だったと考える光速変動理論です。
一方、現在主流なのは光の速度は一定だとする一般相対性理論に基づくインフレーション理論。インフレーション理論は地平線問題を解決できるものの、ビッグバンの後、急激に宇宙が膨張した「インフレーション」があったとする"特別な条件"が必要で、この点については何の証明もされていません。もし、マゲイジョ教授らが発見した宇宙背景放射のスペクトル指数値が観測によって正しいと確認されれば、インフレーション理論だけでなく一般相対性理論の一部もなんらかの修正が必要になるかもしれません。
https://www.physicsforums.com/
Intel、最大56コアになった第2世代Xeonスケーラブル・プロセッサ
https://pc.watch.impress.co.jp/docs/news/1177791.html
まだ３２コア６４スレッド だけど
６４コア１２８スレッドは目前 Xeon だから８CPU構成というのがもしあれば
というのが夢ではなく、普通にハイエンドサーバというのが現実だねという話が 去年で いま２０２０年で１１世代Xeonの話があって 嘘ニュース書こうにも
千コアでせーん 千は何処だー というのが危なくて、今年のエイプリルフールネタには使えないよというネタをご理解いただきたい お願いします
まともに考えるとManyコアと言う話はずっと前のIntelが出していたけど売れず
今は NVIDIA RTX世代がGPUで２０４８コアというのをやっている。
RTX Vt100世代
当然GPUのコアとCPUのコアはそのままでは比較できないけど
GPUは同時スレッドいくつというとTensorコアで２０４８スレッド
CPUでいうと千コア時代を先取りできる時代がもう来ていて、みんなベンチマーク必死に書いている
前の世代のVT80が１０２４スレッド同時実行（ただしGPUコア）
なので、千コアというのは空想ではなく、近未来の予測でしかない。そりゃ出るだろうし、８WayXeonサーバとか夢でもなんでも無い。
だから、少なくとも空想りぷではないが、千コアだと夢がないので しょうがないから、マンコアっていって
そのうえで、いちおうIntelとかNvidiaとか 業界では知らない人がいないし、仕事したことがある人も多くて下手すりゃ営業さんが本人知ってるようなところを選んどくという話
言いたいことは、すげーよくわかる。でもこれが、GPUが６０００スレッドを超えるマシンが１００万超えだけど本当に発売された
CPUでいうと千コアの時代がもうすぐだね という話を 小学生が聞いて
どういう被害が巻き怒って、大人にフルボッコにされるかとおもうと
俺で良かったと思うとともに
なんか、失業もしたし会社に通報したやつもいたんだろうなと思ってる
本気の技術者で、いわゆる理系のはてな掲示板で １万コアという単語を卑猥な意味で使うか現実的な科学技術で使うかを
ということを考えた上で ただのサラリーマンに
本気で噛み付く人がいた
ということを お願いだから 考えてほしい 言わなくていいなら おれはほっておくが １万コア相当２万スレッド
というわだいは、これはいま２千スレッドは 本当に発売されている
僕たちがやります！
と よしもと芸人さんたちが、やってくれるなら、ぜひとも お願いして
俺ら一般人はXeonの型番書いて 技術的なネタだけを本当にいいたい
だけど、どう考えても小学生は 千コア千コア せんはどこだーって言うぞ。 そうすると次なんて言う冗談を掲示板に大人のフリして書き込むかをみなさんでお考えいただきたい
そんなつもりでやったわけではないが
知らんけど、パッと見た感じNVidiaのVolta世代のプロセッサと大して変わらんように見える＞MN-CORE
ワイもこの辺ようわからんのだけれど、Tensorプロセッサってだけだと今はどこも同じようなの作ってるんだし大して価値は無いんじゃね。
省電力だけを売りにして、それが求められる市場ってどこよ感あるし。つーかVolta世代のAGX Xavierとか入手性めちゃいい（普通に通販で手に入る）し、少なくともTensorFlowサポートしてるし、そっちのMN-Coreなんちゃらもいろんなアプリ用のサポートとかないと「ただの作ってみたオナニー」にしかならんちゃうの？
例えば以下の文章がメッセージで出力されてた時にエラーの根本原因が即わかる奴っているのかよ…
[ts]
型 '{ inputs: SymbolicTensor; outputs: (SymbolicTensor | Tensor<Rank> | Tensor<Rank> | SymbolicTensor)[]; }' の引数を型 'ContainerArgs' のパラメーターに割り当てることはできません。
型 '(SymbolicTensor | Tensor<Rank> | Tensor<Rank> | SymbolicTensor)' を型 'SymbolicTensor | SymbolicTensor' に割り当てることはできません。
型 '(SymbolicTensor | Tensor<Rank> | Tensor<Rank> | SymbolicTensor)' を型 'SymbolicTensor' に割り当てることはできません。
型 'SymbolicTensor | Tensor<Rank> | Tensor<Rank> | SymbolicTensor' を型 'SymbolicTensor' に割り当てることはできません。
型 'Tensor<Rank>' を型 'SymbolicTensor' に割り当てることはできません。
ただの一次元配列をtensorやらなんやら適当な用語でラッピングしてたりするのはともかくとして、単純にクラスライブラリとして全然抽象化できてなくね？
model.eavluate()とか掛けた時に帰ってくる型はTensor or Scalarなんだが、
実際にprint()とかする時にTensor<Rank>にはPrint()メソッド無いよとか言われるし。
なんで実数or配列が入ってることが分かってるのにわざわざTensorにキャストしなきゃいけんのや。
GoogleStudyJamで機械学習をやりながら、俺は今雰囲気でBigQueryに触っていると呟いてから一ヶ月、やっとTシャツが届いた。
CodeJam以来だから十年近くあいての二枚目のグーグルシャツである。
胸にTensor Flowのロゴがちょんと載ってる。先日いただいたスタックオーバーフローのTシャツとどこか少し被ってる感じを受けたのは気のせいだ。
それはそうと材質はかなり良い。プリントTシャツとしては高級に近いものが送られてきた。なんたって縫製が丸胴である。縫い方が違う。側面に縫い目がないそれは表裏を大きく使えることから大胆なデザインをTシャツというまな板に広げることができるのだ。なのにロゴはつつましく左胸にあるだけ。シャツという名の自由を許されたキャンバスの大きな無駄遣いである。
今回はコードジャムなんかと違って参加条件はゆるゆるだ。機械学習のラーニングを4つ以上受けるだけ。参加したら確実に貰えるであろう。その参加者にこんなTシャツを送るとは。。
大量発注でも単価は500円は硬いはずである。割と大々的に発表してたし参加者は１万人以上は硬いだろう…グーグルの資金力を目の当たりにしてしまった。レッドハットのTシャツなんて一度も貰えたことないのに！（ほしい）
送り主は未だ六本木ヒルズタワー44階であった。そうか渋谷にお帰りになるのはまだ先か……森ビルに務める知人が40f以上に行くエレベーターの中でゴールドマン・サックスとグーグルの人と一緒になるの嫌だーっとぼやいていたがそれももうすぐである。
半年くらいまえに、「コミケで見つけた気になるタイトルの本」ってネタがちょっと前に盛り上がったのを思い出したので、今年の夏（C80）にある面白そうなタイトルを紹介しつつ。
「おもしろそうだから買いに行こうかね」、なんておもってる奇特なコミケ未経験者さんのためのガイドでも書いてみようかと。
（【～～～】は、ジャンル）
いつどこでどんな本が売られているのか、すべてを把握するためには、カタログを読むことが、ほぼ唯一の手段です。カタログがなくても入場はできますが、会場内は、「目当ての本を探しながらあてもなく歩く」ことをが許されるような環境ではありません。諸注意や心構えなども書かれているので、できれば一冊購入し、目を通しておきましょう。
どこで売られているかわからないひとは、コミケ公式から、取り扱い店を探すなり通販するなり。
同人誌のジャンルによって、3日間のうちのどの日に、会場のどのあたりで売られるかが決まっています。上のリストを見てのとおり、こういう本を探すなら、本番はたいてい3日目です。金曜土曜に行っても買えないので、気をつけましょう。
カタログの巻頭には、切り離し可能なサークル配置図があります（通称、「宝の地図」）。サークルの場所は、「ア-20」みたいな書式の「スペースNO」で表されます。行きたいサークルは、事前にスペースNOをチェックし、配置図に書き込んでおきましょう。ついでに、「このあたりはこのジャンル」みたいな、おおざっぱな色分けをやっておくと、現地で「もう少しあちこち回りたいな」と思ったときに便利です。カタログをまるまる持って行ってもかまいませんが、重いですよ？（現地には、カタログ等の冊子専用ゴミ箱もあるにはある）
重装備だの糧食だの水分だの寝袋だのが必要だ、みたいな話を聞いたことがあるかもしれませんが、それは早朝から並ぶ必要があるモノをどうしても手に入れたいひとだけの話です。ここのリストにあるような本は、そんな慌てなくても、たいていは売り切れません。きっと。
ゆっくり行くぶんには、常識的なお出かけと同じていどの荷物で問題ありません。自動販売機がすぐに全滅するので、飲料くらいはあったほうがいいかもしれません。コンビニもあるので、そうそう困ったことにはならないと思いますが。それと、宝の地図だけは忘れずに。
改めて書きますが、このリストにあるような本は、そうそう売り切れたりしません。12時くらいにビッグサイトにたどり着くようにすれば、スムーズに入場して、ゆっくり探し物ができると思います。
もっとも、そもそもの発行部数が極端に少なかったりもするので、売り切れるときはさくっと売り切れてしまいますが。そのときは素直に諦めてください。
また、サークルによっては、好きな時間に来場し、好きな時間に帰っていってしまうこともあります。タイミングが合わず出会えなかったときも素直に諦めてください。次回にその経験を生かしましょう。
サークルNOと配置図を手がかりに、目当てのサークルまで行きましょう。これが、地味に難易度が高かったりしますが。「ここのサークルNOは○○ですよ」みたいな掲示をしてくれているサークルもありますが、そうじゃないところが多数なので、ぶっちゃけ迷います。ところどころに貼られているサークルNOの文字と宝の地図を見比べながら、人の波に耐えてがんばってください。
無事に着けたら、「これください」でも「新刊一部」でも「既刊新刊ぜんぶ一部ずつ」でも、お好きなように。おつかれさまでした、これで目的のひとつは達成されました。次の目的地に向けて、また人の波に突入してください。
帰るまでがコミケです。気を抜かないように。りんかい線もゆりかもめもダダ混みなので、体調には気をつけてください。個人的には水上バスがゆっくり座れる可能性が高くてオススメ。日の出桟橋から浜松町までの徒歩がダルいですが。
