TransformerだとかGANだとか色々手法があるけどさ、それぞれがなぜ精度向上に役に立つのか、数理的・解析的な説明はないのか?というかなくていいのか?
ディープラーニング系の論文って、やってみたらなんかうまくいきました、でしかない。
損失関数の書き方や活性関数の書き方で頑張って数学チックにしてて一見難しそうに見えるけど、結論だけ見たら結局はなんかうまくいきましたで終わってる。
医学雑誌になんか知らんけど患者を3食バナナにしたら治りましたとか書かれてたとしたら、「は?」じゃない。それと似たような感覚になる。