昨今 ChatGPT や GPT4 などが大きな注目を集めており進化が目覚まし いように見えますが、要素技術に着目すると、コア部分の処理に用いられる モジュールは Transformer であり、直近 5 年以上は大きなトレンドの変化 は起きていません。
逆に考えると Transformer の仕組みがそれほど優秀かつ汎用的であると いうことであり、今後も多く用いられることが予測されます。
当テキストでは昨今大きな注目を集める ChatGPT や GPT4 の主 要モジュールに用いられる「Transformer」の「直感的な理解」が可能にな るように取りまとめを行いました。