近年話題のBERT・XLNetなどの言語処理における事前学習モデルについて取り扱いました。論文や著者に近しい出展の実装など、極力一次ソースを元に言語処理の基本的な内容も加筆しながらまとめた形になります。