Generative Pre-Trained Transformer

生成的事前トレーニング済みトランスフォーマー

#LLM

トランスフォーマーのデコーダー部のみを採用したもの

事前トレーニングを行い精度を高める

GPT-2では、インターネット上の文書において次の単語を予測するというトレーニング方法を用いて精度が大きく向上した