Generative Pre-Trained Transformer 生成的事前トレーニング済みトランスフォーマー #LLM トランスフォーマーのデコーダー部のみを採用したもの 事前トレーニングを行い精度を高める GPT-2では、インターネット上の文書において次の単語を予測するというトレーニング方法を用いて精度が大きく向上した