GPT

Generative Pre-Trained Transformer

生成的事前トレーニング済みトランスフォーマー

トランスフォーマーのデコーダー部のみを採用したもの

事前トレーニングを行い精度を高める

GPT-2では、インターネット上の文書において次の単語を予測するというトレーニング方法を用いて精度が大きく向上した

neighbourhood

backlinks · 3

links · 1

トランスフォーマー