Kush's Wiki
LLM
/
トークン
#
LLM
LLMにおいて扱われる複数文字のチャンク。1文字ずつ読むのではなく、まずはトークンに分割されトークン列が作られる
LLMのプロンプトエンジニアリング
LLM/
トークナイザー
文字列をトークンを複数に分割するための役割。LLMによって用いるトークナイザーが異なる
コンテキストウインドウ
LLMが一度に扱えるトークン数の上限のこと
