トークン

commited date: 2025-09-06

LLMにおいて扱われる複数文字のチャンク。1文字ずつ読むのではなく、まずはトークンに分割されトークン列が作られる