トークン

commited date: 2025-10-07

LLMにおいて扱われる複数文字のチャンク。1文字ずつ読むのではなく、まずはトークンに分割されトークン列が作られる