トークン

commited date: 2025-10-26

LLMにおいて扱われる複数文字のチャンク。1文字ずつ読むのではなく、まずはトークンに分割されトークン列が作られる