トークナイザー

commited date: 2025-09-06

文字列をトークンを複数に分割するための役割。LLMによって用いるトークナイザーが異なる