トークナイザー

commited date: 2025-10-07

文字列をトークンを複数に分割するための役割。LLMによって用いるトークナイザーが異なる