Kush's Wiki

LLM/

トークナイザー

文字列をトークンを複数に分割するための役割。LLMによって用いるトークナイザーが異なる