OpenAI Cookbook examples : API 使用方法 : tiktoken でトークンを数える方法 (翻訳/解説)

【汎用人工知能：OpenAI Cookbook】API 使用方法：tiktoken でトークンを数える方法

OpenAI Cookbook は OpenAI API を使用して一般的なタスクを完遂するためのサンプルコードを共有しています。

tiktoken は OpenAI の高速なオープンソースのトークナイザーです。

テキスト文字列をトークンに分割することは有用です、GPT モデルはテキストをトークンの形式で認識するからです。

また幾つのトークンがテキスト文字列にあるかを知ることは、
(a) 文字列がテキストモデルが処理するのに長すぎるかどうか、そして
(b) OpenAI API 呼び出しがいくらかかるか (使用量はトークンにより価格付けされるので)、を伝えます。
[More]