Tiktoken

tiktokenでトークン数とトークン分割された文字配列を取得

⚙️ Mac Setup

You can skip!

pyenv install 3.12.0
pyenv global 3.12.0
pip install pipenv

🛠️ Setup

pipenv install

🚀 Run

pipenv run dev

📍 API Endpoints

https://tiktoken-ten.vercel.app/docs

POST /token

Example

curl -sXPOST 'http://localhost:8000/token' -d '{"text": "こんにちわ"}' -H 'Content-Type:application/json' | jq
# {
#   "token": 3,
#   "token_text": [
#     "こんに",
#     "ち",
#     "わ"
#   ]
# }