AI LLM 什麼是 Token

Token的中文為「詞元」，是AI處理文字的最小基本單位。

AI在接收我們輸入的提示詞 (Prompt) 時，會先把提示詞拆分成Token後才能進行運算和推理。而語言模型的上下文窗口 (Context Window) 就是每次推論能處理Token數的上限。此外Token也是AI公司語言模型 (Model) （e.g. OpenAI GPT、Anthropic Claude、Google Gemini）的用量計算或計價基礎。

一個Token並不等於一個「字」，通常大約是0.75個英文單字，而一個中文字約為2～3個Token；除了文字之外，其他媒體如文件、試算表、影像、音訊、影片等，也會先轉換成AI模型能夠處理的資料形式（例如Token或其他數值表示），再進行運算和推理。