AI LLM 什麼是 Context Window

Context Window 中文為「上下文窗口」，簡單說就是AI對話中能記住的東西容量上限。

AI在單次問答能同時看到並記住的最大資訊量上限，包括：系統提示詞、你輸入的每一段對話（即 Prompt）、AI歷史回覆、上傳的檔案、以及調用工具回傳的結果。計算單位是 Token（詞元），而1個中文字通常佔用2~3個token。不同語言模型 (Model) 有不同大小的Context Window，當對話產生的token數超過語言模型的Context Window上限時，可能最舊的部分會被捨棄（先進先出的概念），或被壓縮處理，這就是為什麼單個對話聊越久，AI會越笨或失憶的原因。