淺談生成式 AI 與 LLM 的基本概念

前言

現在很多人都會使用 AI 問問題、產圖、寫程式，以及解決各種需求。

但可能不知道 AI 為什麼可以做到這樣、為什麼做不到那樣。感覺 AI 很聰明，什麼都能回答，但有時候又覺得是在一本正經地胡說八道。

AI 真的會思考嗎？

這篇文章會介紹目前生成式 AI 的基本原理與本質。當你了解這些基本概念後，就能理解一些 AI 背後做的事情，以及理解 AI 為什麼會有這樣的表現。

名詞解釋

AI (人工智慧)：AI 這個詞早就不陌生了。圖片辨識、語音辨識、推薦演算法等技術，只要是機器模擬人類智慧的技術，就可以稱它為 AI，屬於一個範圍較廣的統稱。例如現在的 ChatGPT 或是十年前那個很會下圍棋的 AlphaGo
LLM (大型語言模型)：AI 裡的其中一個類型，屬於生成式 AI，專門處理文字、語言與對話

生成式 AI 的智慧核心：LLM

LLM 全名是 Large Language Model (大型語言模型)。

我們目前常見的 ChatGPT、Gemini、Claude 等，就是以 LLM 為核心，並整合各種工具的 AI 系統。

你可能還有聽過 GPT 5.5、Gemini 3.5 Flash、Claude Opus 4.8，指的是 OpenAI、Google、Anthropic 這幾間公司所開發的模型。

各家公司也會推出多種不同等級的模型。例如有速度較快、成本較低的輕量版本，以及推理能力較強，但成本較高的進階版本。

你可以想像 LLM 它是一個文字接龍專家，很擅長猜下一個字放什麼最合理。

例如：「今天的天氣很」，它可能會接：「好」或「熱」。

像我們在手機上打字：「生日」，螢幕上會列出「派對」、「快樂」之類的下一個字或詞。

手機輸入法是根據大量使用者以及你平常輸入的習慣，來預測你下一個最有可能會輸入的詞。

LLM 也是類似的概念，只是規模大上許多。「大型」的意思，不只是訓練資料有很多，也包含模型本身擁有巨大的參數量，因此可以學習更複雜的語言模式。

它會學習哪些詞會一起出現、句子的結構，以及不同語境下通常會接哪些內容。因此當你輸入：「今天的天氣很」時，LLM 並不是有意識地思考天氣是什麼，它只是在預測下一個最有可能出現的文字是什麼。

實際上與 LLM 對話就像這樣：

「我很棒嗎？」

「棒。」

LLM 的基本概念

如果你常使用 AI，多少都會聽過 Prompt、Token、Context Window 這幾個名詞，簡單的介紹它們是做什麼的。

1. Prompt

Prompt 指的是你輸入給 LLM 的所有內容，也就是你輸入的問題或指令。

例如：「請幫我翻譯這篇文章」、「請解釋什麼是 JavaScript」。

2. Token

Token 是 LLM 處理文字的單位。我們人是直接看完一句完整的話，但 AI 無法直接理解文字；它會將文字切分成好幾個片段，再進行理解與計算。

例如：「今天天氣很好」，可能會被切成「今」、「天」、「天氣」、「很好」，不同模型的切分方式不一定會相同。

LLM 每一次請求都是獨立的請求

LLM 的本質，單純就是接收文字、預測下一個文字是什麼，每一次的任務都是全新且獨立的。舉個例子：

第一次對話
使用者：「我的名字叫 Yang」
LLM：「Hi，Yang！」

第二次對話
使用者：「我的名字叫什麼」
LLM：「我不知道你的名字叫什麼」

在第二次對話中，LLM 只會看到「我的名字叫什麼」這段 Prompt 來進行推論與接龍，因此它並不知道我是誰，也不會記得第一次的對話。

那..為什麼我們日常使用 ChatGPT 這類的 AI，卻可以很順很自然的聊天呢？它幾乎都會記得我們上一句講了什麼，可以順著對話講下去。

這是因為我們在 ChatGPT 打字送出之後，其實不是直接交給 LLM 回答。

實際上，ChatGPT 在送給 LLM 前，系統通常會將近期的重要對話內容整理後，才會交給 LLM 做回答。這個概念就是 Context Window。

3. Context Window

想像一下 ChatGPT 的每一個對話視窗都是一個工作桌面、一個白板，上面放了目前的對話內容、歷史聊天紀錄，如果有需要，使用者相關資訊也會放在裡面。

這個桌面的空間越大，代表 AI 能參考的資訊也越多；反之空間越小，就只能放進有限的資訊，而這些內容，全部都是用 Token 來計算。

因此，當我們在 ChatGPT 同一個對話視窗對話的時候，系統會將先前對話中的重要資訊記錄起來，結構就類似以下的例子：

{
  "第一次對話紀錄": [
    {
      "角色": "使用者",
      "內容": "我的名字叫 Yang"
    },
    {
      "角色": "AI",
      "內容": "Hi，Yang！"
    }
  ],
  "第二次對話紀錄": [
    {
      "角色": "使用者",
      "內容": "我的名字叫什麼"
    },
    {
      "角色": "AI",
      "內容": "你是 Yang！"
    }
  ],
  "第三次對話紀錄": [...],
  "第四次對話紀錄": [...],
  "第五次對話紀錄": [...],
  ... 第 n 次對話紀錄,
}

這邊要注意的是，系統並不是將每次對話的每一字每一句都記錄起來，因為這樣可能會導致記錄無意義的文字而浪費掉 Token，或是太過冗長而影響 LLM 的判斷，所以這個範例只是示意 AI 會如何處理與使用者的對話紀錄。

這麼一來 LLM 就能夠記得我上一句說什麼，也知道我的名字叫什麼了，因為每一次請求時，LLM 都會重新掃描這整段對話，再加上這一次使用者輸入的內容，來推論下一次的回答。

看起來就會像是 AI 有了對話記憶一樣，可以順暢的聊天。

為什麼 AI 會突然失憶？

前面提到，Context Window 這個桌面空間是有固定大小的，當你跟 AI 的對話拉得太長，超過了 LLM 的 Token 上限時，系統會自動截斷前面較舊的內容。

當重要資訊剛好被截斷時，AI 可能會忘記關鍵的資訊，還可能缺乏足夠的資訊而做出錯誤的推測。

這就是為什麼 AI 會失憶、文不對題，甚至開始產生幻覺的現象。

因此，當你意識到對話已經太長了，或是發現 AI 開始在亂講話的時候，就可以考慮直接開一個新的對話視窗，就像是換一個新的白板來繼續寫字。

AI 一直在變強

如果你有在 2022 年底用過當時剛出來的 ChatGPT，就會知道那時的 AI 有多難用。

以前 LLM 的能力很差、Context Window 很小，沒有辦法存太多的資訊，導致 AI 很常失憶、亂回答、沒辦法理解文字的語意，甚至還只能回答 2021 年之前的資訊。

但是到了現在 2026 年的 AI，我們可以直接問昨天的世界盃賽事結果如何。

AI 能理解這裡的「世界盃」指的是世足，而且還真的知道昨天的賽事結果，甚至做了一張圖表，不是說它只會文字接龍嗎？

因為這幾年間的發展，這些大公司持續在改進 AI 模型、訓練方法與推理能力，新一代的模型比起早期的版本，已經強大了非常多。

除了 LLM 已經變得更能讀懂我們的意圖，另外系統上也替 LLM 加上各種外掛能力。其中一項能力就是讓 LLM 可以使用外部工具，來幫助自己的推論。

這叫做 Function Calling (Tool use)。

大致流程如下：

使用者輸入：「昨天世界盃的賽事結果」
LLM 本身並不會知道即時的資訊，系統判斷需要呼叫工具來幫它上網查資料
LLM 產生結構化指令請系統執行指令，呼叫外部工具
外部工具執行任務(上網查資料)，將結果回傳給 LLM
LLM 拿到賽程結果，依據這份資訊來組織最後的回答內容
將結果回傳給使用者

簡單來說就是 LLM 知識雖然不是即時的，但它可以自己使用工具，查資料補足自己的知識，讓自己有更多的線索做出更準確的文字接龍。

結語

在使用 AI 時，最重要的一件事是：不要假設 AI 知道你腦中的前提。

AI 並不會知道你心裡預設，它是依照你提供的資訊，根據自身的語言能力，一套大眾的標準，去預測最合理的回答。舉個例子：

「請推薦京都的旅遊行程」

像這樣很模糊的問法，AI 不會知道你有沒有去過京都，所以很可能會推薦清水寺、金閣寺等熱門景點，也就是大多數人熟悉的標準答案。

假如你的需求是想要去一些比較郊外的景點，不是市區熱門景點那種，就可以多提供一些資訊，例如：

「請推薦京都的旅遊行程，排除市區的熱門景點，因為已經去過京都好多次，希望這次是去比較郊外的地方，也希望是能適合自駕的交通方式」

像這樣提供了更多的資訊與限制，AI 就能更準確理解你的需求，也更有機會給出接近你預期的回答。

我們回到文章開頭的這個問題：

AI 真的會思考嗎？

你可以說 AI 會思考沒錯，但是本質上與人類的思考方式不同。就算現在的 AI 已經整合了記憶、工具、搜尋與使用各種外部工具的能力，但核心仍然是透過機率預測來生成下一個文字。

就像是飛機和鳥都一樣會飛行，鳥靠著翅膀，飛機靠著機翼。但你會認為飛機是鳥嗎？