模型

生成式模型由大型神經網路組合而成，推論效能會跟著這些網路要求的工作形態改變。語言模型先把提示轉成 token，在 prefill 階段處理所有輸入位置，把可重用的 attention 狀態放進 KV cache，再於 decode 階段每次 forward pass 產生一個 token。prefill 通常受運算能力限制，主要決定 time to first token（TTFT）；decode 通常受記憶體限制，主要決定 tokens per second（TPS）。diffusion 式影像與影片系統則會反覆細化整個 latent 表示，通常受運算能力限制。arithmetic intensity 是運算次數與記憶體流量的比值，可把不同工作放到硬體 roofline 上，解釋為什麼同一種最佳化不可能加速所有階段。理解架構，能把效能調校從經驗法則轉為依瓶頸選擇的工程。

模型不是一整塊均勻的浮點運算。線性層持有語言模型的大部分 weights；attention 會搬移並組合序列狀態；稀疏 expert 改變實際啟用哪些參數；媒體處理管線則在許多 denoising 步驟中呼叫多個元件模型。這些選擇決定 weights 讀取、中間張量、cache 成長、parallelism 機會，以及哪些近似方法可能傷害品質。若最佳化瞄準錯誤資源，最昂貴的路徑可能完全不變。

prefill 和 decode 的分界尤其重要，因為同一個請求會在執行途中更換瓶頸。更快的矩陣運算有助於運算密集的提示階段；逐 token 生成則主要受記憶體搬移與重用支配。若只看一個平均值，就會掩蓋 TTFT 與 TPS 為何對 batch 大小、硬體、kernel 和放置策略有不同反應。有用的推論模型必須保留階段，而不能把它們壓平。

推理時應先看執行形態，再看模型或 accelerator 品牌。模型設定檔會揭露層數、hidden dimension、attention head、詞彙表，以及 feed-forward 層採密集或 expert routing；請求資料則揭露序列長度、batch、輸出長度與媒體維度。兩者合起來，便能預測最大的張量和會反覆執行的迴圈。接著由硬體提供運算與頻寬上限，實作則決定工作能多接近上限。這個順序能跨越產品世代。它也解釋為什麼同一架構的不同變體可以承接相同 inference engine 支援，卻因尺寸不同而需要不同容量；也解釋為什麼換成更新 GPU，仍不會消除隨 context 或 latent volume 快速成長的演算法形態。若只從品牌或峰值規格開始，團隊容易把理論上更快的硬體配給實際受記憶體流量限制的 decode，或用為 token 生成設計的技巧處理全 latent denoising。從形態出發，才能先列出需要驗證的資源假設，再選擇真正可能改變瓶頸的模型、kernel 與硬體。

閱讀效能時，可以使用一條四段鏈。第一段辨識語意運算，例如 attention、feed-forward 層、expert routing 或 denoising；第二段辨識執行形態，是完整序列矩陣工作、單 token 向量工作、稀疏 routing，或整個 latent 的更新；第三段透過 byte、運算數、cache 狀態與重複次數，找出受到壓力的資源；最後把該資源連回產品指標，例如第一份輸出延遲、token 節奏、影像完成時間、影片完成時間、容量或成本。跳過任何一段都容易產生照抄式調校：看到別人使用某個 kernel 就直接套用，卻沒有確認自己的矩陣形狀和資料流；看到更高峰值運算量就換硬體，卻沒有確認記憶體是否才是上限。沿著整條鏈推理，能讓每個改動都有可檢驗假設，也能說清楚某項技術何時可以跨 modality 移植，何時因執行迴圈根本不同而失效。這條鏈還能協助溝通：模型研究者描述運算，系統工程師描述資源，產品團隊描述可見結果，三者用同一請求與量測互相對齊；變更後再用相同輸入與工作負載切片重新量測，才能確認改善不是資料差異或測試條件漂移造成。