22 次送往 DeepSeek 的請求裡，只有 6 次真的是路由器認為任務該升級；另外 16 次，只因 Nemotron 的 32K context window 裝不下。這是 Techno Tim 測試 NVIDIA Switchyard 時最關鍵的發現：如果沒有把模型選擇、容量限制與後端失敗分開，路由紀錄很容易把設定問題誤看成能力判斷。
先排除 serving 設定，才談模型能力
Tim 把 Switchyard 放在 GitHub Copilot 與兩個本機模型之間：RTX 3090 跑 Nemotron 3.5 Lightning，兩台 GX10 跑 DeepSeek V4 Flash。NVIDIA model card 列出 Nemotron 為 30B 總參數、每個 token 約 3B active parameters。
Nemotron 初測只有約 44 tok/s。Tim 回頭檢查 vLLM，發現自己開了 `--enforce-eager`，使 CUDA graphs 沒有生效；移除後速度升到約 198.5 tok/s。這次差距首先證明的不是哪個模型比較強，而是 serving 設定足以讓同一個模型看起來慢上數倍。
路由選擇和 context fallback 是兩回事
Stage routing 會參考近期工具結果與 agent 進度，逐回合決定使用 efficient model 或 capable model。Tim 設定最近三次工具結果作為判斷窗口，並關掉額外的 LLM classifier。
最初一輪共有 48 次決策：26 次由 Nemotron 回答、22 次由 DeepSeek 回答；但後者只有 6 次是 Stage 主動選擇，另外 16 次是請求超過 Nemotron 的 32K 上限。Tim 將上限調到 128K 後，圖表顯示 48 次裡有 45 次留在 Nemotron、3 次由 Stage 選 DeepSeek，context fallback 歸零；輸出速度則從 32K 的約 183 tok/s 降到 128K 的約 174 tok/s。
來源：影片畫面擷取自 YouTube／Techno Tim（07:24）
87.7% 不等於省下 87.7%
較長的測試改用 Tim 熟悉的 LittleLink Server。他建立沒有既有測試與 Git history 的副本，要求 coding agent 自行補測試。Run 5 產出 334 個測試、20 個測試檔與 24 個 suites；路由紀錄為 Nemotron 1,173 次、DeepSeek 165 次，合計 1,338 次，約 87.7% 留在較快模型。
87.7% 是 routing decisions 的比例，不是 token、執行時間或費用比例。兩個模型都跑在本機，也沒有固定模型的完整對照組；這只能說明多數回合留在 Nemotron，不能證明省下多少成本或提高多少成功率。
來源：影片畫面擷取自 YouTube／Techno Tim（11:34）
產物很多，正式評估仍是失敗
GitHub PR #904 明寫 Run 5「沒有成功完成」：終止狀態是 `CONTINUATION_LIMIT`，共 15 次 attempts、14 次 continuations；lint、typecheck 與 build 通過，但 acceptance 因 skipped test 被判定為 coverage gaming，也沒有產生要求的 final commit。該 PR 已關閉、未合併，只用來保留原始產物。
影片裡 Tim 表示，事後檢查認為 agent 沒有作弊，是 anti-gaming detector 誤報。兩份紀錄可以同時成立：作者事後認為產物沒有故意繞過測試，不代表正式 benchmark 已通過。把「做出大量測試」與「通過整套評估規則」分開，才不會把最接近成功的一輪寫成完整成功。
自動路由不是自動解題保證
Run 6 即使已經使用 DeepSeek，agent 仍會卡住。Switchyard 官方將 standalone server 定位為 demo、evaluation 與單人使用，不是 production proxy；Tim 的數據使用 v0.2.0，補充文章的部署範例則改用 v0.3.0，兩版路由行為已有變化。
這次實驗支持的是較窄也較實用的結論：只要能分辨 Stage selection、context overflow 與 backend failure，較快模型確實可以承擔多數回合。Switchyard 減少的是每回合手動選模型的負擔，不是自動完成工作的保證。要判斷它是否更便宜、更可靠，還需要 token 用量、成本與固定模型 baseline。
I Made My Local AI Pick Its Own Model ／ Techno Tim · 在 YouTube 觀看 ↗