回 iPAS 課程系列課程入口：投影片・講義・備課稿

66 課之外｜選修深入探討

Jev 與 System One｜六題情境練習

本題目卷為 iPAS AI 應用規劃師 66 課之外的自編補充練習，不是 iPAS 官方題目。建議先完成六題，再閱讀後段答案與解析。

題目

第 1 題：選擇適合的處理方式

某客服系統要把自然語言留言分派到帳務、技術或帳戶團隊。系統另需核對交易是否重複扣款，並決定退款是否核准。下列設計何者最適當？

A. 讓 Jev 直接判斷留言、查帳、計算退款額並核准退款。
B. 讓 Jev 判斷承辦分類，程式查交易與政策，退款依權限流程由授權人員核准。
C. 用生成式 LLM 寫出退款核准文字，將文字內容直接當作核准結果。
D. 把整段流程改成關鍵字規則，避免任何語意判斷。

第 2 題：配對問題型別

某企業要完成三項判斷：①選擇承辦部門；②將急迫性評為一般、優先或緊急；③判斷留言是否提到先前已提出退款申請。依序應使用哪種型別？

A. Choice、Score、Noul
B. Score、Choice、Noul
C. Noul、Score、Choice
D. Choice、Noul、Score

第 3 題：解讀 Noul 輸出

某題詢問「留言是否明確表示使用者已提出退款申請？」Jev 回傳 noul = 0.93。下列敘述何者正確？

A. 代表使用者有 93% 的實際退款核准機率。
B. 代表模型對「是」這個答案給出 0.93 的機率；實際分類表現仍要以企業資料評估。
C. 代表這筆判斷已經有 93% 的人工審查者同意。
D. 代表 Noul 的 confidence 欄位為 0.93。

第 4 題：處理高 confidence 與高風險

模型以高 confidence 將一件案件判為「符合退款政策」。但退款會直接退回大量款項，且交易系統尚未確認是否重複扣款。系統下一步應如何設計？

A. 只要 confidence 超過 0.9，就直接執行退款。
B. 先由程式核對交易資料、金額和政策，再依風險與核准權限決定是否轉人工；模型輸出只作為一項判斷依據。
C. 只要模型是 type-safe，就可以跳過交易查詢。
D. 讓生成式 LLM 讀取模型答案，請它決定是否真的退款。

第 5 題：理解 Score 數值

急迫性 Score 有三個有序等級：0 一般、1 優先、2 緊急。輸出 score = 1.65，且機率主要落在第 2 級。下列解釋何者較合理？

A. 模型量到案件的客觀急迫程度為 1.65 個單位。
B. 這表示第 2 級是唯一可能答案，應直接執行緊急處置。
C. 這是依各等級機率形成的位置分數，表示分布偏向較高等級；程式仍要按已驗證門檻和流程分流。
D. Score 分數就是模型答案正確率。

第 6 題：建立繁體中文評估

某團隊準備在台灣客服中心使用 Jev 分類中文留言。正式上線前，哪一項工作最能支持有根據的門檻設定？

A. 直接採用供應商展示的英文範例和門檻。
B. 以代表性的台灣繁體中文歷史案件建立保留測試資料，檢查各類 precision/recall、信心區段、人工覆核率和錯誤成本，並先以觀察模式驗證。
C. 只測最清楚、沒有錯別字的留言，以免資料影響結果。
D. 使用 jev-latest 後永久固定門檻，不記錄回應版本。

參考答案與解析

B。 Jev 適合受限答案空間內的語意分類；交易事實、精確計算和政策權限由程式及正式流程負責。A 把模型判斷擴張成查證與授權；C 把生成文字當成權限狀態；D 沒有處理語言變化造成的規則維護問題。
A。承辦部門是無先後順序的類別，用 Choice；急迫性是有序尺度，用 Score；是否提到先前申請是是非命題，用 Noul。
B。 Noul 的數值是模型對「是」的機率，不是退款資格、核准機率或人工同意度。實際分類表現仍需以企業資料評估。
B。信心資訊可協助分流，但不能取代交易查證、政策檢查和授權。高風險副作用需要依錯誤代價設計程式檢查與人員核准。
C。 Score 可以位於等級之間，表示依等級機率形成的位置；它不是客觀量尺或正確率。行動須看完整機率、已驗證門檻和錯誤成本。
B。代表性在地資料應涵蓋口語、縮寫、否定、缺漏和混合意圖。以保留資料檢查指標、信心區段、覆核率和成本，先觀察再逐步開放，並記錄模型版本與回退方案。

延伸閱讀

完整概念、架構、評估方法與參考來源請見 Jev 課程正文。