整句完全正確的比例
| 選字方式 | 段落 584 句,有前文 | 單句 157 句 |
|---|---|---|
| 詞庫引擎 與小麥注音相同 | 64.4% | 77.7% |
| Qwen2.5-0.5B 候選句重新排序 | 89.0% | 89.8% |
| 小傑模型 | 96.9% | 98.7% |
資料來自原專案 README 的自建 test 集結果,並非獨立評測。句子由 Claude 協助撰寫,注音依作者的打字習慣標注;臺/台、裡/裏等通行寫法均算正確。這些數字不代表每個人的日常準確度。
題目怎麼來?
單句集共 320 句,dev 163 句、test 157 句;段落集共 295 段、1,186 句,dev 602 句、test 584 句。題材涵蓋日常生活、工作、3C、聊天,以及在/再、的/得/地等同音字。
句子由 Claude 協助撰寫。段落集每句使用同一段前面已出現的句子作為前文,以整段拆分 dev 與 test,避免同一段落被分到兩邊。
怎麼算正確?
- 比較不手動選字時,整句是否完全正確;錯一個字,整句就不算對。
- 注音依作者的打字習慣標注,例如「一」「不」打變調、「和」打 ㄏㄢˋ。
- 臺/台、裡/裏等臺灣通行寫法均算正確。
- 模型與詞頻分數的參數在 dev 集調整,test 集用來報告結果。
這些數字沒有告訴你的事
- 這是專案自建評測,沒有經過獨立第三方驗證。
- 生成句子和作者習慣都會帶來偏差,結果不代表所有使用者、所有題材。
- 離線評分與實際逐字輸入不同;模型推論速度也不等於端到端輸入延遲。
- 首頁 GIF 是具體情境的示範,不能用單一例子推論其他輸入法的整體品質。
更有價值的下一步,是用朋友們實際打字的回饋,找出評測題目還沒涵蓋的情況。回報問題時,請提供可以公開分享的重現文字,避免放入私人或工作敏感內容。
回報使用問題 ↗