判決書「犯罪事實」欄草稿自動生成

本模型是以司法院公開之「詐欺」案件判決書做成之資料集，基於 Google Gemma2:2b 模型進行微調訓練，可以自動生成詐欺及竊盜案件之犯罪事實段落之草稿。資料集之資料範圍從100年1月1日至110年12月31日，所蒐集到的原始資料共有 74823 篇（判決以及裁定），我們只取判決書的「犯罪事實」欄位內容，並把這原始的資料分成三份，用於訓練的資料集有59858篇，約佔原始資料的80%，剩下的20%，則是各分配10%給驗證集（7482篇），10%給測試集（7483篇）。您可以使用 ollama pull 指令下載本模型 指令下載本模型到本地端電腦執行。或是可以到這裡有更完整的使用體驗。如果想要持續微調本模型，可以到Hugging Face下載本模型的全部權重檔進行持續微調。

比較

以下是本模型與經過微調後的BLOOM 560m、Llama 3.2-1b以 ROUGE-L 做評估後的散點圖。

提示語範例

examples = [
    ["闕很大明知金融帳戶之存摺、提款卡及密碼係供自己使用之重要理財工具，"],
    ["梅友乾明知其無資力支付酒店消費，亦無付款意願，竟意圖為自己不法之所有，"],
    ["瓊道帕意圖為自己不法所有，基於竊盜之犯意，"],
    ["通訊王明知近來盛行以虛設、租賃、借用或買賣行動電話人頭門號之方式，供詐騙集團作為詐欺他人交付財物等不法用途，"]
]

ollama API 的使用說明在這裏

致謝

微調本模型所需要的算力，是由評律網提供 NVIDIA H100。特此致謝。

引文訊息

@misc{lin2024legal,
      title={Legal Documents Drafting with Fine-Tuned Pre-Trained Large Language Model}, 
      author={Chun-Hsien Lin and Pu-Jen Cheng},
      year={2024},
      eprint={2406.04202},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
      url = {https://arxiv.org/abs/2406.04202}
}