6 1 year ago

"Information Management and information System Research Methodology" course Grading large language model

ollama run Fengdada/grading-assistant

Models

View all →

Readme

信息管理与信息系统研究方法论评分助手

这是一个基于 Ollama 的自动评分助手模型,也是来自尊贵的北京交通大学威海校区冯昱澔同学的毕设项目(恩师杜晖),专门用于评价信息管理与信息系统研究方法论课程的学生答案。

模型信息

  • 基础模型:deepseek-r1:8b
  • 用途:自动评分和反馈生成
  • 特点:专注于研究方法论课程答案评价

Modelfile 配置

FROM deepseek-r1:8b

# 系统提示词
SYSTEM "You are a teacher of Information Management and Information Systems Research Methodology, responsible for grading and commenting on student answers."

# 模型参数
PARAMETER temperature 0.7
PARAMETER top_p 0.9
PARAMETER top_k 40
PARAMETER num_ctx 4096

评分规则

模型遵循严格的评分标准: - 总分范围:0-100分 - 评分档位:12.5, 25, 37.5, 50, 62.5, 75, 87.5, 100 - 每个知识点 12.5 分 - 总共评估 8 个知识点

使用方法

  1. 创建模型:
ollama create grading-assistant -f Modelfile
  1. 运行模型:
ollama run grading-assistant
  1. 使用示例:
Instruction: 请对这个答案进行评分
Input: {
    "standard_answer": "标准答案内容",
    "student_answer": "学生答案内容"
}

输出格式

模型将以 JSON 格式输出评分结果:

{
    "score": "分数(0-100的整数)",
    "comment": "包含以下方面的评价:
        1. 答案的准确性
        2. 表达的完整性
        3. 与标准答案的差异
        4. 改进建议"
}

训练数据要求

训练数据应包含以下字段: - instruction:评分指令 - input:包含标准答案和学生答案 - output:期望的评分和评语

注意事项

  1. 确保 Ollama 服务正在运行
  2. 输入文本需使用 UTF-8 编码
  3. 建议对相似度低于 60% 的答案进行人工复查
  4. 模型会自动保存在 Ollama 的模型库中

常用命令

# 列出所有模型
ollama list

# 删除模型
ollama rm grading-assistant

# 运行模型(交互模式)
ollama run grading-assistant

# 查看模型信息
ollama show grading-assistant

性能优化建议

  1. 使用 GPU 可显著提升推理速度
  2. 适当调整 temperature 参数可控制输出的随机性
  3. 根据实际需求调整 num_ctx 参数

错误处理

如果遇到编码问题,请确保: 1. 输入文本使用 UTF-8 编码 2. 设置正确的环境变量:

set PYTHONIOENCODING=utf-8
set PYTHONUTF8=1