minicpm2.6

Vision 7B

4,922 Pulls Updated 5 weeks ago

Readme

能执行minicpm2.6模型的windows ollama安装包

使用下面的windows安装包进行安装,安装完可运行openbmb官方的模型minicpm2.6。

百度网盘:
https://pan.baidu.com/s/1yE1ekw25pMBt4DHOtWOedg?pwd=cs89

google 网盘:
https://drive.google.com/file/d/1A4cUxUyYonYcQRBcRCpcVp2TKLfTKvMM/view?usp=sharing

支持和安装说明

  • 这个 ollama 安装包支持minicpm2.6模型的windows安装包。

ollama 官方版本目前是不支持minicpm2.6,请从上面的网盘下载和安装

  • 从最上面的链接下载ollama安装包,安装成功后会自动启动,如果之前有装过,需要在进程管理器停掉所有ollama相关进程。在继续安装。

请确保删除掉老版本的所有dll文件

已知问题

如果之前安装有ollama程序,覆盖安装时,run的时候可能会崩溃。

原因可能和之前的库存在冲突。

请先删除安装路径下的所有文件
默认的ollama路径地址为:

%localappdata%\Programs\Ollama

请拷贝到路径栏,回车即可。

例如我的安装地址:

C:\Users\Administrator\AppData\Local\Programs\Ollama

可手动删除这个目录下的所有文件后在进行安装。

从gguf文件创建ollama模型的详细步骤如下:

1. 创建Modelfile文件

文件名为:Modelfile
文件内容说明:
包含两个gguf文件的路径,一个是多模态模型mmproj-model-f16.gguf。
另外一个是模型文件,可使用ggml-model-Q4_K_M.gguf,或者别的量化模型。
把ggml-model-Q4_K_M.gguf文件和mmproj-model-f16.gguf下载到和Modelfile共同一个目录下。

修改配置文件的这两行,./后面是文件名,改成你下载好的本地文件名。

FROM ./ggml-model-Q4_K_M.gguf
FROM ./mmproj-model-f16.gguf

gguf格式的模型下载地址:https://huggingface.co/openbmb/MiniCPM-V-2_6-gguf/tree/main

Modelfile文件内容示例如下:

注意:前面两行需要按需修改为你本地自己的路径,其它内容不要修改。

FROM ./ggml-model-Q4_K_M.gguf
FROM ./mmproj-model-f16.gguf

TEMPLATE """{{ if .System }}<|im_start|>system

{{ .System }}<|im_end|>{{ end }}

{{ if .Prompt }}<|im_start|>user

{{ .Prompt }}<|im_end|>{{ end }}

<|im_start|>assistant<|im_end|>

{{ .Response }}<|im_end|>"""

PARAMETER stop "<|endoftext|>"
PARAMETER stop "<|im_end|>"
PARAMETER num_ctx 2048

2. 创建模型

在Modelfile文件所在的目录下执行

ollama create minicpm2.6 -f Modelfile

3. 测试验证

ollama run minicpm2.6
describe the image in detail? "C:\\Users\\Administrator\\Pictures\\test.png"