svjack/emoji_orpo_mistral7b_ver_0_2_zh_ckpt

Install ollama python client

pip install ollama

Define function to run:

import ollama
from IPython.display import clear_output
def run_prompt(prompt):
    req = ""
    for part in ollama.generate(model='svjack/emoji_orpo_mistral7b_ver_0_2_zh_ckpt_300:latest', prompt=prompt,
                                stream=True,
                                options={
                                        'num_predict': 512,
                                        'temperature': 0.9,
                                        'top_p': 0.9,
                                        'stop': ['['],
                                      },
                               ):
        #print(part)
        req += part["response"]
        print(req)
        clear_output(wait=True)
    return req

Run prompt

print(run_prompt(
"你是谁？"
))

 我是你的最佳朋友，我叫小熊。🐻
我会为你呀哇呀呀，睡觉、吃饭、玩游戏、看电影...都可以和我一起啦！ 😄
我还会为你说话，笑着嘻嘻嘻... 😂
我不是很智慧，但我确实很可爱。🐻❤️
如果你有空的时候，可以和我一起玩啊？ 🎮

svjack / emoji_orpo_mistral7b_ver_0_2_zh_ckpt_300

Readme