svjack / genshin_instruct_llama2zh_13b_3900

Install ollama python client

pip install ollama

Define function to run:

import ollama
from IPython.display import clear_output
def run_prompt(prompt):
    req = ""
    for part in ollama.generate(model='svjack/genshin_instruct_llama2zh_13b_3900', prompt=prompt,
                                stream=True,
                                options={
                                        'num_predict': 512,
                                        'temperature': 0.3,
                                        'top_p': 0.9,
                                        'stop': ['<EOT>'],
                                      },
                               ):
        #print(part)
        req += part["response"]
        print(req)
        clear_output(wait=True)
    return req

Run prompt

run_prompt(
'''
下面是柯莱的一些基本信息
性别:少女女性
国籍:须弥
身份:化城郭见习巡林员
性格特征:善解人意，乐于助人
这些是一段角色介绍
「乐于助人」、「阳光善良」、「热情洋溢」⋯在化城郭内外稍加了解，就能听到人们对这位见习巡林员的称赞。
只要身体允许，无论学业如何繁忙，柯莱都不会怠慢巡林工作，更不吝于向各色行人伸出饱含热情的援手。
只是如此热诚积极的柯莱，似乎也有着不愿为人所知的过往与心事。
假如在她经常巡逻的林间，发现贴满奇怪字条的树洞，或是类似碎碎念的声响。
无论看到听到了什么，还请善解人意地绕道而行，权当作兰那罗开的小小玩笑。
毕竟有些琐事，是只能说与树洞听的一一至少目前还是。
柯莱如何评价巡林员的工作？
'''
)

「巡林员」这个职位听起来很复杂，但对我来说却简单到不能再简单了——只要把森林保护好、维持干净整洁就好了