dsmith111/ phi3:mini-qnn

30 7 months ago

ollama run dsmith111/phi3:mini-qnn

Details

7 months ago

ba2dd340f68d · 2.0GB

{ "version": "1.0", "truncation": null, "padding": null, "added_tokens": [ { "id": 0, "content": "<u
 <unk>���� <s>���� </s>����  <0x00>����  <0x01>����  <0x02>����  <0x03
[ { "Name": "added_tokens.json", "Length": 306, "SHA256": "9F6C95E21E4D4F61B3D3B2EE614B9952FC2
�������������ˆ=������°=������x¤j���� ��������������RÅÿÿ������,�����&�X��� ��$�(�����4�
�������������à@������A������¨¸j���� ��������������²Ãÿÿ������,�����&�T��� ��$�(�����4�
{ "_from_model_config": true, "bos_token_id": 1, "eos_token_id": [ 32000, 32001, 32007 ], "pad_token
{ "<|assistant|>": 32001, "<|endoftext|>": 32000, "<|end|>": 32007, "<|placeholder1|>": 32002, "<|pl
{% for message in messages %}{% if message['role'] == 'system' %}{{'<|system|> ' + message['content'
�������������ð@������A������ø¸j���� ��������������¦Ãÿÿ������,�����&�X��� ��$�(�����4�
�������������x?������ ?������˜éj���� ��������������Åÿÿ������,�����&�X��� ��$�(�����4�
olive:ÏÇ­ ñ model.embed_tokens.weight_Q4 input_ids model.embed_tokens.weight_scales#/model/e
olive:¡É­ ¬ V/model/layers.32/final_norm_layernorm/SkipLayerNorm_Mul_output_0_QuantizeLinear_O
{ "architectures": [ "Phi3ForCausalLM" ], "attention_bias": false, "attention_dropout": 0.0, "auto_m
{ "model": { "bos_token_id": 1, "context_length": 4096, "decoder": { "session_options": { "log_id":
{ "chat_template.jinja": "dcaee66df77bfbb789ec541fe713218da30225a526f1db97138fc39ee6dc56aa", "config
{ "Name": "phi-3-mini-4k-instruct-qnn-npu", "PromptTemplate": { "system": "\u003C|system|\u003EYour
{ "bos_token": { "content": "<s>", "lstrip": false, "normalized": false, "rstrip": false, "single_wo
{ "_commit_hash": null, "add_bos_token": false, "add_eos_token": false, "add_prefix_space": null, "a
 :éÒc ¶ 9/model/embed_tokens/Gather/output_0_QuantizeLinear_OutputE/model/layers.0/attn/qkv_proj/
 :³Òc ¶ 9/model/embed_tokens/Gather/output_0_QuantizeLinear_OutputE/model/layers.0/attn/qkv_proj/
{ "num_ctx": 512, "num_predict": 128 }

Readme

No readme