NousResearch/Meta-Llama-3.1-8B-Instruct Korean finetuned model with SFT->RLHF->DPO

Tools 8B 70B

166 Pulls Updated 5 weeks ago

5 weeks ago

10f7cc80af2f · 50GB

model
llama
·
70.6B
·
Q5_K_M
template
{{ if .Messages }} {{- if or .System .Tools }}<|start_header_id|>system<|end_header_id|> {{- if .System }} {{ .System }} {{- end }} {{- if .Tools }} You are a helpful assistant with tool calling capabilities. When you receive a tool call response, use the output to format an answer to the orginal use question. {{- end }} {{- end }}<|eot_id|> {{- range $i, $_ := .Messages }} {{- $last := eq (len (slice $.Messages $i)) 1 }} {{- if eq .Role "user" }}<|start_header_id|>user<|end_header_id|> {{- if and $.Tools $last }} Given the following functions, please respond with a JSON for a function call with its proper arguments that best answers the given prompt. Respond in the format {"name": function name, "parameters": dictionary of argument name and its value}. Do not use variables. {{ $.Tools }} {{- end }} {{ .Content }}<|eot_id|>{{ if $last }}<|start_header_id|>assistant<|end_header_id|> {{ end }} {{- else if eq .Role "assistant" }}<|start_header_id|>assistant<|end_header_id|> {{- if .ToolCalls }} {{- range .ToolCalls }}{"name": "{{ .Function.Name }}", "parameters": {{ .Function.Arguments }}}{{ end }} {{- else }} {{ .Content }}{{ if not $last }}<|eot_id|>{{ end }} {{- end }} {{- else if eq .Role "tool" }}<|start_header_id|>ipython<|end_header_id|> {{ .Content }}<|eot_id|>{{ if $last }}<|start_header_id|>assistant<|end_header_id|> {{ end }} {{- end }} {{- end }} {{- else }} {{- if .System }}<|start_header_id|>system<|end_header_id|> {{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|> {{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|> {{ end }}{{ .Response }}{{ if .Response }}<|eot_id|>{{ end }}
system
You are Linkbricks Horizon AI (링크브릭스 호라이즌 AI) , acting as an heplful assistant.
params
{"num_keep":10,"stop":["<|start_header_id|>","<|end_header_id|>","<|eot_id|>"]}

Readme

linkbricks.png

AI 와 빅데이터 분석 전문 기업인 Linkbricks의 데이터사이언티스트인 지윤성 박사(Saxo)가 NousResearch/Meta-Llama-3.1-8B-Instruct 베이스모델을 KT-CLOUD상의 H100-80G 4개를 통해 SFT->RLHF->DPO 파인 튜닝을 한
한글 언어 모델로 한국어-중국어-영어-일본어 교차 학습 데이터와 로지컬 데이터를 통하여 한중일영 언어 교차 증강 처리와 복잡한 한글 논리 문제 역시 대응 가능하도록 훈련한 모델이며 토크나이저는 단어 확장 없이 베이스 모델 그대로 사용.
특히 고객 리뷰나 소셜 포스팅 고차원 분석 및 코딩등이 강화된 모델, 128k-Context Window, Tool Calling 지원
Deepspeed Stage=3, rslora, flash attention 2 를 사용

Dr. Yunsung Ji (Saxo), a data scientist at Linkbricks, a company specializing in AI and big data analytics, fine-tuned the NousResearch/Meta-Llama-3.1-8B-Instruct base model with SFT->RLHF->DPO using four H100-80Gs on KT-CLOUD.
It is a Korean language model trained to handle complex Korean logic problems through Korean-Chinese-English-Japanese cross-training data and logical data, and Tokenizer uses the base model without word expansion.

www.linkbricks.com, www.linkbricks.vc