MathiasB / llama3fr

8B

209 Pulls Updated 3 months ago

3 months ago

86b24fe34b1e · 4.8GB

model
llama
·
8.03B
·
Q4_0
template
{{ if .System }}<|start_header_id|>system<|end_header_id|> {{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|> {{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|> {{ .Response }}<|eot_id|>
params
{"num_keep":24,"stop":["<|start_header_id|>","<|end_header_id|>","<|eot_id|>"]}
adapter

Readme

Modèle Llama3 Français sur Ollama

Ce dépôt contient le modèle Llama3 Français (MathiasB/llama3fr), ayant comme base llama3 et entraîné sur le dataset French-Alpaca-dataset-Instruct-110K. Ce dataset, créé par Jonathan Pacifico, comprend 110 368 instructions en français générées par OpenAI GPT-3.5-turbo, au format Alpaca, pour affiner les modèles de langage généralistes.

Description du Modèle

Llama3 Français est un modèle de langage basé sur la version 3 de la série de modèles Llama, développée par Meta AI. Il utilise une architecture de transformateur optimisée et est pré-entraîné sur environ 15 trillions de tokens de texte provenant de sources publiques. Les modèles Llama 3 sont disponibles en tailles de 8 milliards et 70 milliards de paramètres, avec des variantes pré-entraînées et ajustées pour des instructions. Le modèle a été affiné avec des techniques de fine-tuning supervisé et de l’apprentissage par renforcement avec feedback humain pour aligner les préférences humaines en matière de sécurité et d’utilité.

Pour lancer le modèle, exécutez la commande suivante :

ollama run MathiasB/llama3fr