Modèle Llama3 Français sur Ollama

Ce dépôt contient le modèle Llama3 Français (MathiasB/llama3fr), ayant comme base llama3 et entraîné sur le dataset French-Alpaca-dataset-Instruct-110K. Ce dataset, créé par Jonathan Pacifico, comprend 110 368 instructions en français générées par OpenAI GPT-3.5-turbo, au format Alpaca, pour affiner les modèles de langage généralistes.

Description du Modèle

Llama3 Français est un modèle de langage basé sur la version 3 de la série de modèles Llama, développée par Meta AI. Il utilise une architecture de transformateur optimisée et est pré-entraîné sur environ 15 trillions de tokens de texte provenant de sources publiques. Les modèles Llama 3 sont disponibles en tailles de 8 milliards et 70 milliards de paramètres, avec des variantes pré-entraînées et ajustées pour des instructions. Le modèle a été affiné avec des techniques de fine-tuning supervisé et de l’apprentissage par renforcement avec feedback humain pour aligner les préférences humaines en matière de sécurité et d’utilité.

Pour lancer le modèle, exécutez la commande suivante :

ollama run MathiasB/llama3fr