18 5 months ago

AZR Modelo entrenado por IA con datos de IA Q4_K_S 🚀

Models

View all →

Readme

Absolute Zero Reasoner Coder 14B es un modelo de lenguaje de última generación que introduce avances notables en razonamiento autónomo y generación de código, gracias a su innovador enfoque de entrenamiento conocido como el paradigma “Absolute Zero”.

Es un modelo entrenado SIN DATOS y a conseguido mas puntuación, si recuerdas (Alpha Zero) en el pasado el mayor limitante para la IA eran los datos humanos que son pocos y por ello no lograba ganar a los jugadores de ajedrez, pero cuando pusieron a la IA a entrenarse con la IA superando a los humanos y es el nuevo PLAN para conseguir una IA que supere a los humanos, este es el primer modelo de IA tipo LLM que no esta limitado solo a ajedres, sino que puedes hablar de lo que quieras es general.

image.png

Características clave y puntos destacados Aprendizaje sin datos humanos El modelo se entrena completamente sin datos curados por humanos. En lugar de depender de grandes corpus de ejemplos etiquetados, aprende generando y resolviendo sus propios problemas mediante auto-juego reforzado (self-play), lo que elimina la necesidad de supervisión o datasets externos.

Paradigma Absolute Zero Bajo este paradigma, el modelo actúa simultáneamente como:

Proponente: genera nuevos desafíos de razonamiento (típicamente problemas de código).

Cuando la Ia se entrenaba a si misma con sus propios datos esto es lo que penso:

image.png

Solucionador: intenta resolver los problemas que él mismo propone. Todo esto se realiza en un entorno verificable (usualmente un ejecutor de código), que le proporciona retroalimentación objetiva y automática sobre si su solución es correcta.

Tres modos de razonamiento El modelo se especializa en deducción, inducción y abducción, cubriendo así los principales tipos de razonamiento lógico y matemático. Esto le permite abordar tareas complejas y variadas, no solo en programación sino también en matemáticas y lógica formal

# Modelfile based on the provided preset values

# 1. Base Model (as per your request)
from Absolute_Zero_Reasoner-Coder-14b.Q4_K_S.gguf

# 2. Prompt Template
# Type: Manual
# Before System: "\n"
# After System: ""
# Before User: "\n### Instruction:\n"
# After User: "\n### Response:\n"
# Before Assistant: ""
# After Assistant: ""
#
# This translates to:
# If System prompt exists: \n{System}\n### Instruction:\n{Prompt}\n### Response:\n
# If no System prompt: \n### Instruction:\n{Prompt}\n### Response:\n

TEMPLATE """{{- if .System }}
{{ .System }}
{{- end }}
### Instruction:
{{ .Prompt }}
### Response:
"""

# 3. Mensaje del Sistema (System Message)
# "Below is an instruction that describes a task.
# Write a response that appropriately completes the req ... citud,
# exploranto temas claves, evalua el inpacto verifica los detalles
# completa response in spanish"
#
# Attempting to complete the Spanish text:
# "Below is an instruction that describes a task. Write a response that appropriately completes the solicitud,
# explorando temas claves, evalúa el impacto, verifica los detalles y completa la respuesta en español."
SYSTEM """Below is an instruction that describes a task. Write a response that appropriately completes the solicitud, explorando temas claves, evalúa el impacto, verifica los detalles y completa la respuesta en español."""

# 4. Cadenas de Parada (Stop Sequences)
# "### Instruction:"
PARAMETER stop "### Instruction:"
# It's common to also include the newline if that's how it usually appears
PARAMETER stop "\n### Instruction:"

# 5. Temperatura (Temperature)
# 0.15
PARAMETER temperature 0.15

# Other common parameters you might want to consider (not in the image, but good to know):
# PARAMETER num_predict -1 # Max tokens to generate, -1 for unlimited (or until stop token)
# PARAMETER top_k 40
# PARAMETER top_p 0.9
# PARAMETER mirostat 0 # 0 to disable, 1 for Mirostat, 2 for Mirostat 2.0
# PARAMETER mirostat_tau 5.0
# PARAMETER mirostat_eta 0.1