10 Downloads Updated 1 week ago
ollama run aratan/fint-40b
Presentando a Flint Presentamos Recursive Flint, un modelo de mezcla de expertos (MoE) diseñado para la codificación rápida de agentes en hardware local. Flint cuenta con 40 mil millones de parámetros y activa solo 2.5 mil millones por token. Nuestro pequeño equipo de personas y agentes lo desarrolló desde cero en menos de cuatro meses.
Flint lidera el rendimiento de los modelos MoE con menos de 50 mil millones de parámetros totales en pruebas de codificación ágínica, incluyendo SWE-Bench Pro v2, Terminal-Bench 2.1 y SWE-Bench Verified. Además, rivaliza con el rendimiento de codificación de modelos densos con entre 25 y 40 mil millones de parámetros, a la vez que se ejecuta más de cinco veces más rápido.
Gracias a nuestro motor de inferencia optimizado, Flint genera más de 125 tokens por segundo en un MacBook Pro con M4 Pro y más de 150 tokens por segundo en un NVIDIA RTX Spark de 64 GB en contextos cortos, hasta el doble de rápido que los modelos comparables.
La creación de Flint fue una prueba práctica de la Máquina Eureka de Recursive, nuestro sistema para la investigación y el desarrollo automatizados de IA a gran escala. Nuestra Máquina Eureka ayudó a desarrollar prácticamente todos los componentes del sistema de creación de modelos de Flint, desde los datos y las recetas de entrenamiento hasta la infraestructura y la optimización de la inferencia.
Rendimiento de codificación agencial local de última generación Flint es el modelo MoE con mejor rendimiento entre los que tienen menos de 50 mil millones de parámetros totales en las pruebas de codificación agencial. Compite con los modelos densos más potentes de tamaño total similar, pero con una velocidad significativamente mayor.