DBRX

DBRX es un modelo grande de lenguaje (LLM) desarrollado por Mosaic bajo su empresa matriz Databricks, publicado el 27 de marzo de 2024 bajo la Databricks Open Model License.​​​ Es un modelo transformador de tipo mezcla de expertos, con un total de 132 mil millones de parámetros. Para cada token están activos 36 mil millones de parámetros (4 de 16 expertos).​ El modelo publicado está disponible tanto en una versión base de modelo fundacional como en una variante ajustada mediante ajuste de instrucciones.​ En el momento de su lanzamiento, DBRX superó en varias pruebas comparativas a modelos destacados como Llama 2 de Meta, Mixtral de Mistral AI y Grok-1 de xAI. Estas pruebas abarcaban comprensión del lenguaje, capacidad de programación y matemáticas.​​​ Fue entrenado durante 2 meses y medio​ y, según se informó, utilizó 3072 Nvidia H100 conectadas mediante un ancho de banda de 3,2 terabytes por segundo (InfiniBand), con un coste de entrenamiento de 10 millones de dólares estadounidenses.​