Pines que coinciden con tag:"Mixture of Experts"

Google presenta Gemini 1.5 Pro, un modelo de mezcla de expertos que iguala a Gemini 1.0 Ultra e introduce una ventana de contexto de hasta 1 million de tokens, probada hasta 10 million.

El equipo Qwen de Alibaba publica como código abierto la familia Qwen3 bajo Apache 2.0: seis modelos densos de 0.6B a 32B y dos modelos de mezcla de expertos (30B-A3B y 235B-A22B), con modos de pensamiento y no pensamiento intercambiables y 119 idiomas; el buque insignia denso Qwen3-32B obtiene 93.8 en Arena-Hard en modo de pensamiento.

MiniMax lanza M1, un modelo de razonamiento de pesos abiertos de 456B con mezcla de expertos híbrida y atención relámpago, un contexto de 1M tokens y salida de razonamiento de 80K tokens, entrenado con un nuevo algoritmo de aprendizaje por refuerzo por un coste reportado de $534,700.

El equipo Qwen de Alibaba lanza discretamente Qwen3-235B-A22B-Instruct-2507, un modelo de mezcla de expertos de 235B sin pensamiento, con un contexto de 256K y licencia Apache 2.0, que las propias tablas de Qwen sitúan por delante de Claude Opus 4 sin pensamiento y de Kimi K2 en varias pruebas.

El equipo Qwen de Alibaba lanza Qwen3-235B-A22B-Thinking-2507, un modelo de mezcla de expertos de 235B que solo piensa con un contexto de 262K bajo Apache 2.0, con una puntuación de 92,3 en AIME25 y 74,1 en LiveCodeBench v6.

El equipo Qwen de Alibaba lanza Qwen3-30B-A3B-Instruct-2507, un modelo de mezcla de expertos de 30.5B sin razonamiento con solo 3.3B de parámetros activos y un contexto de 262K que, según Qwen, se acerca a GPT-4o.

Alibaba lanza Qwen3-Next-80B-A3B-Instruct y Thinking, modelos de 80B ultradispersos que activan solo 3B de parámetros por token, usan un diseño de atención híbrido Gated DeltaNet y tienen licencia Apache 2.0.

Alibaba lanza en código abierto el buque insignia Qwen3-VL-235B-A22B en versiones Instruct y Thinking, un modelo de visión y lenguaje de mezcla de expertos de 235B con un contexto nativo de 256K tokens que, según Alibaba, iguala o supera a Gemini 2.5 Pro en las principales pruebas de percepción visual.

MiniMax publica en código abierto M2, un modelo de mezcla de expertos de 230B parámetros con 10B activos, creado para programación y trabajo con agentes, con un precio de $0.30 por millón de tokens de entrada y primero entre los modelos de pesos abiertos en el Intelligence Index de Artificial Analysis en su lanzamiento.

MiniMax lanza M2.1, un modelo de programación y agentes de mezcla de expertos de pesos abiertos con 230B de parámetros que activa 10B y obtiene 74.0 en SWE-bench Verified y 88.6 en su nuevo benchmark full-stack VIBE.

Arcee AI lanza Trinity Large, un modelo disperso de mezcla de expertos de 400B parámetros con 13B activos, como una Preview lista para chat más los checkpoints Base y TrueBase, a partir de un entrenamiento de 17T tokens que, según dice, costó $20 millones.

Alibaba lanza Qwen3.5-397B-A17B, un modelo multimodal nativo de pesos abiertos que activa 17B de 397B de parámetros, además del Qwen3.5-Plus alojado con un contexto de 1M de tokens, en vísperas del Año Nuevo Lunar.

El equipo Qwen de Alibaba lanza tres modelos Qwen3.5 de tamaño medio y pesos abiertos bajo Apache 2.0: uno de mezcla de expertos de 122B con 10B activos, otro de 35B con 3B activos y un modelo denso de 27B, que según la compañía superan a GPT-5 mini de OpenAI en la mayoría de los benchmarks.

Arcee AI lanza Trinity-Large-Thinking, un modelo de razonamiento abierto de 398B parámetros (unos 13B activos) creado para agentes de largo horizonte, que según dice ocupa el segundo lugar en PinchBench detrás de Claude Opus 4.6 a $0.90 por 1 millón de tokens de salida.

Thinking Machines Lab lanza Inkling, su primer modelo y un sistema de mezcla de expertos de pesos abiertos con 975B parámetros (41B activos) y contexto de 1M tokens que razona sobre texto, imágenes y audio, concebido como base para el ajuste fino.

Thinking Machines Lab lanza Inkling-Small, un modelo de pesos abiertos de 276B parámetros con 12B activos que iguala o supera al Inkling de 975B en razonamiento y programación agéntica, con un 80.2% en SWE-bench Verified.

Mistral AI lanza Mistral Large 4 en vista previa pública, un modelo de mezcla de expertos nativamente multimodal de unos 1 billón de parámetros entrenado en su propio clúster, con pesos abiertos prometidos para finales de octubre de 2026.