CONFIRMADOCerteza de la fecha: CONFIRMADOAnunciado como firmeCon qué firmeza la fuente expresa la fecha: confirmada, programada, estimada, retrasada o sin verificar.Ver todos los pines CONFIRMADO89% DE CONFIANZAConfianza general: 89%Hasta qué punto la fuente y las referencias del pin respaldan sus fechas.Media ponderada de la firmeza con la que 6 referencias, incluida la fuente, respaldan las horas de inicio y fin del pin; una referencia cuenta la mitad por cada 180 días que sea más antigua que la más recienteMostrar todos los pines con un 75% de confianza o más
La publicación de Google «Gemma 2 ya está disponible para investigadores y desarrolladores» tiene fecha del 27 de junio de 2024 (firmada por Clement Farabet y Tris Warkentin) y Maginative[5] la cubrió el mismo día; los repositorios de Hugging Face[4][6] se crearon el 24 de junio bajo embargo y el informe técnico llegó a arXiv[2] el 31 de julio de 2024.- Inicio
- 27 jun 202490% DE CONFIANZAsegún la fuente
Lanzamiento de Gemma 2 9B y 27B
Traducido automáticamente del original
Título original: Gemma 2 9B and 27B Released
Google lanza Gemma 2, la segunda generación de sus modelos de lenguaje de pesos abiertos, en tamaños de 9B y 27B; Google afirma que el 27B es el mejor de su clase por tamaño y funciona con precisión completa en una sola GPU H100 o un host TPU.
- Google lanzó Gemma 2 el 27 de junio de 2024 en tamaños de 9B y 27B, la segunda generación de los modelos de pesos abiertos construidos con la misma investigación y tecnología que Gemini, con pesos en Kaggle y Hugging Face; las pruebas gratuitas del 27B en Google AI Studio y Vertex AI Model Garden figuraban como próximamente[1][5]
- Google calificó al 27B como el mejor de su clase por tamaño, con un rendimiento competitivo frente a modelos más de dos veces mayores, y dijo que el 9B supera a Llama 3 8B y a otros modelos abiertos de su categoría; el informe técnico afirma que los de 2B y 9B son "alternativas competitivas a modelos que son 2-3 x más grandes"[1][2][5]
- En el gráfico de Google, el 27B obtiene 75.2 en MMLU (Llama 3 70B 79.5, Llama 3 8B 66.6), 74.9 en BBH (70B 81.3), 74.0 en GSM8K, 42.3 en MATH y 51.8 en HumanEval, mientras que el 9B obtiene 71.3 en MMLU y 40.2 en HumanEval[1][4]
- En la evaluación Chatbot Arena del informe técnico, gemma-2-27b-it alcanzó un Elo de 1218, por encima de los 1206 de Llama 3 70B, y el 9B llegó a 1187, cerca de los 1186 de GPT-4-0314[2]
- El 27B está diseñado para ejecutar inferencia con precisión completa en un solo host TPU de Google Cloud, una NVIDIA A100 80GB o una H100; OpenRouter listó después Gemma 2 27B a $0.65 por millón de tokens de entrada y salida con un contexto de 8,192 tokens[1][6]
Características destacadas
- Arquitectura: atención local de ventana deslizante (4,096 tokens) alternada con atención global (8,192 tokens) en una de cada dos capas, atención de consultas agrupadas, limitación suave de logits y un vocabulario de 256K tokens, solo texto y principalmente en inglés[2]
- Entrenamiento: el 27B con 13 billones de tokens y el 9B con 8 billones, con los modelos de 2B y 9B entrenados por destilación de conocimiento a partir de un profesor más grande en lugar de la simple predicción del siguiente token, mientras que el 27B se entrenó desde cero[2][4]
- Publicado bajo la licencia Gemma, comercialmente amigable, y compatible con Hugging Face Transformers, JAX, PyTorch y TensorFlow mediante Keras 3, vLLM, Gemma.cpp, Llama.cpp y Ollama, con optimización de NVIDIA TensorRT-LLM[1][5]
- Se lanzó con el Responsible Generative AI Toolkit, el LLM Comparator de código abierto y planes de abrir el código de la marca de agua de texto SynthID para Gemma[1]
Pruebas de referencia
Gráfico de rendimiento de Google de la publicación del lanzamiento; "-" significa no informado[1].
| Prueba (métrica) | Gemma 2 9B | Gemma 2 27B | Llama 3 8B | Llama 3 70B | Grok-1 314B |
|---|---|---|---|---|---|
| MMLU (5-shot, top-1) | 71.3 | 75.2 | 66.6 | 79.5 | 73.0 |
| BBH (3-shot, CoT) | 68.2 | 74.9 | 61.1 | 81.3 | - |
| HellaSwag (10-shot) | 81.9 | 86.4 | 82 | - | - |
| GSM8K (5-shot, maj@1) | 68.6 | 74.0 | 45.7 | - | 62.9 (8-shot) |
| MATH (4-shot) | 36.6 | 42.3 | - | - | 23.9 |
| HumanEval (pass@1) | 40.2 | 51.8 | - | - | 63.2 (0-shot) |