¿Alguna vez has deseado poder consultar a varios modelos de lenguaje simultáneamente y obtener la mejor respuesta posible? LLM Council, un proyecto creado por Andrej Karpathy(ex-Director de IA en Tesla y co-fundador de OpenAI), hace exactamente eso.
En lugar de depender de un solo proveedor de LLM como OpenAI o Anthropic, puedes agrupar múltiples modelos en tu propio "Consejo de LLMs" y dejar que trabajen juntos para darte la respuesta más precisa y completa.
¿Qué es LLM Council?
LLM Council es una aplicación web local simple que funciona similar a ChatGPT, pero con un giro interesante: usa OpenRouter para enviar tu consulta a múltiples LLMs simultáneamente. Luego, los modelos revisan y rankean el trabajo de los demás, y finalmente un LLM "Chairman" produce la respuesta final consolidada.
¿Cómo funciona? Las 3 etapas
Cuando envías una consulta, el sistema pasa por tres etapas claramente definidas:
Primera opinión
Tu consulta se envía a todos los LLMs individualmente y se recopilan las respuestas. Las respuestas individuales se muestran en una vista de pestañas para que puedas inspeccionarlas una por una.
Revisión cruzada
Cada LLM recibe las respuestas de los otros LLMs. Las identidades se anonimizan para evitar favoritismos. Se les pide que rankeen las respuestas por precisión e insight.
Respuesta final
El Chairman designado del LLM Council toma todas las respuestas y las compila en una única respuesta final que se presenta al usuario.
Evaluación anónima: Sin favoritismos
Un detalle crucial del sistema es que durante la etapa de revisión, las identidades de los LLMs se anonimizan. Esto significa que cuando Claude evalúa las respuestas, no sabe cuál es de GPT y cuál es de Gemini. Esta anonimización previene que los modelos "jueguen favoritos" al juzgar las salidas de sus competidores.
Evaluación basada únicamente en la calidad del contenido
Sin sesgos por marca o reputación del modelo
Beneficios de usar LLM Council
Múltiples perspectivas
Obtén respuestas de GPT-5.1, Claude Sonnet 4.5, Gemini 3.0 Pro, Grok 4 y más en una sola consulta.
Evaluación objetiva
Los LLMs evalúan las respuestas de forma anónima, eliminando sesgos por marca o reputación.
Respuesta consensuada
Un Chairman compila lo mejor de cada respuesta en una síntesis de alta calidad.
Transparencia total
Puedes ver todas las respuestas individuales, los rankings y entender cómo se llegó a la respuesta final.
Caso de uso: Lectura de libros con LLMs
Karpathy desarrolló este proyecto para explorar y evaluar múltiples LLMs lado a lado mientras leía libros junto con los modelos de IA. Es especialmente útil cuando quieres:
- Ver múltiples respuestas lado a lado para comparar enfoques
- Conocer las opiniones cruzadas de todos los LLMs sobre el trabajo de los demás
- Obtener una síntesis final que combine lo mejor de cada modelo
"Vibe Code": El futuro del desarrollo
Karpathy describe este proyecto como "99% vibe coded" - desarrollado en un sábado como un hack divertido. Su filosofía es interesante:
"El código es efímero ahora y las librerías están acabadas. Pídele a tu LLM que lo cambie de la manera que quieras."
Esta mentalidad refleja cómo la IA está cambiando la forma en que desarrollamos software: el código se convierte en algo más maleable y personalizable según las necesidades de cada usuario.
Cómo empezar con LLM Council
Para usar LLM Council necesitas:
- 1
Clonar el repositorio
git clone https://github.com/karpathy/llm-council - 2
Configurar tu API key de OpenRouter
OpenRouter te permite acceder a múltiples LLMs con una sola API key
- 3
Seleccionar los LLMs de tu consejo
Elige qué modelos formarán parte de tu consejo y cuál será el Chairman
- 4
Ejecutar la aplicación localmente
Inicia el servidor y comienza a hacer consultas a tu consejo de LLMs
Repositorio oficial
Conclusión
LLM Council representa una forma innovadora de aprovechar el poder de múltiples modelos de lenguaje simultáneamente. En lugar de confiar en un solo modelo, puedes obtener perspectivas diversas, evaluación cruzada objetiva y respuestas consensuadas de alta calidad.
Si trabajas con LLMs regularmente y quieres maximizar la calidad de las respuestas, especialmente para tareas complejas o investigación, LLM Council es una herramienta valiosa para agregar a tu arsenal.