GitHub – karpathy/llm-council: LLM Council works together to answer your hardest questions

Meet the LLM Council, a playful little project by Andrej Karpathy that lets multiple large language models work together to answer your toughest questions. I first stumbled on it while trying to “read” a book with different LLMs, and I loved seeing the same question answered in several flavors, then critiqued and ranked by the group, with a final answer stitched together by a chairman LLM. It felt like watching a panel discussion, except faster and slightly chaotic (in a good way).

The repo lives on GitHub, you can find it here: https://github.com/karpathy/llm-council. It’s a local web app, built as a Saturday vibe-coded hack, meant more for inspiration than production use. That said, getting it running is pretty straightforward:
– Create a .env file in the project root.
– Get an API key at https://openrouter.ai and add it to .env.
– Edit backend/config.py to customize which LLMs are in your council.
– Start the backend and frontend (there’s a start script, or run them manually), then open http://localhost:5173.

What makes it interesting is the workflow, not the polish. You send a query, multiple LLMs answer, they review each other, and the chairman LLM produces the final response. It’s a neat way to compare styles and see cross-opinions, especially when you want a second, third, or fourth perspective before trusting an answer.

A quick caveat, because transparency matters: Karpathy isn’t maintaining this long term, it’s shared as-is. So expect rough edges, and feel free to tinker. Imagine collector’s edition code that encourages experimentation, and then imagine where this could go—ensembles that get better at self-correcting, or hybrid systems that mix models depending on the task. I’m excited to see what you do with it, and if you try it, tell me what your council argues about first.

Deutsch

Das LLM Council, ein kleines Projekt von Andrej Karpathy, lässt mehrere Sprachmodelle gemeinsam an einer Antwort arbeiten. Ich bin darüber gestolpert, als ich mit LLMs zusammen ein Buch „gelesen“ habe. Es ist spannend, weil mehrere Antworten Seite an Seite stehen, sich gegenseitig bewerten und am Ende ein Vorsitzender-LLM die finale Antwort formt. Stell dir eine Mini-Diskussionsrunde vor, nur digital und schneller.

Das Repository findest du hier: https://github.com/karpathy/llm-council. Es ist als lokaler Web-App-Hack gedacht, eher zum Ausprobieren als für Produktion. Die Einrichtung ist simpel:
– Lege eine .env im Projektordner an.
– Hol dir einen API-Schlüssel bei https://openrouter.ai und trage ihn ein.
– Passe backend/config.py an, um deinen Rat (deine „Council“-Modelle) zu konfigurieren.
– Starte Backend und Frontend (Startskript oder manuell) und öffne http://localhost:5173.

Wichtig zu wissen, das Projekt ist „vibe coded“ und nicht dauerhaft gewartet, also erwarte kleinere Macken. Genau das macht es aber auch charmant: leicht zu ändern, schnell zu testen. Praktisch ist es, wenn du verschiedene Perspektiven brauchst, oder wenn du sehen willst, wie Modelle sich gegenseitig korrigieren. Mein Fazit: tolles Experimentierfeld und eine schöne Basis für Ensemble-Ideen der Zukunft.