mk-13 Sehen. Verstehen. Bewahren.

KI

LLM Council: Was ein KI-Gremium über gute Entscheidungen verrät

26. Juli 2026 · KI · 1335 Wörter · 7 Min.
LLM Council
LLM Council

Neulich wollte ich eine Versicherung abschließen und habe eine KI den günstigsten Anbieter mit der besten Leistung heraussuchen lassen, samt Vergleich der Tarife. Die Antwort kam prompt und klang souverän. Stutzig wurde ich erst bei einer Kleinigkeit: In einem der Tarife war eine Leistung aufgeführt, die bei dieser Art Versicherung überhaupt keinen Sinn ergab. Nichts an der Antwort wirkte falsch. Sie war plausibel falsch, und das ist die gefährlichere Sorte. Seitdem stelle ich mir bei jeder wichtigeren Frage dieselbe Frage: Kann ich einer einzelnen Antwort trauen? Eine mögliche Antwort darauf heißt LLM Council.

Was der LLM Council ist

Andrej Karpathy hat Ende 2025 ein kleines Open-Source-Experiment veröffentlicht, das genau hier ansetzt. Die Idee ist schlicht: Statt einer einzigen KI zu vertrauen, lässt man mehrere Modelle wie ein Gremium zusammenarbeiten. Was dabei herauskommt, ist verlässlicher als die Antwort jedes einzelnen Modells.

Der Ablauf hat drei Stufen. Zuerst geht dieselbe Frage an mehrere Modelle gleichzeitig, etwa an die von OpenAI, Google und Anthropic. Jedes antwortet für sich, ohne die anderen zu sehen. Dann bekommt jedes Modell die übrigen Antworten anonymisiert vorgelegt und benotet sie nach Genauigkeit und Vollständigkeit. Zuletzt fasst ein festgelegtes Modell, der Chairman, alles zu einer einzigen, abgewogenen Endantwort zusammen.

Am meisten überrascht hat mich die mittlere Stufe. Dass die Bewertung anonym läuft, ist ein einfacher Regie-Kniff mit großer Wirkung: Weil kein Modell weiß, von wem eine Antwort stammt, kann auch keines sein eigenes Werk bevorzugen. Bemerkenswert finde ich dabei weniger, dass die KI mitspielt, als dass ein Mensch einen so schlichten Trick findet, um ein fast allwissendes System auszutricksen. Die Klugheit steckt nicht im Modell. Sie steckt in der Anordnung. Karpathy selbst nennt das Ganze einen weekend hack, kaum mehr Code als für eine kleine Web-App.

Warum der LLM Council funktioniert, und weit über KI hinausreicht

Der Grund ist einfach. Ein einzelnes Modell trägt immer denselben Denkstil mit sich, dieselben blinden Flecken, weil es aus einer Trainingsweise stammt. Fragt man nur dieses eine, bekommt man nur diese eine Perspektive, mitsamt ihrer Neigung zu Halluzinationen. Mehrere unabhängige Stimmen gleichen das aus.

Das kenne ich aus dem Leben, lange bevor es KI gab. Bei allem, wo es um Geld geht, bei Konto und Kredit, bei Versicherungen, verlasse ich mich nie auf eine einzige Auskunft. Und ich bin misstrauisch geworden, gerade dort, wo mir jemand die Arbeit des Vergleichens abnehmen will. Die großen Vergleichsportale im Netz geben sich neutral, sortieren aber gegen Bezahlung bestimmte Anbieter nach vorne und verkaufen das als „das Beste“ oder „das Günstigste“. Das ist im Grunde ein gekaufter Chairman ohne Gremium dahinter: eine einzige Stimme, die so tut, als hätte sie abgewogen. Genau das verhindert der LLM Council durch echte Unabhängigkeit.

Noch nützlicher ist, was passiert, wenn die Stimmen auseinandergehen. Als wir eine Photovoltaik-Anlage wollten, hatte ich zwei Angebote, die unterschiedlicher nicht sein konnten. Der eine Anbieter: wenige Panels, günstig, deckt den heutigen Stromverbrauch. Gut und preiswert. Der andere: das ganze Dach voll, deutlich teurer, mit dem Hinweis, dass die kleine Anlage nicht reicht, sobald ein zweites E-Auto, eine Klimaanlage oder eine Wärmepumpe dazukommt. Erst dachte ich, einer müsse falsch liegen. Dann merkte ich: Der Widerspruch war die eigentliche Information. Die beiden stritten gar nicht über den Preis. Sie legten die Frage frei, die ich mir selbst nicht gestellt hatte: Will ich das Hier und Jetzt abdecken oder in die Zukunft schauen? Uneinigkeit ist kein Ärgernis, das man wegmitteln sollte. Sie ist ein Fingerzeig auf den wunden Punkt.

Die dritte Einsicht betrifft das Schreiben, also das, was ich hier gerade tue. Modelle sind oft besser darin, Antworten zu bewerten, als sie selbst zu verfassen. Das gilt für Menschen genauso. Eine leere Seite zu füllen ist ungleich schwerer, als einen fertigen Text zu beurteilen. Ich nutze das inzwischen bewusst: Ich schreibe den Rohentwurf, egal wie grob, und lasse die KI ihn kritisch hinterfragen, statt sie schreiben zu lassen. Auch dieser Artikel ist so entstanden. Ich erzeuge, die KI bewertet, den Standpunkt behalte ich. Der Umweg über einen schlechten ersten Wurf ist kürzer als der Versuch, gleich das Fertige zu treffen.

Und wenn man nicht fünf Modelle bezahlen will?

Ein echter LLM Council ist nichts für den Alltag. Jede Frage löst Aufrufe an vier oder fünf Modelle aus, das kostet Geld, und die guten Modelle gibt es meist nur im Abo. Für die meisten, mich eingeschlossen, ist das keine Option.

Es gibt eine abgespeckte Variante: ein einziges Modell, das nacheinander mehrere Rollen einnimmt. Antworte mir als Optimist, dann als Skeptiker, dann als Kostenrechner. Ich habe das beim Kauf eines Druckers gemacht, bei dem ich mir nicht sicher war, ob es der richtige ist. Je nach Frage lassen sich die Rollen anders zuschneiden. Ehrlich muss man dazusagen: Ein Modell, das mit sich selbst debattiert, teilt seine blinden Flecken mit sich selbst. Es ersetzt keine vier echten, unterschiedlich trainierten Modelle. Aber die erzwungene Rollen-Brille holt Perspektiven heraus, die im normalen Durchlauf untergehen. Für eine mittelgroße Entscheidung reicht das oft.

Der Preis, und eine Frage, die bleibt

Ganz sauber ist der Ansatz nicht. Neben den Kosten hat die gegenseitige Bewertung eine eigene Schwäche: Modelle bevorzugen tendenziell lange, wortreiche Antworten, auch wenn eine kurze präziser wäre. Eine ausführliche Antwort wirkt eben klüger, ohne es zu sein. Und am Ende ist alles nur so gut wie der Chairman, der zusammenfasst. Man kann noch so viele unabhängige Stimmen einholen: Ist die zusammenfassende Instanz schwach oder voreingenommen, verengt sich zum Schluss wieder alles auf einen einzigen Punkt. Da ist es wieder, das Vergleichsportal.

Weitergedacht wird es unbequem. Was, wenn ich jede beteiligte KI einmal den Vorsitz führen lasse und die Zusammenfassungen vergleiche? Bekomme ich dann eine Entscheidung, die faktisch objektiv ist? Ich glaube: nein. Auch ein Gremium aus lauter Vorsitzenden liefert am Ende ein Urteil, kein Faktum. Es gibt keinen Boden, auf dem die Subjektivität aufhört. Immerhin: Wo die Vorsitzenden auseinandergehen, ist wieder die Uneinigkeit als Signal am Werk und zeigt den wunden Punkt. Der LLM Council nimmt einem die Entscheidung nicht ab. Er nimmt einem die falsche Sicherheit.

Je länger ich darüber nachdenke, desto vertrauter kommt mir das Ganze vor. Es ist im Grunde das, was ich mit meinen Notizen ohnehin tue. Inhalte aus verschiedenen Quellen sammeln, miteinander in Verbindung bringen und daraus etwas Eigenes destillieren, das ist die Bewegung von C.O.D.E.: Capture, Organize, Distill, Express. Ein digitaler Garten wächst nach demselben Prinzip, und dieselbe Skepsis gegenüber fertig servierten Quellen steckt darin, dass Notizen nur dann etwas wert sind, wenn man sie sich selbst erarbeitet. Der LLM Council macht in einer einzigen Frage, was ein gutes Notizsystem über Jahre tut: Er traut keiner Quelle allein und formt aus dem vernetzten Ganzen etwas Neues.

Lohnt sich der Aufwand also? Bei großen Entscheidungen, vor allem finanziellen, klingt der LLM Council für mich verlockend, etwa der PV-Fall oder ein Kredit. Bei anderen wichtigen Fragen tut es vielleicht der kleine Rollen-Council in einem einzigen Modell. Für die alltäglichen KI-Anfragen taugt beides nicht, da wäre der Aufwand pure Verschwendung. Am Ende bleibt eine alte Faustregel, die Karpathy nur in Software gegossen hat: Je höher das Risiko, desto mehr lohnt es sich, mehrere unabhängige Perspektiven einzuholen, bevor man sich festlegt. Nicht weil sie die Wahrheit liefern, die gibt es nicht, sondern weil sie zeigen, wo die Entscheidung wirklich liegt. Beim PV-Angebot war das nicht der Preis. Es war die Frage nach der Zukunft.

Literatur