ICLR 2025: Wann weiß ein Modell, dass es unsicher ist?
In diesem Beitrag
Eine Prognose ist nur so nützlich wie das Wissen darüber, wie verlässlich sie ist. In einem Paper für die ICLR 2025 zeigen wir, wie ein Transformer ehrliche Prognoseintervalle liefert, ohne dafür ein einziges Mal neu trainiert zu werden.
Jede Prognose ist unsicher. Das ist kein Fehler, sondern liegt in der Natur der Sache: Niemand weiß genau, wie viel nächste Woche verkauft wird. Problematisch wird es erst, wenn ein Modell unsicher ist und es nicht sagt.
Um diese Frage geht es in unserem Paper „Predictive Inference Is Really Free with In-Context Learning“. Es ist 2025 beim Workshop „Quantify Uncertainty and Hallucination in Foundation Models“ der ICLR erschienen, einer der wichtigsten Konferenzen für maschinelles Lernen. Geschrieben haben es Sohom Mukherjee, Ivane Antonov, Kai Günder und Magnus Maichle.
Zwei Arten von Unsicherheit
Wer über die Unsicherheit einer Prognose spricht, meint oft zwei verschiedene Dinge. Die erste steckt in der Nachfrage selbst: Auch wer alles über einen Artikel weiß, kann nicht vorhersagen, ob nächste Woche 40 oder 60 Stück verkauft werden. Diese Schwankung bildet das Prognoseband ab, über das wir im Beitrag zur NeurIPS 2024 geschrieben haben.
Die zweite Unsicherheit steckt im Modell. Hat es für diesen Artikel genug gesehen, um verlässlich zu sein? Passt das Muster zu dem, was es gelernt hat? Diese Frage wird umso wichtiger, je mehr ein Modell kann. Ein Foundation Model, das auch Artikel prognostiziert, die es nie gesehen hat, sollte auch sagen können, wann es sich dabei schwertut.
Eine bewährte Idee mit einem Haken
Die Statistik hat für diese Frage ein bewährtes Werkzeug: das Jackknife. Die Idee ist einfach. Man lässt beim Training jeweils einen Datenpunkt weg und prüft, wie gut das Modell genau diesen Punkt vorhersagt. Aus den Fehlern dieser Leave-one-out-Vorhersagen ergibt sich, wie breit ein ehrliches Prognoseintervall sein muss. Die Variante Jackknife+ liefert dafür sogar eine mathematische Garantie, ohne Annahmen über die Verteilung der Daten.
Der Haken: Für jeden weggelassenen Datenpunkt muss das Modell neu trainiert werden. Bei hundert Datenpunkten sind das hundert Trainingsläufe. Für ein großes neuronales Netz ist das praktisch nicht machbar.
Was wir gezeigt haben
Hier kommt In-Context Learning ins Spiel. Ein Transformer, der gelernt hat, aus dem Kontext zu lernen, muss nicht neu trainiert werden, um einen Datenpunkt wegzulassen. Es reicht, ihn aus dem Prompt zu nehmen. Aus hundert Trainingsläufen werden hundert Anfragen an dasselbe Modell.
Unsere Methode heißt In-context Jackknife+, kurz ICJ+. Wir zeigen, dass sie unter milden Annahmen dieselbe Art verteilungsfreier Garantie liefert wie das klassische Jackknife+. Der Schlüssel ist die Stabilität solcher Transformer: Ein einzelner Datenpunkt mehr oder weniger im Prompt verändert ihre Vorhersage nur begrenzt.
In Experimenten auf synthetischen Daten für fünf Klassen von Funktionen waren die Intervalle von ICJ+ gemessen an Abdeckung und Breite genauso gut wie die des klassischen Jackknife+ und der wahren Konfidenzintervalle oder besser. Der Titel spielt übrigens auf eine bekannte Arbeit aus der Statistik an: „Predictive Inference Is Free with the Jackknife+-after-Bootstrap“. Bei uns ist die Unsicherheitsschätzung wirklich umsonst, denn sie kostet kein zusätzliches Training.
Warum das für die Bestandsplanung zählt
Für die Planung ist ein ehrliches Intervall mehr wert als eine scheinbar genaue Zahl. Es entscheidet mit darüber, wie viel Sicherheitsbestand sinnvoll ist. Ist das Modell bei einem Artikel unsicher, braucht die Bestellung mehr Puffer oder einen zweiten Blick.
Genau dieser zweite Blick ist uns wichtig. Wenn ein Modell erkennt, wo es unsicher ist, kann es die Aufmerksamkeit der Planerin auf die Artikel lenken, bei denen ihr Wissen den Unterschied macht. Unsicherheit offen zu zeigen, gehört deshalb zu den Grundsätzen, die wir aus der Forschung in SOLISTIQ mitgenommen haben.
Wie aus diesen Bausteinen ein Foundation Model für ganze Sortimente wird, zeigen wir im Beitrag zu unserem Paper auf der ECIS 2025. Sie möchten wissen, wie verlässlich die Prognosen für Ihr Sortiment sind?
Sprechen Sie mit uns.
Zum Weiterlesen
- Mukherjee, S., Antonov, I., Günder, K. & Maichle, M. J. (2025). Predictive Inference Is Really Free with In-Context Learning. ICLR 2025 Workshop „Quantify Uncertainty and Hallucination in Foundation Models“. openreview.net
- Barber, R. F., Candès, E. J., Ramdas, A. & Tibshirani, R. J. (2021). Predictive Inference with the Jackknife+. The Annals of Statistics 49(1), 486–507. arXiv:1905.02928
- Kim, B., Xu, C. & Barber, R. F. (2020). Predictive Inference Is Free with the Jackknife+-after-Bootstrap. NeurIPS 2020. arXiv:2002.09025
- Angelopoulos, A. N. & Bates, S. (2023). Conformal Prediction: A Gentle Introduction. Foundations and Trends in Machine Learning 16(4), 494–591. arXiv:2107.07511
- Müller, S., Hollmann, N., Pineda Arango, S., Grabocka, J. & Hutter, F. (2022). Transformers Can Do Bayesian Inference. ICLR 2022. arXiv:2112.10510