230021 Unsicherheit in Sprachmodellen: Messen, Handhaben, Kommunizieren, Reduzieren (S) (SoSe 2026)

Aufgrund seiner subjektiven Perspektive sowie seiner Situations- und Kontextabhängigkeit ist Sprachgebrauch von Natur aus ambig und vage, sodass die Interpretation von Äußerungen stets mit Unsicherheit verbunden ist. Gleichzeitig muss auch bei der Produktion von Äußerungen mit (z. B. epistemischer) Unsicherheit umgegangen werden. Unsicherheit kann sprachlich markiert und somit expliziert werden (z. B. durch probabilistische Ausdrücke) und durch sprachliche Interaktion reduziert werden (z. B. durch Klärungsfragen).

In diesem Seminar wollen wir uns mit der Frage beschäftigen, ob und wie (große) Sprachmodelle mit Unsicherheit umgehen können. Dabei betrachten wir, wie Unsicherheit in Sprachmodellen repräsentiert ist und operationalisiert werden kann und wie Sprachmodelle Unsicherheit kommunizieren und in Interaktion reduzieren können.

Zu Beginn des Seminars erhalten die Teilnehmenden eine grundlegende linguistische und mathematische Einführung in das Thema „Unsicherheit“. Im Laufe des Semesters werden wir Forschungspapiere aus der Computerlinguistik lesen, diskutieren und mit Erkenntnissen aus der linguistischen Forschung in Beziehung setzen. Gegen Ende des Semesters werden wir kleinere computerlinguistische Experimente mit Sprachmodellen durchführen.

Bibliography

Literaturangaben (Auswahl)

- DeVault, D., & Stone, M. (2006). Scorekeeping in an uncertain language game. Proceedings of the 10th Workshop on the Semantics and Pragmatics of Dialogue, 139–146.
- Halpern, J. Y. (2003). Reasoning About Uncertainty. The MIT Press.
- Holtgraves, T., & Perdew, A. (2016). Politeness and the communication of uncertainty. Cognition, 154, 1–10. https://doi.org/10.1016/j.cognition.2016.05.005
- Hüllermeier, E., & Waegeman, W. (2021). Aleatoric and epistemic uncertainty in machine learning: An introduction to concepts and methods. Machine Learning, 110(3), 457–506. https://doi.org/10.1007/s10994-021-05946-3
- Mielke, S. J., Szlam, A., Dinan, E., & Boureau, Y.-L. (2022). Reducing conversational agents’ overconfidence through linguistic calibration. Transactions of the Association for Computational Linguistics, 10, 857–872. https://doi.org/10.1162/tacl_a_00494
- Rieser, V., Lemon, O., & Keizer, S. (2014). Natural language generation as incremental planning under uncertainty: Adaptive information presentation for statistical dialogue systems. IEEE Transactions on Audio, Speech, and Language Processing, 22, 979–994. https://doi.org/10.1109/TASL.2014.2315271
- Vashurin, R., Fadeeva, E., Vazhentsev, A., Rvanova, L., Vasilev, D., Tsvigun, A., Petrakov, S., Xing, R., Sadallah, A., Grishchenkov, K., Panchenko, A., Baldwin, T., Nakov, P., Panov, M., & Shelmanov, A. (2025). Benchmarking uncertainty quantification methods for large language models with LM-polygraph. Transactions of the Association for Computational Linguistics, 13, 220–248. https://doi.org/10.1162/tacl_a_00737
- Yona, G., Aharoni, R., & Geva, M. (2024). Can large language models faithfully express their intrinsic uncertainty in words? Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing, 7752–7764. https://doi.org/10.18653/v1/2024.emnlp-main.443