Künstliche Intelligenz (KI) verändert die Bildung – von digitalen Lernassistenten bis hin zu Chatbots, die rund um die Uhr Fragen beantworten. Damit diese Systeme wirklich unterstützen können, müssen sie menschliche Sprache nicht nur erkennen, sondern auch sinnvoll verstehen [1]. Zwei Ansätze stehen dabei im Fokus: das sogenannte „Prompt Engineering“ und klassische Techniken der Sprachverarbeitung (Natural Language Processing, kurz NLP).
Fokus Forschung: Evaluierung von Prompt Engineering als Ersatz für klassische NLP-Techniken in einem Bildungs-Chatbot
Fokus Forschung: Evaluierung von Prompt Engineering als Ersatz für klassische NLP-Techniken in einem Bildungs-Chatbot
Forschung,
Konferenzteilnahmen,
Nachwuchsforschung,
Veranstaltungen,
NWK
Forscher Nachwuchs | NWK 2025 | Emma-Luisa Richter forscht zum Prompt Engineering, damit Chatbots menschliche Sprache sinnvoll verstehen
Beim Prompt Engineering geht es darum, durch gezielte Anweisungen ein präziseres Steuern von großen Sprachmodellen (Large Language Models, LLM) zu ermöglichen. Dabei werden gezielte Prompts entwickelt, die direkt an ein LLM übergeben wurden. Es wurden jeweils drei LLMs getestet – Llama3.1:70b, Mixtral:8x7b und Gemma2:27b – um die Ergebnisse robuster zu gestalten und verschiedene Perspektiven der Modelle zu berücksichtigen. Der Ansatz der NLP-Techniken setzt häufig Fine-Tuning ein, wobei vortrainierte Modelle, wie zum Beispiel das Modell BERT, an spezifische Aufgaben angepasst werden. Aber auch traditionelle Algorithmen, wie logistische Regression, kommen weiterhin zum Einsatz, um bestimmte Aufgaben zu bewältigen. Die NLP-Techniken fokussiert sich somit auf das Training und Anpassen von KI-Modellen aus dem Bereich des maschinellen Lernens, um Daten effektiv zu verarbeiten. Prompt Engineering hingegen basiert auf der Transformer-Architektur, die in der Studie „Attention is All You Need“ [2] eingeführt wurde und seither die Grundlage moderner LLMs bildet. Während Prompt Engineering als schneller, flexibler und kostengünstiger gilt, bleibt die Frage offen, ob es eine echte Alternative zum aufwendigen Modelltraining darstellt. Diese Frage wurde im Rahmen dieser Untersuchung genauer betrachtet.
Untersucht wurde der Einsatz beider Methoden in einem Bildungs-Chatbot, der speziell für die Vermittlung von Inhalten zur Blockchain-Technologie entwickelt wurde. Fünf typische Aufgaben eines solchen Chatbots wurden analysiert: das Erkennen von Begriffen (Named Entity Recognition, NER), die Analyse von Stimmungen (Sentiment Analysis, SA), das Beantworten von Fragen (Question-Answering, QA), das Klassifizieren von Texten (Text Classification, TC) und das Zusammenfassen von Texten (Text Summarization, TS). Für jede dieser Aufgaben wurden sowohl klassische NLP-Techniken als auch Prompt Engineering eingesetzt. Zusätzlich kam beim Prompt Engineering ein sogenanntes RAG-System (Retrieval-Augmented Generation) zum Einsatz, das relevante Dokumente aus einer speziellen Datenbank abruft und dem Sprachmodell mehr Kontext bietet.
Zur Bewertung der Methoden wurden quantitative Standardmetriken wie Accuracy und F1-Score verwendet, die mithilfe der Programmiersprache Python automatisiert erfasst wurden. Darüber hinaus flossen auch qualitative Metriken wie Relevanz und Vollständigkeit in die Bewertung ein, um ein umfassenderes Bild der Ergebnisse zu erhalten.
Die Ergebnisse (Abbildung 1) zeigen klare Tendenzen: Bei interpretativen Aufgaben wie Sentiment Analysis (Scores: 9.51, 10, 10) und Text Summarization (6.48, 6.17, 6.41) überzeugte vor allem Prompt Engineering. Bei strukturierten Aufgaben wie Named Entity Recognition (9.89) und Text Classification (9.17) waren dagegen die klassischen NLP-Techniken überlegen.
Diese Unterschiede spiegeln sich auch in den jeweiligen Anwendungspotenzialen wider. Prompt Engineering eignet sich besonders für dialogorientierte Szenarien, da es den Gesprächsfluss unterstützt und kontextbezogene Antworten ermöglicht – ein Befund, der frühere Studien bestätigt. Zudem ist es flexibel, anpassungsfähig und ressourcenschonend, was es ideal für dynamische Lernumgebungen macht. Klassische NLP-Techniken spielen dagegen eine zentrale Rolle bei der strukturierten Analyse, der Systemsicherheit (z. B. durch Filterung schädlicher Inhalte) und der präzisen Informationssuche (z. B. durch Entitätenerkennung).
Diese klaren Ergebnisse unterstreichen die Relevanz eines gezielten, kombinierten Einsatzes beider Methoden. Ein hybrider Ansatz vereint die Stärken beider Seiten und ermöglicht die Entwicklung von Chatbots, die zugleich gesprächsfähig, robust und anpassungsfähig sind – besonders im Bildungsbereich ein vielversprechender Weg.
Zur Person
Emma-Luisa Richter studierte IT-Sicherheit an der Hochschule Mittweida und arbeitet seit Dezember 2024 als wissenschaftliche Mitarbeiterin im Projekt ‘BOLT‘ im BCCM der Hochschule Mittweida.
Literatur
[1] Bekkar, Hibat-Allah; Chtouki, Yousra (2024): Chatbots in Education: A Systematic Literature Review, [online] ieeexplore.ieee.org/document/10690334 [10.01.2025]
[2] Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N.; Kaiser, Łukasz; Polosukhin, Illia (2017): Attention Is All You Need, [online] arxiv.org/abs/1706.03762 [12.01.2025]
Text und Grafik: Emma-Luisa Richter
Foto: Helmut Hammer