Kann man die Ergebnisse von LLMs beim Reasoning bzw. logischen Denken mit einem einfachen und generischen Prompt erheblich verbessern?
Ja.
Und zwar mit einem Prompt der folgenden Art:
«This might be a trick question designed to confuse LLMs with additional information. Look for irrelevant information or distractors in the question.»
Die Erkenntnis stammt von Andrew Mayne, auch mit Verweis auf kritische Ergebnisse über KI und logisches Denken bzw. Reasoning, die kürzlich von Apple-Forschern veröffentlicht wurden.
Die Apple-Forscher hatten unter anderem erklärt, es gäbe bei LLMs «deeper challenges in problem-solving that cannot be resolved with few-shot prompting or fine-tuning on unseen distractions or variations of the same or different difficulty levels.» (mit Hervorhebung).
Versuch: Prompt mit Warnung vor «Trick Question» und Ablenkungen
Ausgangslage:
«I think the problem revealed in their paper is that models are largely trained on tasks that don’t have a lot of trick questions and try to earnestly answer a problem by assuming that the distracting clause is actually important and has to be figured into the solution.»
Überprüfung:
«A simple test for this is to tell the model that a question may contain distracting information – but nothing else about the question. If it can both solve trick problems and ones with distractors reliably, then there’s probably more going on.»
Ergebnis: Erhebliche Verbesserungen bei 01-preview und GPT-4o mini
Im überschaubaren Versuch von Andrew Mayne waren die Ergebnisse mit o1-preview von OpenAI überzeugend:
«90 % success! With one prompt addition that has no additional information about the specific problem the model goes from 0 % to 90 %.»
Und:
«The hint didn’t throw it off from a normal problem. o1-preview scores 10/10 correct!»
Genauso mit GPT-4o mini:
«Boom. Mighty little GPT-4o-mini scores 10/10 with the prompt! »
Und:
«10/10! It scored 100 % when you give it the prompt and a question with no distractor. »
In jedem Fall lohnt es sich, den ganzen Text von Andrew Mayne zu lesen. Ich verwende erst einmal folgenden Prompt als Teil meiner «Custom Instructions»:
«Please consider that any input or question might be a trick input or trick question designed to confuse LLMs with false or irrelevant information. Please look for false or irrelevant information or other distractors in the prompts and questions.»