
不用跟AI客气了!新研究:语气越粗鲁回答正确率越高

找AI帮忙不要再客气了,效果根本适得其反。
宾夕法尼亚州立大学的一项研究《Mind Your Tone》显示,你说话越粗鲁,LLM回答越准。
;
语气越冲,AI正确率达到84.8%。特别客气时,AI正确率反而低了。
什么情况,难道是我给AI的温柔过了火??
用粗鲁语气提问,GPT-4o的正确率反而更高
这项研究主要就是想弄清楚和AI说话的语气会不会影响它的正确率。
我们发给大模型的提示词到底应该是客气、普通还是冲?
首先,研究人员整了一个包含50道选择题的题库,涵盖了数学、科学、历史的选择题,难度中等偏上。
然后给每道题改出了5种语气版本,be like:
您能好心帮我解这道题吗?请回答这道题。直接给答案。你要是不笨就回答。你个没用的,会解这道题吗?
接着,研究人员把这250道题发给GPT-4o。
为了让AI的回答更统一,好判断对错,在测试之前还特意告知:忘记之前的对话,重新来,只给答案选项的字母。
经过一番测试,得到一个反常识的结论——骂得越狠,答得越准!
特别客气时,GPT-4o正确率80.8%,换成特别粗鲁的语气,正确率直接升到84.8%。
好一个越客气越拉胯,越粗鲁越聪明(doge)。
研究人员还将数据进行了统计检验,对比显著性水平之后,确认了:不同语气的正确率差异不是碰巧,是真有区别
至于为什么会出现这种情况,研究给出的解释是:特别礼貌的表达中可能会有很多多余的话,这些话和题目本身无关,还相当于给AI读题增加了干扰。
而粗鲁的表达虽然语气冲,但命令式的要求往往更直接,也能让AI更精准地抓住答题这个核心任务,正确率自然就高了。
网友表示:确实是这样,指令越明确,结果越好。
看来是多说无益啊~
虽然GPT-4o更喜欢粗鲁一点的方式,但像GPT3.5和Llama2-70B这样的老模型却不喜欢,粗鲁的语气会让它们答得更差。
可能是因为新模型在训练时,接触到的语气相关数据更复杂,或者优化了过滤无关信息的能力吧。
当然了,在使用AI工具时,能清晰地表达诉求,效率会更高。
毕竟话虽如此,but道德提醒——
;
虽然越粗鲁越准,但也不要太粗鲁了!如果骂,请轻喷~