ChatGPT kan virke skråsikker – også når svaret er forkert. En ny rapport fra OpenAI viser, at problemet ikke kun handler om teknik, men om, hvordan modellerne bliver trænet og evalueret.
For noget tid siden skulle jeg skrive et opslag om åbningen af Musikhusparken i Aarhus. Borgmesteren skulle nævnes, men ChatGPT kom med navnet på den tidligere borgmester. En kritisk fejl, der tydeligt viste mig, hvor vigtigt det er at dobbelttjekke alt, når man bruger AI.
Og jeg er langt fra den eneste, der oplever det. Forskere hos OpenAI har netop udgivet en rapport, der undersøger, hvorfor AI-modeller som ChatGPT hellere gætter, end indrømmer uvidenhed.
Når AI gætter forkert
Forskerne stillede deres egne modeller et tilsyneladende simpelt spørgsmål: Hvornår har Adam Kalai fødselsdag? (Han er selv en af forskerne bag rapporten).
ChatGPT svarede 3. marts, 15. juni og 1. januar. Alle forkerte.
Forskerne viste samtidig, at når en oplysning kun findes ganske få steder i træningsdata, så hallucinere modellen mere end 20 % af gangene. Med andre ord: jo sjældnere informationen er, desto større risiko for, at svaret bliver opdigtet.
Hvorfor ikke bare sige “det ved jeg ikke”?
Det oplagte spørgsmål er selvfølgelig, hvorfor modellen ikke bare indrømmer, at den ikke kender svaret.
Forklaringen er, at AI-modeller er trænet til at gætte. Forestil dig en studerende til en multiple choice-test. Et blankt svar giver nul point. Et forkert svar giver også nul point. Strategien er derfor altid at gætte – også når man ikke kender svaret.
På samme måde bliver AI-modeller belønnet for at forsøge sig med et svar, fremfor at sige “jeg ved det ikke”.
Et designproblem – ikke kun et teknisk problem
Rapportens konklusion er klar: Hallucinationer skyldes ikke kun tekniske begrænsninger, men et grundlæggende designproblem.
Så længe virksomhederne bag AI evaluerer modellerne på en måde, der belønner selvsikre gæt, trænes de i at give et svar – ethvert svar – fremfor at indrømme uvidenhed.
Jeg oplever dog, at ChatGPT gradvist er blevet bedre til at skrive, når den ikke kender svaret. Men der er stadig lang vej igen.
Hvad betyder det for os, der arbejder med kommunikation?
Som kommunikationsfolk er vi afhængige af troværdighed. Når vi bruger AI, skal vi være bevidste om, at modellerne er skabt på en måde, hvor de hellere vil gætte end indrømme uvidenhed.
Det betyder, at vi altid skal kvalitetstjekke og faktatjekke output, før vi bruger det professionelt. AI kan hjælpe os med at blive hurtigere og mere kreative – men den kan ikke erstatte kritisk sans.
Læs hele rapporten her
Og billedet i toppen ...
er lavet med Sora – kunstig intelligens.
