Hvad AI-hallucinationer betyder for kildekontrol og AI-sikkerhed

Hvad en AI-hallucination er

NIST AI 600-1 definerer en confabulation – også kaldet hallucination eller fabrikation – som et selvsikkert udsagn fra et AI-system, der er enten fejlagtigt eller helt falsk [1]. Denne type fejl udgør en særlig risiko i praksis, fordi den selvsikre tone i tekstgenereringen kan få brugere til at tro på det falske indhold uden at stille spørgsmålstegn ved det [1]. NIST AI 600-1 blev udgivet den 26. juli 2024 som en frivillig ledsagerprofil til NIST AI Risk Management Framework (AI RMF 1.0) med særligt fokus på de udfordringer og risici, der er forbundet med generativ AI [1][2].

Hvorfor citater er udsatte

Ud over at generere ukorrekte faktuelle påstande kan generativ AI også opfinde eller sammensætte confabuleret logik samt citater [1]. Disse opdigtede citater og forklaringer kan fremstå yderst overbevisende, da de overfladisk set lader til at forklare eller retfærdiggøre det givne svar [1]. Da modellen præsenterer sine opdigtede kilder med samme sikkerhed som korrekte oplysninger, stiger risikoen for, at brugere tager fejl af sandhedsværdien [1].

Et eksempel på kildekontrol

For at modvirke risikoen for hallucinationer i praksis kan der opbygges en struktureret kildekontrol. Forestil dig, at en redaktionel assistent skal opsummere en rapport. Assistenten indrettes til udelukkende at hente oplysninger fra et godkendt kildesæt. Systemet viser præcist, hvilket afsnit hver enkelt påstand kommer fra, og det er indrettet til at afstå fra at svare, hvis der mangler en kilde. Samtidig logger systemet den anvendte modelversion, og alt materiale underlægges en menneskelig gennemgang. Hvis en kilde ikke kan findes eller dokumenteres i det godkendte kildesæt, fjernes påstanden helt fra det endelige resultat.

Hvad NIST anbefaler

Ledsagerprofilen NIST AI 600-1 fokuserer på governance, content provenance (indholdets oprindelse), pre-deployment testing (test før ibrugtagning) og incident disclosure (offentliggørelse af hændelser) [1]. Profilen opfordrer organisationer til at udføre en række specifikke handlinger til risikostyring:

• Føre et inventar over data provenance, som indeholder oplysninger om kilde, digitale signaturer, versionering og vandmærker [1].
• Definere et klart ansvar for periodisk gennemgang af indholdets provenance samt løbende overvågning af hændelser [1].
• Kontrollere kilder og henvisninger i AI-svar både før ibrugtagning og under løbende overvågning. Det fremgår konkret af handling MS-2.5-003 i NIST-profilen [1].
• Måle effektiviteten af de anvendte provenance-metoder [1].

Sådan kontrollerer du et AI-svar

Dette er E News' praktiske tjekliste:

• Åbn kilden; stol ikke alene på linkets titel.
• Find det afsnit, som faktisk understøtter påstanden.
• Kontrollér dato, periode, enheder og hvem oplysningerne gælder for.
• Skeln mellem kildens konklusion og AI-systemets fortolkning.
• Fjern eller markér påstande, du ikke kan dokumentere.

En rigtig kilde kan stadig blive gengivet forkert. Tjek derfor både, at kilden eksisterer, og at den siger det påståede.

Hvad det betyder

Selvom metoder som provenance og vandmærker er nyttige til at dokumentere et indholds oprindelse, er det vigtigt at understrege, at de ikke beviser, at indholdet i sig selv er sandt [1]. Implementering af retrieval-mekanismer, strenge citatkrav, test før ibrugtagning, løbende overvågning og menneskelig kontrol kan bidrage til at begrænse fejl, men disse tiltag fjerner ikke risikoen for hallucinationer fuldstændigt [1].

Usikkerheder og forbehold

Både NIST AI RMF 1.0 fra den 26. januar 2023 og ledsagerprofilen NIST AI 600-1 fra den 26. juli 2024 er frivillige rammeværktøjer [1][2]. NIST AI RMF 1.0 revideres aktuelt som en del af White House AI Action Plan [2]. Selvom systematiske tiltag forbedrer tillidsværdigheden af AI-produkter, tjenester og systemer, findes der ingen metode, der helt kan garantere mod confabulationer i generativ AI [1][2].

Kilder

[1] NIST AI 600-1, 26. juli 2024, https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence [2] NIST AI RMF, besøgt 2. november 2026, https://www.nist.gov/itl/ai-risk-management-framework