TeknologiAI-assisteretGodkendt af E News

Hvad er en primærkilde? Sådan efterprøver du et AI-svar

Et AI-svar kan lyde præcist og stadig bygge på et referat af et referat. En primærkilde er det oprindelige dokument, datasæt eller den oprindelige udtalelse. Her er en rolig metode til at efterprøve påstande uden at tro, at et svar er sandt, fordi det er langt.

Kort svar

En primærkilde er den oprindelige kilde til en oplysning: loven, rapporten, datasættet, pressemeddelelsen eller den direkte udtalelse. En sekundærkilde refererer til den. Et AI-svar kan være primærkilde til, hvad AI'en faktisk svarede, men det er ikke dokumentation for en ekstern faktapåstand. Efterprøv påstanden ved at finde den oprindelige udgivelse og læse, hvad den faktisk siger.

Primær, sekundær og AI

En primærkilde kan være en officiel statistik, en dom, en videnskabelig artikel eller en virksomheds egen årsrapport. En sekundærkilde er en nyhedsartikel, et opslag eller en opsummering, der bygger på primærkilden. Begge kan være nyttige. Forskellen er, hvor tæt kilden er på det, den påstår, og hvilket spørgsmål man stiller.

NISTs AI Risk Management Framework er en frivillig ramme, der skal hjælpe organisationer med at indarbejde troværdighed i design, udvikling, brug og evaluering af AI-systemer. Rammen er ikke en garanti for, at et bestemt AI-svar er rigtigt. Den er et argument for at vurdere systemer og deres output systematisk, ikke for at stole på dem uden kontrol. Oxford-guiden anbefaler at verificere AI-genererede referencer i bibliotekskataloger og databaser, læse originalen og kontrollere, om kilden understøtter påstanden.

Sådan efterprøver du et AI-svar

1. Skriv den konkrete påstand op. “NIST anbefaler X” er lettere at kontrollere end “AI siger, at sikkerhed er vigtigt”. 2. Find udgiveren. Er det en myndighed, en organisation, en virksomhed eller en privatperson? 3. Find den oprindelige udgivelse. Et citat i et opslag er ikke nok, hvis rapporten selv kan læses. 4. Læs dato, afgrænsning og metode. Gælder påstanden hele befolkningen, en bestemt sektor eller kun et forsøg? 5. Sammenlign med mindst én uafhængig kilde, hvis påstanden er vigtig. 6. Ret eller afvis påstanden, hvis primærkilden ikke siger det samme.

Konstrueret kontroløvelse af E News

Et AI-svar siger: “NIST har forbudt alle former for generativ AI i myndigheder.” Det lyder konkret, men påstanden har et for stort ord: “forbudt”. NISTs egen side beskriver en frivillig ramme og en profil for generativ AI, ikke et generelt forbud. Kontrollen består ikke i at finde et opslag, der gentager sætningen. Den består i at læse NISTs egen beskrivelse og se, hvad den faktisk siger.

Eksemplet er konstrueret af E News for at vise metoden. Det er ikke et citat fra et bestemt AI-system.

Hvor efterprøvningen kan svigte

Primærkilder kan være forældede, tvetydige eller selv have fejl. En officiel udgiver er ikke det samme som en ufejlbarlig udgiver. Nogle kilder er bag betalingsmur, oversat eller kun delvist offentlige. Et AI-svar kan også blande to rigtige kilder til en forkert konklusion. Derfor er det vigtigt at skelne mellem “kilden findes” og “kilden understøtter præcis denne påstand”.

En anden fælde er at bruge en søgemaskines uddrag som kilde. Uddraget kan mangle forbehold. Åbn dokumentet, find afsnittet og læs sammenhængen. Hvis du ikke kan finde påstanden i primærkilden, skal den ikke stå som dokumenteret.

En vane, der holder

Bed om kilden, ikke kun svaret. Spørg hvilken udgivelse, hvilken dato og hvilket afsnit påstanden kommer fra. Hvis et AI-værktøj ikke kan pege på en kilde, du selv kan slå op og læse, behandles svaret som et udkast, ikke som en faktuel konklusion. Det er ikke mistro til teknologi. Det er almindelig kildekontrol.

AI-assistance

Teksten er skrevet med AI-assistance på grundlag af de viste officielle kilder. E News har redaktionelt ansvar for at kontrollere, at formuleringerne ikke gør NISTs frivillige ramme til et forbud eller en garanti.

Primærkilder

Kilderne er officielle udgivelser. E News har ikke ændret i kildernes indhold.

  1. [1]AI Risk Management FrameworkNIST · 26. januar 2023
  2. [2]Evaluating AI-generated references and informationBodleian Libraries, University of Oxford