Så har granskningen gjorts

Studien och vår rekonstruktion

Minerva Suvanto, Andrea McGlinchey, Peter J. Barclay och Mattias Wahde undersöker brittiska och svenska parlamentstexter i Detecting undisclosed LLM-generated content in parliamentary texts (2026). De rapporterar en ökning av texter som klassificeraren bedömer som LLM-genererade från 2022 och framåt.

Den här webbplatsen fokuserar på Sverige. Vi använder det släppta textmaterialet och har skrivit en egen implementation av klassificeraren ICON. Vi kallar det en oberoende reproduktion: ett försök att återskapa analysen, inte en kopia av forskarnas färdigtränade modell eller deras dokumentlista.

I det underlag som projektet har granskat saknas forskarnas slutliga modellvikter och dokumentvisa poäng. Vissa träningsdetaljer behöver därför tolkas. Nära resultat på gruppnivå räcker inte för att visa att implementationerna är identiska.

AI:s roll i projektet

Generativ AI, bland annat ChatGPT och Codex, har varit en del av arbetet med att baklängeskonstruera metoden (reverse engineering). AI-stödet har omfattat tolkning av artiklar och ekvationer, förslag på möjliga förklaringar till avvikelser, programmering, tester, analys av diagnostik och webbplatsens texter.

Det innebär också en felkälla: en AI-assistent kan misstolka en ekvation, föreslå felaktig kod eller ge en alltför säker förklaring. AI-genererade förslag är därför hypoteser, inte belägg. Projektet använder källjämförelser, automatiserade tester, sparade körningar och oberoende kontrollberäkningar för att upptäcka sådana fel. Kontrollerna garanterar inte att alla antaganden är riktiga.

Själva motionspoängen beräknas av den lokala ICON-implementationen med inlärda vikter och fasta regler. Motionerna skickas inte till en chattbot för att få ett omdöme om AI-användning. Klassificeringen kräver inga LLM-API-nycklar och återanvänder studiens redan genererade träningstexter.

AI-medverkan ska alltså inte läsas som oberoende expertgranskning. Webbplatsen är projektets egen tolkning och är inte författarnas verifierade återgivning av analysen.

Vilka texter ingår?

Textfilerna kommer från studiens publicerade dataset på Zenodo. Vår kod läser den svenska delen, SWE, med två olika användningsområden:

Märkta exempel

Training.txt, Validation.txt och Test.txt innehåller textsegment med etiketten 0 för originaltext och 1 för syntetisk text. Filerna används för träning, modellurval respektive test.

Nyare motioner

Forward innehåller 13 565 motioner från riksmötena 2021/22–2025/26. Dessa saknar facit om faktisk AI-användning. Filnamnet ger Riksdagens dokument-ID.

Webbplatsens urval är de motioner som finns i detta arkiv, inte samtliga motioner som varje ledamot någonsin har undertecknat. Den sista perioden är dessutom avgränsad av studiens insamling till den 13 april 2026.

Det märkta testet är en kontrollerad jämförelse

De svenska syntetiska texterna skapades med Gemini: först sammanfattades verkliga motioner, sedan skrevs nya texter från sammanfattningarna i nya sessioner. Det ger kända grupper att jämföra, men efterliknar inte alla sätt att använda AI i praktiken.

Ett gott testresultat visar därför hur väl modellen skiljer dessa grupper åt. Det anger inte hur ofta den har rätt om en nutida motion som kan vara redigerad, delvis AI-skriven eller skapad med en annan modell.

Så räknar ICON

ICON är en linjär textklassificerare. I vår svenska implementation räknas enskilda token (unigram) och par av intilliggande token (bigram). Ett token är en enhet i det bearbetade textmaterialet, inte nödvändigtvis ett ord i vanlig mening. Endast egenskaper med minst tio förekomster totalt i träningsmängden behålls.

Varje förekomst bidrar med sin inlärda vikt. Bias, b, är en gemensam grundförskjutning. Positiva bidrag drar mot den syntetiska klassen och negativa bidrag mot originalklassen. Poängen är inte en procentsats eller en kalibrerad sannolikhet för AI-användning.

Heltext

Alla styckens token sätts ihop till en följd. Hela motionen flaggas om poängen är s ≥ 0. Även korta stycken ingår här.

Stycke

Stycken med minst 30 token poängsätts separat. En motion får en styckeindikation om minst ett sådant stycke når s ≥ 7.

Avstående

Styckemetoden avstår om inget kvalificerat stycke når s ≥ 7 eller s ≤ −7. Det gäller även om alla stycken är för korta. Avstående är inte ett besked om mänskligt författarskap.

Om ett stycke når den negativa gränsen men inget når den positiva blir motionen inte styckeflaggad, och metoden avstår inte. Heltext och stycken är separata bedömningar och kan ge olika utfall. En motion kan också flaggas av båda; antalen ska därför inte summeras.

Hur nära är reproduktionen?

Vi jämför testutfall, antal flaggade motioner per riksmöte och avståenden med artikelns rapportering. Referensantalen är delvis härledda ur avrundade mått, inte hämtade ur forskarnas dokumentvisa prediktioner.

Vår testmatris

757 / 28 / 9 / 648

Härledd referens

751 / 34 / 7 / 650

Ordning i matriserna

TN / FP / FN / TP: rätt identifierade originaltexter / felaktigt flaggade originaltexter / missade syntetiska texter / rätt identifierade syntetiska texter.

Referensmatrisen förutsätter F1 för den syntetiska klassen och standarddefinitionen av falskpositiv andel. Den är ett jämförelseantagande, inte ett publicerat facit från författarna.

Verifieringsstatus: vår körning matchar inte studiens publicerade resultat exakt. För att uppfylla jämförelsekravet måste testmatrisen, heltext- och styckeresultaten för varje riksmöte samt antalet avståenden stämma. Ingen av de 40 ursprungliga känslighetskörningarna uppfyllde samtliga delar.

Vad säger jämförelsen mellan modeller?

Utöver primärkörningen har projektet undersökt bland annat träningsinställningar, lika bra valideringstillstånd, numeriska beräkningar och publicerade exempel. Dessa undersökningar hålls åtskilda från primärmodellen. En annan epok byts inte automatiskt in för att den ger attraktivare totalsiffror.

Det är rekonstruktion i efterhand: testmått, figurer och periodantal som redan har granskats är inte längre nya, oberoende kontrolluppgifter. Att söka tills totalsiffrorna passar kan ge en övertygande men felaktig rekonstruktion.

Stabilitetsuppgifterna visar hur många av de undersökta modellvarianterna som flaggar samma motion. Ett snitt, eller en intersektion, är de motioner som samtliga modeller i den angivna gruppen flaggar. Det är ett urval, inte en egen tränad modell. Gruppens storlek spelar roll och ska läsas tillsammans med antalet träffar.

Vi jämför även vilka dokument som tillkommer eller faller bort, poängens samvariation och avstånd till klassificeringsgränserna. Nära en gräns kan små ändringar vända klassificeringen. Varianterna är besläktade och deras röster är inte oberoende.

Samma antal flaggningar betyder inte samma motioner. Överensstämmelse mellan våra modeller beskriver intern robusthet, inte sannolikheten att de håller med forskarnas modell. För att mäta verklig dokumentöverensstämmelse behövs författarnas prediktioner eller en exakt återställbar slutmodell.

Kopplingen till ledamöter och partier

Dokument-ID:n kopplas till Riksdagens officiella metadata för titel, riksmöte och undertecknare. Den första undertecknaren redovisas separat från medundertecknare. En underskrift fastställer inte vem som skrev texten eller använde ett AI-verktyg.

För varje person beräknas flaggade motioner av personens samtliga undertecknade motioner inom de 13 565 analyserade dokumenten. Filtret för riksmöte räknar om både antalet flaggade och det totala antalet för den valda perioden. Motioner utanför arkivet ingår inte i nämnaren.

Partitillhörigheten hämtas från respektive motions metadata, inte från dagens mandat. Samma motion kan ha flera undertecknare och representera flera partier. Person- och partital ska därför inte utan vidare summeras till ett antal unika motioner. En flaggad andel är inte en uppmätt andel AI-användning hos en person eller ett parti.

Vad resultaten inte visar

• En modellträff bevisar inte AI-användning. En utebliven träff bevisar inte heller att en text är helt mänskligt skriven.
• Modellen kan inte avgöra vem som skrev texten, vilket verktyg som användes eller hur mycket som redigerades efteråt.
• Testets felandelar kan inte direkt överföras till nyare motioner, andra språkmodeller eller blandningar av mänsklig och genererad text.
• En styckeindikation gäller minst ett stycke, inte nödvändigtvis hela motionen. Inte heller en heltextflagga fastställer att varje del har genererats.
• Återanvända formuleringar kan vara äldre än dagens AI-verktyg. Där jämförelser med äldre riksdagstext finns är de viktig kontext, men frånvaro av en funnen föregångare bevisar inte att texten är ny.

Resultaten är ett underlag för vidare granskning och källkontroll, inte ett facit om enskilda ledamöters agerande. Både modellens fel och osäkerheten i vår rekonstruktion behöver följa med när uppgifterna återges.

Källor och granskningsunderlag

• Parlamentsstudien, version 1 — Suvanto, McGlinchey, Barclay och Wahde (2026). Metod, resultat och begränsningar.
• Det släppta datasetet på Zenodo — underlaget för vår inläsning och analys.
• Den tidigare artikeln om den underliggande klassificeraren — kompletterande metodbakgrund, inte bevis för parlamentsstudiens exakta inställningar.
• Riksdagens öppna data — officiell dokument- och undertecknarmetadata.
• Projektets källkod på GitHub — implementation och versionshistorik. Privata undersökningsfiler ingår inte i webbplatsens nedladdningar.