Bakgrunden
Jag bygger en app vars kärna är en AI-modell som ska förstå hur människor kommunicerar. För att den modellen ska fungera behöver den tränas på riktiga samtal med riktig feedback, inte påhittade konversationer, inte data hämtad från internet, utan riktiga människor som faktiskt berättar vad de tyckte.
Det problemet är svårare än det låter.
Problemet med att samla data
Det finns tre vanliga sätt att skaffa träningsdata: anlita folk att skapa den, generera den syntetiskt med en annan AI, eller hitta ett befintligt dataset online.
Alla tre fungerade dåligt för mitt syfte. Anlitade annotators producerar konstruerade konversationer som inte liknar hur folk faktiskt pratar. Syntetisk data saknar de oförutsägbara reaktioner som uppstår på riktigt. Och det finns inget publikt dataset för den specifika typ av samtal jag behöver.
Lösningen var att inte separera datainsamlingen från produkten, utan göra den till produkten.
Lösningen
Jag byggde en fristående upplevelse där en AI-persona för ett samtal med användaren. Inte ett frågeformulär, inte ett test, ett riktigt samtal.
Det som gör systemet ovanligt är hur feedback samlas in. Efter varje svar från AI:n måste användaren betygsätta det: bra, dåligt, eller "den gick ur karaktär". Man kan inte fortsätta förrän man betygsatt. Det känns som ett litet irritationsmoment, men det är ett medvetet val, utan det hade de flesta skippat feedback helt, och då är datan värdelös.
Vad som händer med datan
Varje samtal sparas tillsammans med användarens betyg. Konversationer där AI:n fick tumme upp används för att visa systemet vad ett bra svar ser ut. Konversationer där AI:n gick ur karaktär filtreras bort.
Det intressanta beslutet var när filtreringen sker. Systemet sparar allting, bra och dåligt, och filtrerar först när datan ska användas för träning. Det betyder att om kriterierna för "bra data" ändras om ett år kan all historisk data omvärderas utan att någonting har förlorats.
Status
Systemet är live och samlar data aktivt. Nästa steg är att använda datan för att träna en modell optimerad för det här samtalsformatet.
Prova det
Systemet är öppet att testa på https://app.aurapilot.se , det tar ungefär fem minuter.