Bakgrunden
Jag bygger en app vars kÀrna Àr en AI-modell som ska förstÄ hur mÀnniskor kommunicerar. För att den modellen ska fungera behöver den trÀnas pÄ riktiga samtal med riktig feedback, inte pÄhittade konversationer, inte data hÀmtad frÄn internet, utan riktiga mÀnniskor som faktiskt berÀttar vad de tyckte.
Det problemet Àr svÄrare Àn det lÄter.
Problemet med att samla data
Det finns tre vanliga sÀtt att skaffa trÀningsdata: anlita folk att skapa den, generera den syntetiskt med en annan AI, eller hitta ett befintligt dataset online.
Alla tre fungerade dÄligt för mitt syfte. Anlitade annotators producerar konstruerade konversationer som inte liknar hur folk faktiskt pratar. Syntetisk data saknar de oförutsÀgbara reaktioner som uppstÄr pÄ riktigt. Och det finns inget publikt dataset för den specifika typ av samtal jag behöver.
Lösningen var att inte separera datainsamlingen frÄn produkten, utan göra den till produkten.
Lösningen
Jag byggde en fristÄende upplevelse dÀr en AI-persona för ett samtal med anvÀndaren. Inte ett frÄgeformulÀr, inte ett test, ett riktigt samtal.
Det som gör systemet ovanligt Àr hur feedback samlas in. Efter varje svar frÄn AI:n mÄste anvÀndaren betygsÀtta det: bra, dÄligt, eller "den gick ur karaktÀr". Man kan inte fortsÀtta förrÀn man betygsatt. Det kÀnns som ett litet irritationsmoment, men det Àr ett medvetet val, utan det hade de flesta skippat feedback helt, och dÄ Àr datan vÀrdelös.
Vad som hÀnder med datan
Varje samtal sparas tillsammans med anvÀndarens betyg. Konversationer dÀr AI:n fick tumme upp anvÀnds för att visa systemet vad ett bra svar ser ut. Konversationer dÀr AI:n gick ur karaktÀr filtreras bort.
Det intressanta beslutet var nÀr filtreringen sker. Systemet sparar allting, bra och dÄligt, och filtrerar först nÀr datan ska anvÀndas för trÀning. Det betyder att om kriterierna för "bra data" Àndras om ett Är kan all historisk data omvÀrderas utan att nÄgonting har förlorats.
Status
Systemet Àr live och samlar data aktivt. NÀsta steg Àr att anvÀnda datan för att trÀna en modell optimerad för det hÀr samtalsformatet.
Prova det
Systemet Àr öppet att testa pÄ https://app.aurapilot.se , det tar ungefÀr fem minuter.