OpenAI je objavio novo istraživanje u kojem tvrdi da AI modeli najčešće haluciniraju jer ih standardne metode treniranja podstiču da samouvjereno pogađaju, umjesto da priznaju kada nešto ne znaju. Ovakav pristup, kažu istraživači, otvara prostor za rješenje jednog od najvećih problema u kvalitetu AI sistema.
Tim je otkrio da modeli izmišljaju činjenice jer evaluacijski sistemi tokom treniranja daju pune bodove za tačne (pa čak i sretno pogođene) odgovore, dok se iskreno priznanje tipa „ne znam” ocjenjuje s nulom. To stvara konflikt: da bi povećali ukupnu tačnost, modeli uče da uvijek daju odgovor – čak i onda kada nemaju nikakvu sigurnost u rezultat.
Da bi testirali hipotezu, istraživači su AI modele pitali za vrlo specifične informacije poput tačnih datuma rođenja ili naslova disertacija. Rezultat je bio da su modeli samouvjereno davali različite, ali pogrešne odgovore svaki put. Kao potencijalno rješenje, predloženo je redizajniranje evaluacijskih metrika tako da se strožije kažnjavaju „samouvjerene greške” nego iskazana nesigurnost.
Ovo istraživanje otvara vrata ideji da se problem halucinacija može značajnije rješavati tokom faze treniranja. Ako laboratorije počnu nagrađivati „iskrenost” umjesto pogađanja, mogli bismo dobiti AI modele koji znaju prepoznati vlastite granice. To bi značilo manju „papirnatu” tačnost na testovima, ali mnogo veću pouzdanost u realnim, kritičnim zadacima – što je na kraju ono što zaista vrijedi.
Ukratko iz svijeta tehnologije:
- AnhPhu Nguyen i Caine Ardayfio pokrenuli su Halo, novi uređaj u kategoriji AI pametnih naočala, s opcijom stalnog slušanja.
- Google je najavio novog Gemini-pokretanog zdravstvenog asistenta za Fitbit, koji će moći pružati personalizovane savjete o fitnessu, spavanju i zdravlju prilagođene podacima korisnika.
- Anthropic je proširio dostupnost svog agentnog alata za programiranje Claude Code na Enterprise i Team pakete, s novim administrativnim kontrolama za upravljanje troškovima, postavkama politika i još mnogo toga.
- MIT-ova inicijativa NANDA otkrila je da samo 5% enterprise AI implementacija donosi prihod, dok jaz u znanju i loše integracije koče širu primjenu tehnologije.
- Sebastien Bubeck iz OpenAI-ja izjavio je da GPT-5-pro može „dokazivati nove zanimljive matematičke teoreme“, koristeći model za rješavanje otvorenog složenog problema.
AI alati koji su trenutno u trendu:
