ChatGPT zastępuje studentów i dostaje świetne oceny
Sporo uniwersytetów i szkół w Wielkiej Brytanii (i poza nią) zmieniło podczas pandemii sposób egzaminowania studentów. Przeszło mianowicie z nadzorowanych testów pisanych w murach uczelni na prace sprawdzające przygotowywane w domu. I część taki model sprawdzania wiedzy kontynuuje. Dlatego naukowcy postanowili sprawdzić, czy nie jest on wrażliwy na oszustwa dokonywane z pomocą generatywnej sztucznej inteligencji. Wyniki okazały się niepokojące.
Badacze przeprowadzili test na wydziale psychologii University of Reading. ChatGPT-4 napisał 63 prace egzaminacyjne (5 proc. wszystkich), które zostały złożone w imieniu studentów (chodziło o 5 modułów nauczania na 1, 2 i 3 roku studiów). Egzaminy miały zaś dwie formy: wymagającą krótkich (do 200 słów) odpowiedzi na pytania albo dłuższych esejów (1500 słów).
Oto uzyskane wyniki:
- 94 proc. prac przygotowanych przez AI pozostało niewykrytych przez egzaminatorów;
- w 83,4 proc. przypadków losowo wybrane prace AI uzyskały lepsze oceny niż taka sama liczba losowo wybranych prac studentów;
- jedynie prace osób z 3 roku były średnio nieco lepsze od tych przygotowanych przez AI.
Sięgnij do źródeł
Badania naukowe: A real-world test of artificial intelligence infiltration of a university examinations system: A „Turing Test” case study
Autorzy badania, którego wyniki ukazały się na łamach „PLOS ONE”, zwracają uwagę, że problem z fałszowaniem testów może być w rzeczywistości jeszcze poważniejszy. W eksperymencie użyto bowiem „surowych” odpowiedzi udzielanych przez ChatGPT-4, podczas gdy nieuczciwi studenci prawdopodobnie edytowaliby wygenerowane teksty, czyniąc je jeszcze trudniejszymi do wykrycia. Dlatego proste rozwiązania, takie jak systemy identyfikacji materiałów stworzonych przez AI, mogą okazać się nieskuteczne. Warto zatem rozważyć powrót do tradycyjnych form egzaminów przeprowadzanych na uczelni i nadzorowanych przez ludzi.
Dziękujemy, że jesteś z nami. To jest pierwsza wzmianka na ten temat. Pulsar dostarcza najciekawsze informacje naukowe i przybliża najnowsze badania naukowe. Jeśli korzystasz z publikowanych przez Pulsar materiałów, prosimy o powołanie się na nasz portal. Źródło: www.projektpulsar.pl.