మాక్ మెడికల్ ఎగ్జామ్‌లో పాసైన చాట్‌జీపీటీ !

న్యూరో సర్జరీ పరీక్షలో చాట్‌జీపీటీ-4 మానవుల కంటే మెరుగైన స్కోరు సాధించింది. అమెరికన్ బోర్డ్ ఆఫ్ న్యూరోలాజికల్ సర్జరీ ఈ మాక్ ఎగ్జామ్‌ క్వశ్చన్ పేపర్‌ను క్రియేట్ చేయగా, ఆ పరీక్షలో ప్రతి ప్రశ్నకు సరైన సమాధానాన్ని ఇచ్చింది. మార్చి 29న పోస్ట్ అయిన ఒక కొత్త అధ్యయనం ఈ వివరాలను వెల్లడించింది. నిపుణులు ఇంకా దీనిని సమీక్షించలేదు. అయితే చాట్‌జీపీటీ తాజా వెర్షన్ మెరుగ్గా సమాధానాలు రాయగా ఇది మానవ నిపుణులను భర్తీ చేయగలదనే ఆందోళనలను లేవనెత్తింది. "పర్ఫామెన్స్ ఆఫ్ చాట్‌జీపీటీ అండ్ జీపీటీ-4 ఆన్ న్యూరోసర్జరీ రిటన్ బోర్డ్ ఎగ్జామినేషన్స్" అనే టైటిల్‌తో చేసిన ఆ అధ్యయనాన్ని MedRxivలో పోస్ట్ చేశారు. (MedRxiv అనేది ఆరోగ్య శాస్త్రాల కోసం ఒక ప్రీ-ప్రింట్ సర్వర్‌). 500 ప్రశ్నలు ఉన్న ప్రాక్టీస్ న్యూరో సర్జికల్ రిటన్ బోర్డు ఎగ్జామ్‌లో చాట్‌జీపీటీ, దాని నెక్స్ట్ వెర్షన్ GPT-4 ఎంత బాగా పర్ఫార్మ్ చేశాయో విశ్లేషించడమే ఈ అధ్యయనం లక్ష్యం. కాగా ఓల్డ్ ChatGPT వెర్షన్ లేదా GPT-3.5 వైద్య విద్యార్థుల బోర్డ్ పరీక్షల్లో దాదాపు ఉత్తీర్ణత మార్కులు సాధించింది. అయితే లేటెస్ట్ వెర్షన్ GPT-4 మాత్రం దాని మునుపటి వెర్షన్‌తో పోల్చితే పరీక్షలలో మెరుగ్గా రాణించింది. మెడికల్ స్టూడెంట్ బోర్డ్ పరీక్షలలో 12 ప్రశ్నల కేటగిరీలలో GPT-4 ప్రతిదానిలో వినియోగదారుల కంటే చాలా ఎక్కువ స్కోరు చేసింది. ఇది కణితి (Tumor) ప్రశ్నల విభాగంలో క్వశ్చన్ బ్యాంక్ యూజర్లతో సహా చాట్‌జీపీటీని అధిగమించింది. అధ్యయనం ప్రకారం, ఈ పరీక్షలో చాట్‌జీపీటీ (జీపీటీ-3.5) 73.4 శాతం, జీపీటీ-4 83.4 శాతం స్కోర్‌లను సాధించగా.. వినియోగదారులు సగటున 73.7 శాతం మార్కులు సాధించారు. చాట్‌జీపీటీ, క్వశ్చన్ బ్యాంక్ చదివిన మానవులు ఈ మల్టిపుల్ ఛాయిస్ పరీక్షలో కనీస ఉత్తీర్ణత స్కోరు 69% కంటే ఎక్కువ సాధించారు. చాట్‌జీపీటీ, మనుషులు ఒకే విధమైన స్కోర్‌లు చేయగా GPT-4 వారిద్దరినీ మించిపోయింది. ఈ పరీక్షలో ఒకే ఒక సరైన సమాధానం ఉన్న మల్టిపుల్-ఛాయిస్ క్వశ్చన్లు ఉంటాయని అధ్యయనం తెలిపింది. చాట్‌జీపీటీకి చదవడానికి ఎక్కువ పాసేజ్‌లు, క్లిష్టమైన ప్రశ్నలు ఇచ్చినప్పుడు, దాని కచ్చితత్వంలో తగ్గుదల కనిపించిందని అధ్యయనం కనుగొంది. మరోవైపు, GPT-4 కచ్చితత్వంలో తగ్గుదలని చూపించలేదు. ఇమేజ్ కంటెంట్‌తో కూడిన ప్రశ్నలపై ChatGPT లేదా GPT-4 రెండూ గొప్ప పర్ఫామెన్స్ చూపించలేదని అధ్యయనం వెల్లడించింది. ఈ ప్రశ్నలకు సమాధానం ఇవ్వడానికి రెండు మోడళ్లు కేవలం ఇమేజ్‌లతో ఇచ్చిన టెక్స్ట్/సందర్భోచిత ఆధారాల పై మాత్రమే ఆధారపడ్డాయి. చాట్‌జీపీటీ, జీపీటీ-4 ఈ ప్రశ్నలలో వరుసగా 49.5%, 56.8% మాత్రమే సరిగ్గా సమాధానం ఇవ్వగలిగాయి. పరీక్ష సమయంలో మల్టీమోడల్ ఇన్‌పుట్ సపోర్ట్ లేకపోవడం వల్ల ఇది జరిగి ఉండవచ్చని అధ్యయనం పేర్కొంది.