ChatGPT dapat nilai tinggi ujian dokter, tapi kesulitan jawab soal anak kelas 6 SD

ChatGPT dapat nilai tinggi ujian dokter, tapi kesulitan jawab soal anak kelas 6 SD

ChatGPT tidak bisa jawab pertanyaan

Eksperimen dilakukan dengan menyodori ChatGPT dengan soal ujian Primary School Leaving Exam (PSLE). Sebagai informasi, negara Singapura memberikan ujian PSLE untuk siswa Sekolah Dasar agar dapat melanjutkan ke jenjang berikutnya. Dalam ujian, ChatGPT diberikan soal matematika, sains, dan bahasa Inggris dari lembaran PSLE tahun 2020 sampai 2022.

ChatGPT dapat nilai tinggi ujian dokter, tapi kesulitan jawab soal anak kelas 6 SD

foto: Chat.openai.com

Namun siapa sangka, alih-alih mendapatkan nilai terbaik dan lolos secara gampang, ChatGPT malah mendapatkan nilai terbilang buruk. Rata-rata nilai Chat GPT adalah 16 dari 100 untuk soal matematika yang dikerjakan. ChatGPT mengalami kesulitan menjawab pertanyaan karena tidak dapat menjawab pertanyaan seputar diagram dan grafik, sehingga mendapat nilai nol untuk soal tersebut.

Chatbot besutan OpenAI itu juga tidak bisa menjawab pertanyaan pertambahan yang sederhana. ChatGPT kemudian mendapat nilai rata-rata 21 dari 100 untuk mata pelajaran IPA.

Sedangkan saat diuji dengan soal bahasa Inggris, ChatGPT mendapat hasil baik. Chatbot ini mendapatkan nilai rata-rata 11 dari 20 untuk tiga lembar soal yang dikerjakan.

Kendati demikian, chatbot ini masih mengalami kesulitan terutama untuk pertanyaan dengan kata bermakna ganda. Sebagai contoh, apabila pertanyaan memuat kata "value" atau nilai, Chat GPT mengartikan kata tersebut dalam konteks keuangan. Padahal, "value" yang dimaksud dalam soal tersebut merujuk pada prinsip moral.

Lebih lanjut, ChatGPT yang dikembangkan oleh OpenAI tentu masih memiliki bug. Ada beberapa kasus dimana ChatGPT tidak dapat menjawab pertanyaan maupun memberikan informasi kepada pengguna. Hal ini karena ChatGPT masih dalam tahap pengembangan oleh Developer. Bahkan terbilang ChatGPT menjadi kelinci percobaan untuk platform Bing milik Microsoft.

Diketahui Bing menggunakan skema kecerdasan buatan sama seperti ChatGPT. Tentu hal ini bukan suatu hal luar biasa. Mengingat bos Microsoft, Bill Gates menanamkan modal besar agar ChatGPT dapat dikembangan.

Saat ini ChatGPT menjadi wadah bagi banyak orang untuk mendapatkan informasi. Bahkan diproyeksikan ChatGPT dapat diterapkan dalam kegiatan produktif setiap hari.

(brl/guf)