Perkembangan kecerdasan buatan Artificial Intelligence (AI) tidak lagi berhenti pada kemampuan menghasilkan teks dan menerjemahkan bahasa. Teknologi Large Language Model (LLM) kini mulai diuji untuk menilai kualitas hasil kerja AI itu sendiri. Melalui kajian berjudul Beyond BLEU: GPT–5, Human Judgment, and Classroom Validation for Multidimensional Machine Translation Evaluation.
Dua Dosen Universitas Islam Riau (UIR) yaitu Shalawati, S.Pd.I., M.TESOL., dari program studi (prodi) Pendidikan Bahasa Inggris sedangkan Prof. Dr. Arbi Haza Nasution, B.IT., M.IT Dari prodi Teknik Informatika, menguji kemampuan GPT–5 dalam menilai kualitas terjemahan bahasa Inggris ke Bahasa Indonesia sekaligus membandingkannya dengan penilaian evaluator manusia. Penelitian ini menggunakan pendekatan evaluasi multidimensional yang mengacu pada Multidimensional Quality Metrics (MQM). Kualitas terjemahan tidak hanya dilihat dari satu nilai, tetapi melalui tiga aspek, yakni morfosintaksis, semantik, dan pragmatik.
Dalam percobaan pengumpulan data, peneliti menguji tiga model LLM sebagai penghasil terjemahan, yakni Qwen 3 (0.6B), LLaMA 3.2 (3B), dan Gemma 3 (1B). Sebanyak 100 pasangan kalimat bahasa Inggris–Indonesia dari dataset TED 2018 digunakan sebagai data penelitian. Hasil penilaian tiga evaluator manusia menunjukkan Gemma 3 memperoleh skor tertinggi pada seluruh aspek, dengan rata-rata keseluruhan 3,82 dari skala 5, disusul LLaMA 3.2 dengan skor 3,40 dan Qwen 3 sebesar 2,71. Peneliti mencatat bahwa hasil tersebut merupakan temuan spesifik pada model dan konfigurasi yang digunakan dalam eksperimen, sehingga tidak dapat dimaknai sebagai bukti bahwa model dengan parameter lebih kecil selalu lebih unggul.
Adapun hal menarik ialah ketika GPT–5 ditempatkan sebagai evaluator, hasil penilaiannya menunjukkan korelasi yang kuat dengan penilaian manusia. Korelasi keseluruhan mencapai 0,82, dengan korelasi pada aspek morfosintaksis sebesar 0,724, semantik 0,807, dan pragmatik 0,782. Temuan ini menunjukkan bahwa GPT–5 cukup mampu mengikuti pola penilaian manusia dalam membedakan terjemahan yang memiliki kualitas relatif lebih baik. Namun, terdapat perbedaan dalam besaran skor. GPT–5 cenderung memberikan nilai sekitar 0,3 hingga 0,6 poin lebih tinggi daripada evaluator manusia. Kondisi tersebut menunjukkan bahwa AI berpotensi menjadi evaluator yang efisien dan berskala besar, tetapi tetap membutuhkan proses kalibrasi agar penilaiannya lebih selaras dengan standar manusia.
Penelitian ini juga melibatkan 26 mahasiswa penerjemahan untuk menguji penerapan rubrik evaluasi di ruang kelas. Setelah mendapatkan pemahaman mengenai rubrik, penilaian mahasiswa menunjukkan peningkatan kesesuaian dengan penilaian ahli dan GPT–5, ditandai dengan penurunan Mean Absolute Error (MAE) dari 0,97 menjadi 0,83 serta peningkatan Exact Match Rate dari 0,30 menjadi 0,50. Temuan ini menunjukkan bahwa rubrik multidimensional berpotensi membantu mahasiswa menilai kualitas terjemahan secara lebih konsisten, meskipun hasil tersebut masih bersifat deskriptif dan belum dapat dianggap sebagai bukti kausal karena penelitian tidak menggunakan kelompok kontrol.
Lebih lanjut, penelitian juga menemukan bahwa tantangan utama penerjemahan AI terletak pada ketepatan mempertahankan makna, bukan sekadar menghasilkan kalimat yang lancar secara tata bahasa. Karena itu, evaluasi terjemahan perlu melihat aspek morfosintaksis, semantik, dan pragmatik secara menyeluruh. Temuan ini membuka peluang pemanfaatan GPT–5 sebagai alat bantu evaluasi dengan tetap melibatkan pengawasan manusia. Ke depan, peneliti berencana mengembangkan penelitian pada pasangan bahasa dan domain yang lebih beragam, termasuk evaluasi terjemahan pada tingkat paragraf dan dokumen serta peningkatan kalibrasi AI agar semakin selaras dengan penilaian manusia.(kh/hms)
Penulis : Shalawati, S.Pd.I., M.TESOL., Prof. Dr. Arbi Haza Nasution, B.IT., M.IT. (UIR), Winda Monika, Tatum Derin (UNILAK), Aytug Onan (IZTECH), dan Yohei Murakami (Ritsumeikan Japan)
Sumber Artikel : https://www.mdpi.com/2673-6470/6/1/8
Sumber Gambar : https://bernardmarr.com/
