Evaluating the Quality of Thai – to – English Thesis Abstract Translations by Humans and ChatGPT at Rajamangala University of Technology Thanyaburi
โดย ธันญภักษณ์ สารชาติ
ปี 2568
บทคัดย่อ
การวิจัยนี้มีวัตถุประสงค์เพื่อ 1) ประเมินคุณภาพการแปลบทคัดย่อภาษาไทย เป็นภาษาอังกฤษ ตามเกณฑ์ในด้าน Accuracy (ความถูกต้องของความหมาย) Fluency (ความคล่องแคล่วทางภาษา) และTerminology Consistency (ความสอดคล้องของศัพท์เฉพาะ) ของเกณฑ์การประเมิน Multidimensional Quality Metrics (MQM) โดยพิจารณาความแตกต่างของคุณภาพระหว่างการแปลโดยมนุษย์ และ การแปลโดย ChatGPT 2) เปรียบเทียบคุณภาพการแปลระหว่างการแปลโดยมนุษย์และการแปลโดย ChatGPT จากคะแนนการประเมินของผู้เชี่ยวชาญด้านภาษาอังกฤษ และ 3) สังเคราะห์ความคิดเห็นของผู้เชี่ยวชาญเกี่ยวกับจุดเด่นและข้อจำกัดของการแปลทั้งสองรูปแบบ
การวิจัยครั้งนี้ เป็นการวิจัยแบบผสมผสาน แหล่งข้อมูลประกอบด้วยบทคัดย่อวิทยานิพนธ์ระดับปริญญาโท ของมหาวิทยาลัยเทคโนโลยีราชมงคลธัญบุรี ปีการศึกษา 2567 จำนวน 10 เรื่อง ซึ่งคัดเลือกแบบเจาะจง จากต้นฉบับภาษาไทยเดียวกัน และจัดทำเป็นบทแปลภาษาอังกฤษ 2 รูปแบบ ได้แก่ การแปลโดยมนุษย์และการแปลโดย ChatGPT ผู้ให้ข้อมูลสำคัญ คือ ผู้เชี่ยวชาญด้านภาษาอังกฤษ จำนวน 18 คน เครื่องมือที่ใช้ในการวิจัย ได้แก่ แบบประเมินคุณภาพการแปลตามเกณฑ์ MQM และแบบสอบถามความคิดเห็นของผู้เชี่ยวชาญ การวิเคราะห์ข้อมูลเชิงปริมาณใช้สถิติเชิงพรรณนาและการทดสอบความแตกต่างด้วยสถิติ Wilcoxon Signed – Rank Test ส่วนข้อมูลเชิงคุณภาพใช้การวิเคราะห์เนื้อหา
ผลการวิจัย พบว่า 1) ผลการประเมินคุณภาพการแปลตามเกณฑ์ Multidimensional Quality Metrics (MQM) พบว่า การแปลโดย ChatGPT มีค่าเฉลี่ยคุณภาพการแปลโดยรวมอยู่ในระดับ ดีเยี่ยม ขณะที่การแปลโดยมนุษย์มีค่าเฉลี่ยอยู่ในระดับดี โดย ChatGPT มีคะแนนสูงกว่ามนุษย์ในทุกองค์ประกอบ ได้แก่ Accuracy (ความถูกต้องของความหมาย), Fluency (ความคล่องแคล่วทางภาษา) และ Terminology Consistency (ความสอดคล้องของศัพท์เฉพาะ) 2) ผลการเปรียบเทียบคุณภาพการแปลระหว่างมนุษย์และการแปลโดย ChatGPT พบว่า คะแนนคุณภาพการแปลของทั้งสองรูปแบบ แตกต่างกันอย่างมีนัยสำคัญทางสถิติที่ระดับ .05 ในทุกองค์ประกอบของเกณฑ์ MQM และคะแนนรวม โดยคะแนนของ ChatGPT สูงกว่าการแปล โดยมนุษย์อย่างสม่ำเสมอ และ 3) ผลการสังเคราะห์ความคิดเห็นของผู้เชี่ยวชาญ พบว่า การแปล โดย ChatGPT มีจุดเด่นด้านการสร้างประโยคภาษาอังกฤษที่เป็นระบบ มีความลื่นไหลของภาษา และมีความสม่ำเสมอในการใช้ศัพท์เฉพาะ อย่างไรก็ตาม ยังมีข้อจำกัดด้านความคลาดเคลื่อนของความหมายในบางบริบท จึงจำเป็นต้องมีการตรวจทานและปรับแก้โดยมนุษย์ เพื่อให้เหมาะสมกับมาตรฐานการเขียนบทคัดย่อเชิงวิชาการ สำหรับผลการวิจัยสามารถนำไปใช้เป็นแนวทางในการพัฒนากระบวนการแปลบทคัดย่อวิทยานิพนธ์จากภาษาไทยเป็นภาษาอังกฤษของนักศึกษา ระดับบัณฑิตศึกษา รวมถึงใช้เป็นข้อมูลประกอบการกำหนดแนวปฏิบัติในการใช้เครื่องมือปัญญาประดิษฐ์เพื่อสนับสนุนการแปลเชิงวิชาการ ควบคู่กับการตรวจทานโดยผู้เชี่ยวชาญ เพื่อให้การเขียนบทคัดย่อภาษาอังกฤษมีคุณภาพและสอดคล้องกับมาตรฐานทางวิชาการมากยิ่งขึ้น
ABSTRACT
This study aimed to: 1) evaluate the quality of Thai-to-English translations of thesis abstracts based on the Multidimensional Quality Metrics (MQM), focusing on Accuracy, Fluency, and Terminology Consistency, by comparing human translation and ChatGPT translation; 2) compare the translation quality between human translation and ChatGPT translation based on evaluations by English language experts; and 3) synthesize expert opinions regarding the strengths and limitations of both translation approaches.
This study employed a mixed-methods research approach. The data sources consisted of ten master’s thesis abstracts from Rajamangala University of Technology Thanyaburi in the academic year 2024, which were purposively selected from the same original Thai texts. These abstracts were translated into English in two versions, namely human translation and ChatGPT translation. The key informants were 18 experts in English language. The research instruments included a translation quality assessment form based on the Multidimensional Quality Metrics (MQM) framework and a questionnaire on experts’ opinions. Quantitative data were analyzed using descriptive statistics and the Wilcoxon Signed-Rank Test, while qualitative data were analyzed using content analysis.
The results revealed that: 1) the evaluation of translation quality based on the Multidimensional Quality Metrics (MQM) criteria indicated that the translation produced by ChatGPT had an overall mean translation quality at the excellent level, whereas the human translation had a mean quality at the good level. ChatGPT obtained higher scores than human translation in all components, namely Accuracy (correctness of meaning), Fluency (language fluency), and Terminology Consistency (consistency of terminology). 2) The comparison of translation quality between human translation and ChatGPT translation showed that the translation quality scores of the two methods were significantly different at the .05 level in all components of the MQM criteria and in the overall score, with ChatGPT consistently receiving higher scores than human translation, and 3) the synthesis of expert opinions revealed that ChatGPT translation demonstrated strengths in producing systematically structured English sentences, providing fluent language use, and maintaining consistent terminology. However, there were still some limitations related to meaning inaccuracies in certain contexts. Therefore, human review and revision are necessary to ensure that the translated abstracts conform to academic abstract writing standards. The findings of this research can be used as guidelines for developing the process of translating thesis abstracts from Thai into English for graduate students, as well as supporting the establishment of practical guidelines for using artificial intelligence tools to assist academic translation together with expert review, in order to improve the quality of English abstract writing and ensure compliance with academic standards.
Download: 20260403-R2R-Evaluating-Thanyaphak S