A sign language translation system by kinect

โดย จิรสิน อัมพรชัยประทีป, จารุพงษ์  ตระกูลคูศรี และวิศรุต อ่อนสัมฤทธิ์

ปี 2557

บทคัดย่อ

ระบบแปลภาษามือโดยใช้คินเน็คท์ถูกสร้างขึ้นด้วยเพื่อช่วยอำนวยความสะดวกให้กับบุคคลปกติให้สามารถเข้าใจภาษามือที่ผู้พิการทางการได้ยินต้องการสื่อสารได้ง่ายขึ้น โดยใช้อุปกรณ์คินเน็คท์ (Kinect) ของบริษัทไมโครซอฟต์ ช่วยในการตรวจจับท่าทางการเคลื่อนไหวของร่างกายมนุษย์ ด้วยความสามารถของอุปกรณ์คินเน็คท์นี้ จะช่วยให้การควบคุมเครื่องจักรด้วยมนุษย์ (Human Machine Interface : HMI) ทำได้ง่ายและสะดวกมากยิ่งขึ้น

ท่าทางการเคลื่อนไหวของผู้พิการทางการได้ยินจะถูกตรวจจับโดยอุปกรณ์คินเน็คท์ที่ทำงานร่วมกับชุดพัฒนาซอฟต์แวร์ (Software Development Kit : SDK) และโปรแกรมประยุกต์ที่ผู้จัดทำพัฒนาขึ้นด้วยโปรแกรม Microsoft Visual Studio 2010 แล้วแสดงผลที่จอภาพของเครื่องคอมพิวเตอร์เป็นประโยคในรูปแบบข้อความและเสียง ทดสอบกับภาษามือตัวอย่างที่เป็นคำนามและคำกริยาจำนวน 9 คำ ผสมกันให้เป็นประโยคที่มีความหมายในรูปแบบ ประธาน+กริยา+กรรม จำนวน 3 ประโยค นอกจากนี้ ผู้จัดทำยังออกแบบให้โปรแกรมประยุกต์สามารถจดจำท่าทางการเคลื่อนไหวของผู้ใช้แต่ละคนได้อีกด้วย

ผลการทำงาน ระบบแปลภาษามือโดยใช้คินเน็คท์สามารถทำงานได้เป็นอย่างดี กล่าวคือ มีความถูกต้องในการตรวจจับเป็นคำที่ถูกกำหนดท่าทางไว้ล่วงหน้า คิดเป็นร้อยละ 75.78 และ มีความถูกต้องในการตรวจจับเป็นคำที่ถูกกำหนดท่าทางโดยผู้ใช้เอง คิดเป็นร้อยละ 86.67