The Investigation of Hand Grasp Type and Object Attributes in Egocentric Vision System
โดย ชนะ จันทร์ศร
ปี 2564
บทคัดย่อ
การตรวจจับในระบบอีโก้เซ็นทริควิชั่น (Egocentric Vision) เป็นหนึ่งในสาขาของ คอมพิวเตอร์วิทัศน์ (Computer Vision) ที่มีการพัฒนาวิจัยกันอย่างแพร่หลาย เนื่องจากการพัฒนา เทคโนโลยีระบบกล้องถ่ายรูปและวิดีโอให้มีขนาดเล็ก ง่ายและสะดวกต่อการใช้งาน จึงมีการนำอุปกรณ์ ดังกล่าวมาติดบริเวณศรีษะหรือหน้าอกเสมือนการบันทึกผ่านการมองเห็นของตัวเอง (First-Person Vision) เพื่อศึกษาการใช้มือจับวัตถุต่าง ๆ แต่เนื่องด้วยมือของมนุษย์มีการเปลี่ยนรูปร่างและภาพที่ บันทึกผ่านกล้องมีมุมมองที่แตกต่างกัน ทำให้ยากต่อการตรวจจับท่ามือ อีกทั้งปริมาณความเข้มแสง สว่างในสภาพแวดล้อม ทำให้ประสิทธิภาพการตรวจจับและจดจำท่ามือจับวัตถุลดน้อยลง
งานวิจัยนี้จึงนำเสนอเทคนิคการเพิ่มประสิทธิภาพการตรวจจับและจดจำท่ามือจับวัตถุใน ระบบอีโก้เซ็นทริควิชั่นในสภาวะความเข้มแสงสว่างต่ำโดยการทำงานร่วมกับเทคนิค Adaptive Gamma Correction with Weighting Distribution และความต้านทานแบบโค้งงอ (Flex Sensor) ในขั้นตอนการปรับปรุงภาพในระบบอีโก้เซ็นทริควิชั่น ได้นำค่าเฉลี่ยแรงดันไฟฟ้าที่เปลี่ยนแปลงของ ความต้านทานแบบโค้งงอที่ติดไว้ที่นิ้วโป้งขณะจับวัตถุมากำหนดเป็นน้ำหนักพารามิเตอร์ในการปรับค่า แกมมาของภาพ เนื่องด้วยการจัดวางนิ้วโป้งที่มีลักษณะเฉพาะในแต่ละท่ามือจับวัตถุ ทำให้ได้ภาพที่มี คุณลักษณะเฉพาะหลังจากผ่านขั้นการปรับปรุงภาพที่มีความเข้มแสงสว่างต่ำส่งต่อให้ในส่วนการตรวจจับและจดจำท่ามือจับวัตถุซึ่งใช้เทคนิคการเรียนรู้เชิงลึกแบบ YOLOv2
ผลการทดลองพบว่า เทคนิคที่นำเสนอสามารถเพิ่มประสิทธิภาพในการตรวจจับและจดจำท่ามือจับวัตถุในระบบอีโก้เซ็นทริควิชั่นได้เป็นอย่างดีโดยสามารถตรวจจับและจดจำท่ามือจับวัตถุตาม ลักษณะรูปทรงต่าง ๆ จำนวน 18 ท่ามือ ได้ความถูกต้องสูงสุดร้อยละ 86.28%
Abstract
Egocentric recognition is one of the computer vision fields which has been studied pervasively. Due to its development in photography system and a small size video that made it simple to utilize, the egocentric camera is attached to the head or the chest to record the first-person point of view. The gadget is used to study hand grasp type. However, as human hands can be transformed into shapes through different camera angles, detecting the hand grasp type is not easy. Moreover, an environmental light under low illumination conditions makes it difficult to detect the hand grasp type.
This study addressed the techniques which increased the efficiency of egocentric hand grasp type recognition in low light conditions by utilizing the flex sensor and image enhancement algorithm with adaptive gamma correction with weighting distribution. In the enhancement stage, the flex sensor was attached to the thumb for object manipulation. The average voltages were used to configure the weighting parameter to improve the gamma function in the image enhancement stage. As the thumb placement differed in positions of eachgrasp on the objects, distinct images were made after the enhancement of low light conditions. Moreover, the YOLOv2of the deep learning technique was used for the grasp detection and recognition system.
The research results showed that the proposed method could significantly improve grasp detection and recognition in egocentric vision. It can detect 18 gestures according to different shapes of objects with the highest accuracy of about 86.28%.
Download : การศึกษารูปแบบมือจับและลักษณะรูปทรงของวัตถุในระบบอีโก้เซ็นทริควิชั่น