นักศึกษาชายสองคนเผยแพร่ผลงานวิจัยในงานประชุม AI ชั้นนำของโลก

การใช้เทคนิคการฝึกอบรมเชิงปฏิปักษ์เพื่อให้ AI สร้างข้อมูลใหม่ งานวิจัยของนักศึกษา 2 คนจากมหาวิทยาลัยเทคโนโลยีโฮจิมินห์ซิตี้ได้รับการตีพิมพ์ในงาน AAAI ซึ่งเป็นการประชุมด้าน AI ชั้นนำของโลก

งานวิจัยเกี่ยวกับโมเดลหลายภาษาเพื่อฝึก AI เพื่อสร้างคำพ้องความหมายโดย Pham Khanh Trinh และ Le Minh Khoi อายุ 23 ปี ได้รับการตีพิมพ์ในเอกสารการประชุม AAAI-24 ว่าด้วยปัญญาประดิษฐ์ ซึ่งจัดขึ้นเมื่อปลายเดือนกุมภาพันธ์ที่เมืองแวนคูเวอร์ ประเทศแคนาดา

รองศาสตราจารย์ ดร. กวาน ถั่น โถ รองคณบดีคณะ วิทยาการคอมพิวเตอร์ และวิศวกรรมศาสตร์ มหาวิทยาลัยเทคโนโลยีโฮจิมินห์ซิตี ประเมินผลการวิจัยนี้ว่าน่าชื่นชม ศาสตราจารย์ โธ กล่าวว่า นักวิจัยและผู้เชี่ยวชาญต่างยกย่อง AAAI ว่าเป็นสถาบันคุณภาพชั้นนำในการประชุมวิชาการด้านวิทยาการคอมพิวเตอร์และปัญญาประดิษฐ์ โดยในปีนี้มีอัตราการตอบรับบทความวิจัยต่ำมากที่ 23.75%

มินห์ คอย และ ข่านห์ ตรินห์ (กลาง) ระหว่างการสอบป้องกันวิทยานิพนธ์ระดับปริญญา ปี 2023 ภาพ: จัดทำโดยตัวละคร

ด้วยความหลงใหลในการเรียนรู้เชิงลึกและการประมวลผลภาษาธรรมชาติ ทรินห์และคอยจึงเลือกที่จะศึกษาวิจัยเกี่ยวกับโมเดลภาษาขนาดใหญ่ (LLM) ทั้งคู่ต้องการค้นหาข้อจำกัดของ LLM และพัฒนามันให้ดีขึ้น

Khanh Trinh กล่าวว่า นักศึกษาปริญญาโทสาขา Chat GPT หรือ LLM จำเป็นต้องได้รับการฝึกฝนจากข้อมูลข้อความจำนวนมหาศาล เพื่อสร้างคำตอบที่แม่นยำและหลากหลายให้กับผู้ใช้ เด็กชายทั้งสองตระหนักดีว่า หากใช้ภาษาที่ไม่ค่อยเป็นที่นิยม เช่น ภาษาฮินดี คาซัค หรืออินโดนีเซีย นักศึกษาปริญญาโทสาขา Chat GPT และ LLM มักจะได้ผลลัพธ์ที่ไม่คาดคิด เพราะพวกเขายังไม่ได้ศึกษาภาษาเหล่านี้มากนัก หรือภาษาเหล่านี้มีข้อมูลไม่เพียงพอสำหรับการเรียนรู้

"ทำไมเราไม่สร้างข้อมูลข้อความเพิ่มเติมจาก 'ทรัพยากรเล็กๆ' ของภาษาเหล่านั้น เพื่อฝึกฝน AI ต่อไปล่ะ" นักศึกษาชายสองคนถาม จากนั้นแบบจำลอง LAMPAT (Low-rank Adaptation for Multilingual Paraphrasing using Adversarial Training) ซึ่งเป็นการแปลภาษาหลายภาษาโดยใช้วิธีการฝึกฝนแบบ Adversarial ที่ Trinh และ Khoi วิจัย จึงถือกำเนิดขึ้น

LAMPAT สามารถสร้างคำพ้องความหมายจากประโยคอินพุตที่กำหนด เพื่อสร้างข้อมูลข้อความเพิ่มเติม ตัวอธิบาย “adversarial training” เป็นวิธีการฝึกแบบจำลองภาษาขนาดใหญ่ที่ค่อนข้างใหม่ เมื่อใช้ประโยคอินพุต แอปพลิเคชันจะสร้างประโยคผลลัพธ์ ด้วยวิธีการฝึกแบบเดิม แต่ด้วยการฝึกแบบ adversarial แอปพลิเคชันสามารถแสดงความคิดเห็นและแก้ไขประโยคผลลัพธ์ “adversarial” เพื่อสร้างประโยคเพิ่มเติมได้

ลักษณะการใช้งานหลายภาษาของ LAMPAT อยู่ที่การที่โมเดลนี้สามารถผสานรวมภาษาต่างๆ ได้ถึง 60 ภาษาในเวลาเดียวกัน ทีมงานยังคงฝึกฝน LAMPAT ให้สร้างคำพ้องความหมายจากชุดข้อมูลที่รวบรวมได้ ปริมาณข้อมูลข้อความที่สร้างจาก LAMPAT จะยังคงถูกนำมาใช้เพื่อฝึกฝน LLM เพื่อให้โมเดลเหล่านี้สามารถเรียนรู้วิธีการแสดงข้อมูลสำหรับเนื้อหาเดียวกันได้หลากหลายรูปแบบ ส่งผลให้เกิดการตอบสนองที่หลากหลายและมีโอกาสถูกต้องมากขึ้น ด้วยคุณสมบัตินี้ ตัวแทนทีมเชื่อว่า LAMPAT สามารถผสานรวมเข้ากับแอปพลิเคชันต่างๆ เช่น ChatGPT เพื่อพัฒนาโมเดลนี้ให้สมบูรณ์แบบยิ่งขึ้น

นอกจากนี้ การขาดแคลนข้อมูลสำหรับ Chat GPT หรือ LLM ทำให้บางบริษัทต้องค้นหาแหล่งข้อมูลภายนอกมากมาย เช่น หนังสือ หนังสือพิมพ์ บล็อก ฯลฯ โดยไม่ใส่ใจปัญหาลิขสิทธิ์ Khanh Trinh กล่าวว่า การสร้างคำพ้องความหมายก็เป็นวิธีหนึ่งในการป้องกันการคัดลอกผลงานและการละเมิดลิขสิทธิ์

Nam Sinh ได้ยกตัวอย่างแอปพลิเคชันอย่าง Chat GPT เมื่อผู้ใช้ร้องขอสรุปข้อความที่มีอยู่ A แอปพลิเคชันจะสร้างข้อความสรุป B หากวิธีการวิจัยของกลุ่มมีการบูรณาการ เมื่อได้รับข้อความ A แอปพลิเคชันจะสร้างข้อความหลายรายการที่มีเนื้อหาเดียวกัน A1, A2, A3 โดยอิงตามกลไกการสร้างคำพ้องความหมาย จากนั้นจะสรุปข้อความและสร้างผลลัพธ์จำนวนมากให้ผู้ใช้เลือก

ในช่วงเริ่มต้นของการวิจัย ทีมวิจัยพบปัญหาในการเตรียมข้อมูลการประเมินสำหรับ 60 ภาษา เนื่องจากขาดการเข้าถึงข้อมูลจำนวนมากเพียงพอ ทีมวิจัยจึงได้รวบรวมชุดข้อมูลที่หลากหลายและครบถ้วน 13 ภาษา เพื่อประเมินแบบจำลองอย่างเป็นกลาง ได้แก่ ภาษาเวียดนาม อังกฤษ ฝรั่งเศส เยอรมัน รัสเซีย ญี่ปุ่น จีน สเปน ฮังการี โปรตุเกส สวีเดน ฟินแลนด์ และเช็ก นอกจากนี้ยังเป็นชุดข้อมูลที่เชื่อถือได้สำหรับขั้นตอนการประเมินมนุษย์ขั้นสุดท้ายอีกด้วย

มินห์ คอย (ซ้าย) และ ข่านห์ ตรินห์ (ขวา) ถ่ายภาพเป็นที่ระลึกร่วมกับคุณครู กวน ถั่นห์ โธ ในวันสำเร็จการศึกษา เดือนพฤศจิกายน พ.ศ. 2566 ภาพ: จัดทำโดยตัวละคร

สำหรับภาษาอังกฤษ เวียดนาม เยอรมัน ฝรั่งเศส และญี่ปุ่น ทีมวิจัยได้สุ่มเลือกคู่ประโยคจำนวน 200 คู่ (หนึ่งคู่ประกอบด้วยประโยคผลลัพธ์และคำกำกับที่ถูกต้อง) เพื่อประเมินผล สำหรับแต่ละภาษาข้างต้น ทีมวิจัยได้ขอให้ผู้เชี่ยวชาญด้านภาษา 5 คน ให้คะแนนโดยอิสระ โดยใช้เกณฑ์สามประการ ได้แก่ การรักษาความหมาย การเลือกใช้คำและความคล้ายคลึงกันของคำศัพท์ และความคล่องแคล่วและความสอดคล้องของประโยคผลลัพธ์ เกณฑ์การประเมินคำนวณจาก 1 ถึง 5 ผลการประเมินเฉลี่ยจากผู้เชี่ยวชาญด้านภาษาใน 5 ภาษานี้อยู่ในช่วง 4.2 ถึง 4.6/5 คะแนน

ตัวอย่างนี้เป็นคู่ประโยคภาษาเวียดนามที่ได้คะแนน 4.4/5 โดยประโยคอินพุตคือ "He explained the problem in detail" และประโยคเอาต์พุตคือ "He explained the problem in detail"

แต่ก็มีคู่ประโยคที่มีคุณภาพต่ำและข้อผิดพลาดทางความหมาย เช่น คู่ประโยค "We eat while the soup is hot - We eat the soup while we are hot" ซึ่งได้คะแนนเพียง 2/5 คะแนนเท่านั้น

คานห์ ตรินห์ กล่าวว่าโครงการนี้ใช้เวลาวิจัย 8 เดือนจนเสร็จสมบูรณ์ ซึ่งก็เป็นหัวข้อวิทยานิพนธ์ระดับปริญญาของตรินห์และคอยเช่นกัน วิทยานิพนธ์นี้ได้รับคะแนนเป็นอันดับ 1 ในสภาวิทยาการคอมพิวเตอร์ 2 ด้วยคะแนน 9.72/10 คะแนน

ตามที่นาย Quan Thanh Tho กล่าว แม้ว่า LAMPAT จะแสดงให้เห็นถึงความสามารถในการสร้างวลีที่มีความหมายเหมือนกันเหมือนมนุษย์ในหลายภาษาแล้วก็ตาม แต่ยังคงต้องมีการปรับปรุงในการจัดการกับสำนวน เพลงพื้นบ้าน และสุภาษิตในภาษาต่างๆ

ยิ่งไปกว่านั้น ชุดข้อมูลการประเมินของทีมมีเพียง 13 ภาษา ซึ่งยังคงขาดหายไปหลายภาษา โดยเฉพาะภาษาชนกลุ่มน้อย ดังนั้น ทีมจึงจำเป็นต้องทำการวิจัยเพื่อปรับปรุงและขยายขีดความสามารถของแบบจำลองการแปลภาษาหลายภาษาในปัจจุบัน จากจุดนี้ เราจะสามารถขจัดอุปสรรคทางภาษาระหว่างประเทศและกลุ่มชาติพันธุ์ต่างๆ ได้

เมื่อปลายปี 2566 ตรินห์และคอยสำเร็จการศึกษาด้วยเกียรตินิยมอันดับหนึ่งในสาขาวิทยาการคอมพิวเตอร์ ด้วยเกรดเฉลี่ย (GPA) 3.7 และ 3.9/4 ตามลำดับ ทั้งคู่วางแผนที่จะศึกษาต่อปริญญาโทในต่างประเทศ และศึกษาวิจัยด้านปัญญาประดิษฐ์และการเรียนรู้ของเครื่อง

“เราจะยังคงค้นคว้าหัวข้อนี้ต่อไปโดยมีเป้าหมายเพื่อนำ LAMPAT ไปใช้กับโครงการทางวิทยาศาสตร์ที่จะเกิดขึ้นในอนาคตมากขึ้น เพื่อสร้างผลิตภัณฑ์หลายภาษาที่เชื่อถือได้สำหรับผู้ใช้” Trinh กล่าว

เล เหงียน

ลิงค์ที่มา: https://vnexpress.net/hai-nam-sinh-cong-bo-nghien-cuu-tai-hoi-nghi-ai-hang-dau-the-gioi-4708552.html