EcomRLVE-GYM: ปฏิวัติวงการเอเจนต์สนทนาอีคอมเมิร์ซ ด้วยสภาพแวดล้อมที่ตรวจสอบได้และปรับเปลี่ยนได้

EcomRLVE-GYM: ปฏิวัติวงการเอเจนต์สนทนาอีคอมเมิร์ซ ด้วยสภาพแวดล้อมที่ตรวจสอบได้และปรับเปลี่ยนได้การพัฒนาเอเจนต์สนทนาสำหรับธุรกิจอีคอมเมิร์ซเป็นอีกก้าวสำคัญที่ช่วยให้การซื้อขายออนไลน์สะดวกสบายและมีประสิทธิภาพมากขึ้น ปัญหาที่พบเจอคือ แม้โมเดลภาษาขนาดใหญ่ (LLM) จะสามารถสนทนาได้อย่างลื่นไหล แต่ก็ยังขาดความสามารถในการทำงานให้สำเร็จลุล่วงตามความต้องการของลูกค้าอย่างแท้จริง โครงการ EcomRLVE-GYM จึงถูกพัฒนาขึ้นเพื่อแก้ไขปัญหานี้ โดยการสร้างสภาพแวดล้อมการเรียนรู้แบบจำลองที่สามารถตรวจสอบผลลัพธ์ได้อย่างแม่นยำ และปรับระดับความยากง่ายให้เหมาะสมกับความสามารถของเอเจนต์ทำไมต้องใช้ Reinforcement Learning (RL) กับเอเจนต์ช้อปปิ้ง?LLM เก่งในการสร้างบทสนทนา แต่การนำมาใช้เป็นผู้ช่วยช้อปปิ้งกลับพบช่องว่างสำคัญ: ความสามารถในการสนทนาไม่ได้หมายถึงความสามารถในการทำงานให้สำเร็จ เช่น ลูกค้าที่ต้องการ "หาที่ชาร์จ USB-C ราคาไม่เกิน 25 ดอลลาร์ ที่จัดส่งได้ในสองวัน" ต้องการเอเจนต์ที่สามารถค้นหาผลิตภัณฑ์ในแคตตาล็อก กรองตามเงื่อนไขที่กำหนด หลีกเลี่ยงการสร้างข้อมูลผลิตภัณฑ์ที่ไม่มีอยู่จริง และจัดการกับสถานการณ์ที่ผลิตภัณฑ์ตัวเลือกแรกหมดสต็อกการปรับแต่งโมเดลด้วยข้อมูลตัวอย่าง (Supervised fine-tuning) สามารถสอนการใช้งานเครื่องมือเบื้องต้นได้ แต่ไม่สามารถรองรับความซับซ้อนของเงื่อนไขที่หลากหลาย การสนทนาที่มีข้อมูลไม่ครบถ้วน หรือขั้นตอนการทำธุรกรรมที่ซับซ้อน ซึ่งเป็นสิ่งที่ธุรกิจอีคอมเมิร์ซต้องการReinforcement Learning with Verifiable Rewards (RLVR) เป็นทางเลือกที่น่าสนใจ โดยเอเจนต์จะเรียนรู้จากการปรับปรุงผลลัพธ์ที่ได้ เช่น ผลิตภัณฑ์ที่แนะนำตรงตามเงื่อนไขหรือไม่ ตะกร้าสินค้าถูกต้องหรือไม่ การคืนสินค้าดำเนินการสำหรับคำสั่งซื้อที่ถูกต้องหรือไม่ ความท้าทายคือการสร้างฟังก์ชันรางวัลที่สามารถตรวจสอบได้ (ไม่มีการตัดสินโดย LLM) และปรับเปลี่ยนได้ (ความยากง่ายเพิ่มขึ้นตามความสามารถของเอเจนต์)จาก RLVE-Gym สู่ EcomRLVE-GYMRLVE-Gym เดิมมีสภาพแวดล้อม 400 รูปแบบ สำหรับงานการเรียงลำดับ การคูณ การเล่นซูโดกุ และปริศนาการให้เหตุผลเชิงอัลกอริทึมอื่นๆ แต่ทั้งหมดเป็นเพียงการสนทนาแบบครั้งเดียว (single-turn) การขยายผลไปสู่โดเมนของเอเจนต์ยังคงเป็นงานในอนาคตEcomRLVE-GYM เข้ามาเติมเต็มช่องว่างนี้ โดยยังคงรักษาหลักการของสภาพแวดล้อมที่ตรวจสอบได้ (ผลลัพธ์อีคอมเมิร์ซสามารถตรวจสอบได้ด้วยอัลกอริทึม) พร้อมทั้งขยายไปยังการสนทนาแบบหลายรอบ (multi-turn) ที่มีการใช้เครื่องมือ (tool-augmented) และมีความเป็นเอเจนต์ (agentic) ซึ่งเอเจนต์ต้องลงมือปฏิบัติ (เรียกใช้เครื่องมือ, แก้ไขสถานะของโลก) มากกว่าแค่การให้เหตุผล (สร้างคำตอบที่เป็นข้อความ) และชดเชยข้อบกพร่องของระบบการค้นหาEcomRLVE-GYM ทำให้ผลลัพธ์การบริการลูกค้าสามารถตรวจสอบได้ตามโครงสร้าง:การค้นหาผลิตภัณฑ์: ผลิตภัณฑ์ที่ถูกค้นพบและแนะนำต้องมีอยู่จริงการจัดการตะกร้า: สินค้าที่เพิ่มในตะกร้าต้องตรงกับคำขอการติดตามคำสั่งซื้อ: ข้อมูลคำสั่งซื้อที่แสดงต้องถูกต้องการดำเนินการคืนสินค้า: การคืนสินค้าต้องดำเนินการกับคำสั่งซื้อที่ถูกต้องสัญญาณเหล่านี้สามารถประเมินได้ด้วยโปรแกรมที่เข้าถึงเป้าหมายที่ซ่อนอยู่ โดยไม่ต้องใช้การประเมินจากมนุษย์หรือ LLMตัวอย่างการฝึกฝนเอเจนต์ใน EcomRLVE-GYMในแต่ละตอนของการฝึกฝน (episode) สภาพแวดล้อมจะสร้างเป้าหมายที่ซ่อนอยู่ จากนั้นผู้ใช้จำลองจะเปิดบทสนทนา และเอเจนต์ต้องใช้เครื่องมือเพื่อตอบสนองคำขอ ทุกการกระทำจะถูกตรวจสอบด้วยอัลกอริทึมรางวัลจะถูกคำนวณด้วยโค้ดทั้งหมด:คะแนน F1: สำหรับ (ผลิตภัณฑ์, ตัวแปร, จำนวน) ที่ถูกต้องโบนัสประสิทธิภาพ: สำหรับการเสร็จสิ้นภารกิจในจำนวนเทิร์นที่น้อยลงการตรวจสอบการหลอนข้อมูล: ผลิตภัณฑ์ที่แนะนำต้องเป็นสิ่งที่ถูกค้นพบจริงในระหว่างเซสชันหากเอเจนต์เลือกตัวแปรผิด (เช่น Lightning แทนที่จะเป็น USB-C) ผู้ใช้จำลองจะแก้ไขกลางบทสนทนา ซึ่งจะส่งผลให้คะแนน F1 ลดลง8 สภาพแวดล้อมหลักใน EcomRLVE-GYMแต่ละสภาพแวดล้อมครอบคลุมสถานการณ์การช้อปปิ้งจริงที่แตกต่างกัน เอเจนต์ต้องทำงานให้สำเร็จโดยใช้เครื่องมือต่างๆ (เช่น ค้นหาแคตตาล็อก, จัดการตะกร้า, ตรวจสอบคำสั่งซื้อ, สอบถามนโยบาย) และจะได้รับคะแนนจากการประเมินด้วยโปรแกรมทุกสภาพแวดล้อมใช้สัญญาณรางวัล 3 ส่วนเหมือนกัน:รางวัลสำหรับภารกิจ: เอเจนต์ทำเป้าหมายสำเร็จหรือไม่ (เช่น แนะนำผลิตภัณฑ์ถูกต้อง, ตะกร้าสินค้าถูกต้อง, ติดตามคำสั่งซื้อถูกต้อง)รางวัลสำหรับประสิทธิภาพ: เอเจนต์ทำงานโดยไม่เสียเทิร์นหรือไม่ (เทิร์นที่ผู้ใช้ก่อขึ้น เช่น การถามคำถามเพิ่มเติม, การยืนยันการดำเนินการ จะไม่ถูกนับ แต่เทิร์นที่เกิดจากความผิดพลาดของเอเจนต์จะถูกนับ)การลงโทษจากการหลอนข้อมูล: เอเจนต์แนะนำเฉพาะผลิตภัณฑ์ที่ค้นพบจริงหรือไม่ การแนะนำรหัสผลิตภัณฑ์ที่ไม่ได้ค้นหาจะถูกลงโทษ เพื่อป้องกันไม่ให้เอเจนต์สร้างข้อมูลขึ้นเองจากความจำการส่งออกผลลัพธ์ที่ไม่ถูกต้อง (เช่น JSON ที่ผิดรูปแบบ, การเรียกใช้เครื่องมือที่ผิดกฎ) จะทำให้คะแนนล้มเหลวทันที ซึ่งเป็นการสร้างแรงจูงใจที่แข็งแกร่งให้เอเจนต์สร้างการตอบสนองที่ถูกต้องตั้งแต่เริ่มต้นหลักสูตรความยากง่ายที่ปรับเปลี่ยนได้ (Adaptive Difficulty Curriculum)ตัวเลขความยากง่าย 'd' เพียงตัวเลขเดียวควบคุม 12 แง่มุมของภารกิจพร้อมกัน สิ่งนี้สำคัญเพราะบทสนทนาอีคอมเมิร์ซมีความซับซ้อนได้หลายด้านพร้อมกัน ไม่ใช่แค่เพียงมิติเดียวนี่คือ 4 แกนความยากง่ายที่เป็นตัวแทน:ความซับซ้อนของผลิตภัณฑ์: จำนวนผลิตภัณฑ์ที่ต้องจัดการความซับซ้อนของตัวแปร: จำนวนตัวแปรของผลิตภัณฑ์ที่ต้องพิจารณาความแม่นยำในการค้นหา: คุณภาพของการค้นหาผลิตภัณฑ์ (อาจมีผลลัพธ์ที่ไม่เกี่ยวข้องปะปนมา)ความสมบูรณ์ของข้อมูล: จำนวนข้อมูลที่ผู้ใช้ให้มาตั้งแต่ต้น (อาจมีการละเว้นบางส่วนเพื่อบังคับให้เอเจนต์ถามคำถามเพิ่มเติม)อีก 8 แกนครอบคลุมงบประมาณเทิร์น, สัญญาณรบกวนอินพุต (การพิมพ์ผิด, ภาษาพูด), การสลับบริบท, ความลึกของการค้นหา, ขนาดประวัติคำสั่งซื้อ, ความซับซ้อนของนโยบาย, และงบประมาณเครื่องมือการจัดตารางเวลาแบบปรับเปลี่ยนได้: สภาพแวดล้อมแต่ละแห่งจะติดตามอัตราความสำเร็จของเอเจนต์อย่างอิสระ และจะเลื่อนไปยังปัญหายากขึ้นก็ต่อเมื่อเอเจนต์ผ่านระดับปัจจุบันได้อย่างน่าเชื่อถือ สิ่งนี้ช่วยให้ทุกสภาพแวดล้อมฝึกฝนที่ขีดความสามารถของเอเจนต์ หลีกเลี่ยงทั้ง "ง่ายเกินไปที่จะเรียนรู้" และ "ยากเกินไปที่จะก้าวหน้า"เจาะลึก: การสร้างตะกร้าสินค้า (E_CART)การสร้างตะกร้าสินค้าเป็นตัวอย่างที่ดี เพราะต้องใช้กระบวนการค้นหา → ตรวจสอบ → ชี้แจง → ดำเนินการ ครบวงจร มีผลลัพธ์ที่ถูกต้องเป็นแบบไบนารี และนำเสนอความท้าทายที่แตกต่างจากเกณฑ์มาตรฐานการแนะนำส่วนใหญ่: การเลือกตัวแปรในการที่จะประสบความสำเร็จ เอเจนต์ต้องพัฒนาทักษะที่แตกต่างกัน 5 ด้าน:การค้นหาแคตตาล็อก: ค้นหาผลิตภัณฑ์ที่ถูกต้องการจัดการตัวแปร: เลือกตัวแปรที่ถูกต้อง (เช่น USB-C vs Lightning)การจัดการปริมาณ: ระบุจำนวนสินค้าที่ถูกต้องการตรวจสอบตะกร้า: ตรวจสอบให้แน่ใจว่าสินค้าทั้งหมดถูกต้องก่อนยืนยันการจัดการข้อผิดพลาด: เรียนรู้จากการแก้ไขของผู้ใช้หรือข้อผิดพลาดของตนเองเอเจนต์ใช้เครื่องมือ 6 อย่างในการบรรลุเป้าหมายนี้:catalog.searchcatalog.get_variantscart.addcart.viewcart.removecart.checkoutการสร้างตัวแปรสังเคราะห์แคตตาล็อกผลิตภัณฑ์จริงมักมีข้อมูลตัวแปรที่กระจัดกระจาย เพื่อสร้างงานที่ต้องแยกแยะให้ซับซ้อนยิ่งขึ้น เราสังเคราะห์ตัวแปรขึ้นเมื่อเริ่มต้นตอน:รายการลำดับความสำคัญต่อหมวดหมู่จะเลือกคุณสมบัติที่เปลี่ยนแปลงได้ตามธรรมชาติมากที่สุด (เช่น อิเล็กทรอนิกส์ → ประเภทการเชื่อมต่อ, เสื้อผ้า → ขนาด, ห้องครัว → วัสดุ)สำหรับผลิตภัณฑ์เป้าหมายแต่ละรายการ เราจะสร้าง 3 ตัวแปร: 1 ตัวแปรเป้าหมาย + 2 ตัวแปรที่เบี่ยงเบนความสนใจ (เช่น "Anker 65W USB-C Charger" จะสร้าง {USB-C, Lightning, HDMI})การตรวจสอบความถูกต้องระบบตรวจสอบจะตรวจสอบคีย์ผสม (product\id, variant\id) - ผลิตภัณฑ์ถูกต้องแต่ตัวแปรผิด จะถือว่าไม่ตรงกันที่ระดับ d=0 เอเจนต์จะเพิ่มผลิตภัณฑ์เดียวโดยไม่มีความซับซ้อนของตัวแปร ที่ระดับ d=6 เอเจนต์จะต้องจัดการสินค้า 3 รายการ เกือบทั้งหมดต้องใช้ตัวแปรเฉพาะ และครึ่งหนึ่งต้องมีจำนวนมากกว่า 1ตะกร้าสินค้าจะต้องถูกต้องสมบูรณ์ – ผลิตภัณฑ์ถูกต้อง ตัวแปรถูกต้อง จำนวนถูกต้อง ระบบจะให้คะแนนบางส่วนสำหรับตะกร้าที่ถูกต้องบางส่วน แต่คะแนนเต็มต้องตรงกันทุกรายการเส้นทางการเรียนรู้: ง่าย vs. ยากตัวอย่างตอนการเรียนรู้จริง 2 ตอนจากเอเจนต์ Qwen 3 8B ที่ใช้สภาพแวดล้อมเดียวกัน แต่ระดับความยากต่างกัน:ที่ d=1: เอเจนต์แก้ปัญหาได้ใน 3 เทิร์นที่ราบรื่นที่ d=8: เอเจนต์เริ่มสับสน เลือกสีผิด ขนาดผิด ไม่แก้ไขเครื่องทอดอากาศแม้จะได้รับการแก้ไขสองครั้ง และสร้างข้อมูลเท็จว่าตัวแปรนั้นไม่มีอยู่จริง นี่คือตัวอย่างของข้อผิดพลาดแบบหลายขั้นตอนที่หลักสูตรความยากง่ายสามารถเปิดเผยได้ และการฝึกอบรมแบบปรับเปลี่ยนได้ควรจะสอนให้เอเจนต์แก้ไขได้การจำลองผู้ใช้ที่สมจริงสภาพแวดล้อมที่ตรวจสอบได้ต้องการผู้ใช้จำลองที่ประพฤติตัวสมจริง เราใช้ Qwen3.5 (9.7B) ในการสร้างข้อความจากผู้ใช้ที่หลากหลายและเป็นธรรมชาติ ไม่ใช่แค่ข้อความที่เตรียมไว้ล่วงหน้า ครอบคลุมทุกอย่างตั้งแต่คำขอที่มีการพิมพ์ผิดไปจนถึงการเปลี่ยนหัวข้อกลางคันการตัดสินใจด้านการออกแบบ 2 ข้อที่สำคัญต่อคุณภาพการฝึกอบรม:ความชอบตรงกับข้อจำกัดที่ระบุ: ผู้ใช้จำลองแต่ละคนมีชุดความชอบที่ซ่อนอยู่ (ความอ่อนไหวต่อราคา, ความภักดีต่อแบรนด์, ความเร็วในการจัดส่ง ฯลฯ) สิ่งเหล่านี้จงใจเอนเอียงไปทางข้อจำกัดที่ผู้ใช้สื่อสาร ดังนั้นหากผู้ใช้กล่าวว่า "ไม่เกิน 25 ดอลลาร์" ฟังก์ชันรางวัลจะให้ความสำคัญกับราคา หากไม่มีสิ่งนี้ เอเจนต์อาจถูกลงโทษจากการทำตามคำแนะนำของผู้ใช้อย่างถูกต้องการละเว้นอย่างมีกลยุทธ์: LLM จงใจละเว้นข้อจำกัดบางอย่างจากข้อความเปิด เพื่อบังคับให้เอเจนต์ถามคำถามเพื่อชี้แจง ระบบจะติดตามว่าอะไรถูกกล่าวถึงและอะไรไม่ได้ถูกกล่าวถึง ดังนั้นเอเจนต์จะไม่ถูกลงโทษสำหรับข้อมูลที่ไม่เคยได้รับผลการศึกษาเบื้องต้นเราได้ฝึกฝน Qwen 3 8B ด้วย DAPO บน C1 (Cart Building) เป็นเวลา 300 ขั้นตอน เพื่อเป็นการศึกษาความเป็นไปได้เบื้องต้นเราพบว่าระดับความยากที่เอเจนต์ไปถึงมีการเติบโตอย่างต่อเนื่อง ซึ่งยืนยันว่าการจัดตารางเวลาแบบปรับเปลี่ยนได้ให้สัญญาณการเรียนรู้ที่สม่ำเสมอ แทนที่จะเป็นรูปแบบการอิ่มตัว (คงที่-ต่ำ) หรือการขาดแคลนhttps://huggingface.co/blog/ecom-rlve