OpenEnv: กรอบการทำงานใหม่เพื่อประเมิน Agent ที่ใช้เครื่องมือในโลกจริง

# ตัวอย่างโค้ด (สมมติ)

from openenv import CalendarGym



env = CalendarGym()

observation, info = env.reset()



# สำรวจเครื่องมือที่มีอยู่

tools = env.call("ListToolsAction")

print(tools)



# สร้างกิจกรรม

event_details = {

    "summary": "Project meeting",

    "start": {"dateTime": "2026-03-15T10:00:00", "timeZone": "Asia/Bangkok"},

    "end": {"dateTime": "2026-03-15T11:00:00", "timeZone": "Asia/Bangkok"},

    "attendees": [{"email": "[email protected]"}]

}

create_event_action = env.call("CreateEventAction", calendarId="primary", event=event_details)

print(create_event_action)

OpenEnv: กรอบการทำงานใหม่เพื่อประเมิน Agent ที่ใช้เครื่องมือในโลกจริงการพัฒนาปัญญาประดิษฐ์ (AI) โดยเฉพาะอย่างยิ่ง AI ที่สามารถทำงานร่วมกับเครื่องมือต่างๆ หรือที่เรียกว่า "Agent" กำลังก้าวไปอย่างรวดเร็ว แต่การทดสอบประสิทธิภาพของ Agent เหล่านี้ในสภาพแวดล้อมจริงที่ซับซ้อนยังคงเป็นความท้าทายสำคัญ Hugging Face และ Meta จึงได้ร่วมกันพัฒนา OpenEnv ซึ่งเป็นเฟรมเวิร์กโอเพนซอร์สที่ออกแบบมาเพื่อแก้ปัญหานี้ ด้วยการสร้างมาตรฐานวิธีการที่ Agent จะโต้ตอบกับสภาพแวดล้อมจริงบทความนี้จะพาไปทำความรู้จักกับ OpenEnv ว่าทำงานอย่างไร เหตุใดระบบปฏิทินจึงเป็นเครื่องมือวัดผลที่ดีเยี่ยมสำหรับการประเมิน Agent ในโลกจริง และผลการศึกษาของเราเผยให้เห็นถึงข้อจำกัดปัจจุบันของ Agent ที่ใช้เครื่องมืออย่างไรบ้างOpenEnv คืออะไร?OpenEnv คือกรอบการทำงานที่ช่วยให้เราสามารถประเมิน AI Agent กับระบบจริง แทนที่จะเป็นเพียงการจำลองสถานการณ์ มันมอบวิธีการที่เป็นมาตรฐานในการเชื่อมต่อ Agent เข้ากับเครื่องมือและขั้นตอนการทำงานจริง พร้อมทั้งรักษาโครงสร้างที่จำเป็นสำหรับการประเมินที่สม่ำเสมอและเชื่อถือได้OpenEnv ใช้ API แบบ Gym-oriented (reset, step, action, observations) คล้ายกับ Gymnasium ของ OpenAI นอกจากนี้ยังใช้ส่วนต่อประสานมาตรฐานสำหรับเรียกใช้เครื่องมือ (MCP tool call interface) เพื่อเชื่อมต่อกับสภาพแวดล้อมต่างๆ ซึ่งช่วยให้มีอินเทอร์เฟซที่สอดคล้องกันในทุกโดเมน ตั้งแต่การจำลองไปจนถึงสภาพแวดล้อมการใช้งานจริงสภาพแวดล้อมเหล่านี้สามารถรักษา "สถานะ" (state) ไว้ได้หลายการดำเนินการ ทำให้ Agent สามารถทำการตัดสินใจที่ต้องอาศัยการคิดระยะยาว (long-horizon reasoning) และสามารถเชื่อมต่อโดยตรงกับ API และเครื่องมือจริง เช่น เว็บเบราว์เซอร์, ระบบจัดเก็บโค้ด (code repositories) หรือแม้กระทั่งระบบปฏิทิน สิ่งนี้ช่วยเปลี่ยนการประเมินจากการถามว่า "สิ่งนี้ทำงานได้หรือไม่ในการสาธิตที่ควบคุมได้?" ไปเป็นการถามว่า "สิ่งนี้สามารถทำงานได้อย่างน่าเชื่อถือในโลกจริงหรือไม่?"Calendar Gym: มาตรฐานการวัดผลระดับโปรดักชันระบบปฏิทินนั้นมีความซับซ้อนอย่างไม่น่าเชื่อ การนัดหมายประชุมดูเหมือนจะเป็นเรื่องง่าย แต่การจัดการปฏิทินในโลกจริงต้องการให้ Agent สามารถคิดวิเคราะห์ตามเวลา, จัดการสิทธิ์การเข้าถึง, คำนึงถึงผู้ใช้หลายคน และข้อมูลที่ไม่สมบูรณ์ ซึ่งมักจะต้องทำหลายขั้นตอนที่เกี่ยวข้องกัน คุณสมบัติเหล่านี้ทำให้ระบบปฏิทินเป็นสนามทดสอบที่มีประสิทธิภาพสำหรับการประเมิน Agent ที่ใช้เครื่องมือ นอกเหนือจากการจำลองสถานการณ์Turing ได้พัฒนาสภาพแวดล้อมการจัดการปฏิทินระดับโปรดักชันที่เรียกว่า Calendar Gym เพื่อให้ OpenEnv สามารถใช้งานได้จริงในกรณีที่ต้องเผชิญกับความต้องการที่สมจริงและท้าทาย แทนที่จะเป็นการจำลองการนัดหมายปฏิทินโดยทั่วไป Calendar Gym จะนำเสนอข้อจำกัดเดียวกันกับที่ Agent จะต้องเผชิญในระบบปฏิทินจริง ได้แก่:Access Control Lists (ACLs): การควบคุมสิทธิ์การเข้าถึงระหว่างผู้ใช้และปฏิทินต่างๆการมองเห็นที่จำกัด: Agent อาจมองเห็นสถานะของผู้ใช้อื่นได้เพียงบางส่วนขั้นตอนการทำงานแบบหลายขั้นตอน: การดำเนินการต้องถูกเชื่อมต่อกันตามลำดับที่ถูกต้องAgent จะได้โต้ตอบกับชุดของการดำเนินการปฏิทินที่หลากหลาย ตั้งแต่การแสดงรายการปฏิทิน, การแก้ไขกิจกรรม, ไปจนถึงการจัดการสิทธิ์ และต้องสามารถจัดการกับการดำเนินการที่ล้มเหลว, การคาดเดาที่ผิดพลาด, และการขาดสิทธิ์ที่จำเป็น แต่ละเซสชันจะทำงานในสภาพแวดล้อมที่แยกออกมา เพื่อให้สามารถเปรียบเทียบผลลัพธ์ได้อย่างน่าเชื่อถือตัวอย่างการใช้งาน Calendar Gym# ตัวอย่างโค้ด (สมมติ) from openenv import CalendarGym env = CalendarGym() observation, info = env.reset() # สำรวจเครื่องมือที่มีอยู่ tools = env.call("ListToolsAction") print(tools) # สร้างกิจกรรม event_details = { "summary": "Project meeting", "start": {"dateTime": "2026-03-15T10:00:00", "timeZone": "Asia/Bangkok"}, "end": {"dateTime": "2026-03-15T11:00:00", "timeZone": "Asia/Bangkok"}, "attendees": [{"email": "[email protected]"}] } create_event_action = env.call("CreateEventAction", calendarId="primary", event=event_details) print(create_event_action)เมื่อเรียกใช้ ListToolsAction ใน Calendar Gym คุณจะได้รับรายการเครื่องมือพร้อมกับ schema ของ input (ระบุว่าเครื่องมือนั้นรับ argument อะไรบ้าง)สิ่งที่ค้นพบจากการประเมิน Agent ใน Calendar Gymการประเมิน Agent ใน Calendar Gym เผยให้เห็นรูปแบบที่สอดคล้องกันซึ่งพบได้ทั่วไปในหลายโดเมน แม้ว่า Agent มักจะทำงานได้ดีกับการดำเนินการเดี่ยวๆ แต่ความน่าเชื่อถือจะลดลงเมื่อภารกิจมีความยาวมากขึ้น, คลุมเครือขึ้น, และมีข้อจำกัดมากขึ้นการคิดวิเคราะห์หลายขั้นตอนเป็นคอขวดหลัก: Agent มักจะประสบปัญหาในการเชื่อมโยงการดำเนินการอย่างถูกต้องในขั้นตอนที่ยาวขึ้น ซึ่งชี้ให้เห็นว่าเกณฑ์การวัดผลจำเป็นต้องทดสอบการคิดวิเคราะห์ที่ต่อเนื่องผ่านขั้นตอนที่ขึ้นต่อกันหลายขั้นตอน ไม่ใช่แค่การเรียกใช้เครื่องมือครั้งเดียวความคลุมเครือลดประสิทธิภาพลงอย่างมาก: Agent สามารถทำภารกิจสำเร็จได้เกือบ 90% เมื่อระบุปฏิทินอย่างชัดเจน แต่ความสำเร็จจะลดลงเหลือประมาณ 40% เมื่อใช้คำอธิบายเป็นภาษาธรรมชาติสำหรับภารกิจเดียวกัน การสร้างกลไกการค้นหาและตรวจสอบข้อมูลที่แข็งแกร่งขึ้นใน Agent loop (แทนที่จะพึ่งพา LLM ในการตีความการอ้างอิงเพียงอย่างเดียว) ดูเหมือนจะเป็นสิ่งจำเป็นการเลือกเครื่องมือที่ถูกต้องไม่เพียงพอ: ในการโต้ตอบที่ล้มเหลว มากกว่าครึ่งหนึ่งของข้อผิดพลาดเกิดจาก argument ของเครื่องมือที่ผิดรูปแบบ หรือลำดับการดำเนินการที่ไม่ถูกต้อง แม้ว่าจะเลือกเครื่องมือที่ถูกต้องแล้วก็ตาม พฤติกรรมของ Agent ที่น่าเชื่อถือขึ้นอยู่กับคุณภาพการดำเนินการและการให้ feedback ที่มีโครงสร้างพอๆ กับการเลือกเครื่องมือ ซึ่งการออกแบบสภาพแวดล้อมก็มีความสำคัญเช่นกันความท้าทายเหล่านี้ไม่ได้จำกัดอยู่แค่การจัดตารางเวลาและปฏิทินเท่านั้น แต่สะท้อนถึงข้อจำกัดที่กว้างขึ้นซึ่งเกิดขึ้นเมื่อ Agent ทำงานในระบบที่เปลี่ยนแปลงไปในช่วงเวลานานๆ และชี้ให้เห็นถึงกรอบการประเมินที่ทดสอบสิทธิ์, การสังเกตการณ์บางส่วน (partial observability), และขั้นตอนการทำงานแบบหลายขั้นตอนไปพร้อมๆ กันOpenEnv เป็นรากฐานสำหรับการทดสอบ Agent ภายใต้เงื่อนไขที่สมจริง และ Calendar Gym แสดงให้เห็นว่าโดเมนที่ดูเหมือนง่ายสามารถเผยให้เห็นความท้าทายเชิงลึกในการคิดวิเคราะห์, การแก้ไขความคลุมเครือ, และการใช้เครื่องมือได้อย่างไร การประเมิน Agent ในสภาพแวดล้อมที่สามารถวัดผลความล้มเหลวได้และมีข้อจำกัดที่แท้จริง ช่วยให้เราได้รับข้อมูลเชิงลึกที่ชัดเจนยิ่งขึ้นว่าต้องทำอย่างไรจึงจะสร้าง Agent ที่สามารถทำงานได้อย่างน่าเชื่อถือในสภาพแวดล้อมการใช้งานจริงหากต้องการเจาะลึกเกี่ยวกับการออกแบบ Calendar Gym, ระเบียบวิธีในการวัดผล และผลลัพธ์เชิงปริมาณ โปรดสำรวจบทความทางเทคนิคฉบับเต็มบนเว็บไซต์ของ Turing และหากต้องการสำรวจ Calendar Gym เวอร์ชันโคลน โปรดไปที่ Calendar Gym spaceข้อผิดพลาดที่พบบ่อยในการใช้เครื่องมือ (Appendix)ในการใช้งานจริง การเชื่อมต่อเครื่องมือมักจะล้มเหลวในลักษณะที่ไม่ใช่เรื่องใหญ่ แต่เป็นข้อผิดพลาดเล็กๆ ที่คาดเดาได้ เมื่อเชื่อมต่อเครื่องมือ MCP เข้ากับ API จริง (เช่น การดำเนินการปฏิทิน) เราได้พบปัญหาที่เกิดขึ้นซ้ำๆกรณีข้อผิดพลาดเฉพาะที่พบนี่คือรูปแบบความล้มเหลวทั่วไป 3 รูปแบบที่เราพบในการใช้งานจริง พร้อมตัวอย่าง payload ข้อผิดพลาด และกลยุทธ์การบรรเทาปัญหา ตัวอย่างเหล่านี้แสดงให้เห็นไม่เพียงว่าอะไรอาจผิดพลาดได้ แต่ยังรวมถึงวิธีที่ข้อผิดพลาดที่มีโครงสร้างสามารถช่วยให้ Agent ฟื้นตัวได้อย่างสง่างามArgument ของเครื่องมือไม่ตรงกับ Schema: Agent เรียกใช้เครื่องมือที่ถูกต้อง (เช่น events_insert) แต่ argument ที่ส่งไปไม่ตรงกับ JSON schema ที่ประกาศไว้ตัวอย่าง:ขาดฟิลด์ที่จำเป็น เช่น calendarIdการซ้อน start / end ที่ไม่ถูกต้องการส่งค่าเป็น string แทนที่จะเป็น objectการบรรเทา: ให้ตัวอย่างที่ถูกต้องเพียงหนึ่งเดียวของการเรียกใช้ 'events_insert' ใน prompt ของคุณ และส่งคืนข้อผิดพลาดการตรวจสอบที่มีโครงสร้างเพื่อให้โมเดลสามารถซ่อมแซมและลองใหม่ได้ แทนที่จะล้มเหลวเงียบๆสิทธิ์ไม่เพียงพอ: การเรียกใช้เครื่องมือถูกต้องตาม syntax แต่ API ปฏิเสธเนื่องจากสิทธิ์ไม่เพียงพอตัวอย่าง:ขาด OAuth scopes ที่จำเป็นAccess token หมดอายุผู้ใช้ไม่มีสิทธิ์เขียนไปยังปฏิทินเป้าหมายการบรรเทา: ระบุ OAuth scopes ที่จำเป็นให้ชัดเจน และส่งคืนขั้นตอนการแก้ไขปัญหาที่สามารถดำเนินการได้ เพื่อให้ Agent สามารถแนะนำผู้ใช้ได้ แทนที่จะลองเรียกใช้การดำเนินการเดิมที่ล้มเหลวซ้ำๆรูปแบบวันที่/เวลาไม่ถูกต้อง: กิจกรรมถูกปฏิเสธโดย API หรือถูกสร้างขึ้นในเวลาที่ไม่คาดคิดตัวอย่าง:ขาด timezone offsetรูปแบบ datetime ไม่ใช่ RFC3339การซ้อน start.dateTime หรือ end.dateTime ที่ไม่ถูกต้องการผสมผสานเวลากท้องถิ่นกับ UTC โดยไม่ระบุ offsetการบรรเทา: กำหนดมาตรฐานเป็น RFC3339 พร้อมระบุ timezone offset อย่างชัดเจน (เช่น 2026-02-11T09:30:00-05:00) และรวมตัวอย่าง datetime ที่ถูกต้องอย่างน้อยหนึ่งตัวอย่างในเอกสารของคุณ เพื่อเป็นแนวทางให้โมเดลลดการลองผิดลองถูก#AI #OpenSource #AgenticRL #HuggingFace #Metahttps://huggingface.co/blog/openenv-turing