MosaicLeaks: ตัวแทนงานวิจัยของคุณเก็บความลับได้หรือไม่? 🤫

MosaicLeaks: ตัวแทนงานวิจัยของคุณเก็บความลับได้หรือไม่? 🤫ในยุคที่ตัวแทน AI สำหรับงานวิจัย (Research Agent) มีความสามารถสูงขึ้นเรื่อยๆ พวกมันสามารถเข้าถึงข้อมูลส่วนตัวภายในองค์กร ควบคู่ไปกับการใช้เครื่องมือภายนอก เช่น การค้นหาข้อมูลบนเว็บ ซึ่งอาจนำไปสู่ความเสี่ยงด้านความเป็นส่วนตัว ข้อมูลการค้นหาภายนอกของตัวแทนเหล่านี้อาจรั่วไหลข้อมูลที่ละเอียดอ่อนได้ บทความนี้จะแนะนำ "MosaicLeaks" ซึ่งเป็นแนวคิดการทดสอบตัวแทนงานวิจัยรูปแบบใหม่ ที่ใช้คำถามแบบหลายขั้นตอน (multi-hop questions) เพื่อตรวจสอบการรั่วไหลของข้อมูล โดยผสมผสานทั้งข้อมูลสาธารณะและข้อมูลส่วนตัวความเสี่ยงของการรั่วไหลข้อมูลในตัวแทนงานวิจัยเชิงลึกลองนึกภาพตัวแทนงานวิจัยในบริษัทด้านสุขภาพ กำลังทำงานตามปกติ และมีการค้นหาข้อมูลบนเว็บตามปกติ เช่น การค้นหาเกี่ยวกับการย้ายระบบคลาวด์, การเปิดเผยข้อมูลความปลอดภัยในเดือนมกราคม 2024 หรือการระบุผู้จำหน่ายที่ถูกโจมตี แม้ว่าการค้นหาแต่ละครั้งอาจดูไม่น่าสงสัย แต่หากมีใครคอยสังเกตการณ์การรับส่งข้อมูลภายนอกของตัวแทน ก็อาจปะติดปะต่อข้อมูลเหล่านี้เพื่อเปิดเผยความลับขององค์กรได้ เช่น ข้อมูลที่ว่าบริษัท MediConn ได้ย้ายโครงสร้างพื้นฐาน 70% ไปยังคลาวด์ภายในเดือนมกราคม 2025 ซึ่งเป็นข้อมูลที่อยู่ในเอกสารส่วนตัวเท่านั้น นี่คือ "Mosaic Effect" หรือปรากฏการณ์โมเสก ซึ่งเป็นจุดบกพร่องที่ MosaicLeaks มุ่งเน้นMosaicLeaks มองว่าการค้นหาข้อมูลบนเว็บคือช่องทางการรั่วไหลข้อมูล โดยที่ผู้โจมตีไม่เห็นเอกสารส่วนตัวหรือกระบวนการคิดของตัวแทน แต่เห็นเพียงบันทึกการค้นหา (query log) และพยายามอนุมานข้อมูลองค์กรที่เป็นความลับจากบันทึกนั้นเราวัดระดับการรั่วไหลของข้อมูลได้ 3 ระดับ ขึ้นอยู่กับว่าผู้โจมตีสามารถอนุมานอะไรได้บ้างจากบันทึกการค้นหาที่สังเกตเห็น:Intent Leakage (การรั่วไหลเจตนา): เปิดเผยว่าตัวแทนกำลังสืบค้นเรื่องอะไรAnswer Leakage (การรั่วไหลคำตอบ): บันทึกการค้นหามีข้อมูลเพียงพอที่จะตอบคำถามส่วนตัวที่มีอยู่แล้วFull-Information Leakage (การรั่วไหลข้อมูลเต็ม): ผู้สังเกตการณ์สามารถค้นพบและระบุข้อเท็จจริงที่เป็นความลับได้ โดยไม่ต้องมีใครบอกภาพประกอบ: Mosaic Effect กับการวัดระดับการรั่วไหล 3 แบบ (Intent, Answer, Full-Information) ตัวแทนค้นหาข้อมูลเกี่ยวกับ Lee's Market สองครั้งเกี่ยวกับการเติบโตของการเข้าชมในปี 2020 (รั่วไหลเจตนา) จากนั้นจึงทำการค้นหาครั้งที่สามเพื่อตอบคำถามต่อเนื่อง การค้นหาแต่ละครั้งดูเหมือนไม่มีพิษภัย แต่เมื่อรวมกันแล้ว ทำให้ผู้สังเกตการณ์สามารถอนุมานได้ว่าคำตอบคือ 15% และอ้างว่าการเข้าชมออนไลน์ของ Lee เติบโต 15% ในปี 2020การสร้าง MosaicLeaksMosaicLeaks ประกอบด้วยชุดคำถามวิจัยแบบหลายขั้นตอน (multi-hop research chains) จำนวน 1,001 ชุด โดยใช้เอกสารภายในองค์กรและชุดข้อมูลเว็บที่ควบคุม กลุ่มเป้าหมายคือการสร้างงานที่มีแนวโน้มสูงที่จะกระตุ้นให้เกิดการรั่วไหลของข้อมูลส่วนตัวจากเอกสารองค์กร แต่ก็ยังสามารถแก้ไขได้โดยไม่รั่วไหลแต่ละชุดคำถามจะสลับระหว่างคำถามย่อยเกี่ยวกับข้อมูลภายในและข้อมูลบนเว็บ คำตอบของคำถามย่อยหนึ่งจะกลายเป็น "สะพาน" หรือ "เอนทิตี" ในขั้นตอนถัดไป ทำให้ตัวแทนต้องดึงข้อมูลภายในก่อนจึงจะสามารถสร้างคำค้นหาเว็บที่มีประโยชน์ในขั้นตอนต่อไปได้ เอกสารภายในมาจากงานประเภท DRBench-style enterprise ส่วนเอกสารเว็บมาจาก BrowseComp-Plus ชุดข้อมูลสุดท้ายแบ่งออกเป็น 559 ชุดสำหรับฝึกอบรม, 98 ชุดสำหรับตรวจสอบ (validation) และ 344 ชุดสำหรับทดสอบ (held-out-company test)ตัวอย่าง: MediConn cloud migration chainแม้ว่าการค้นหาเว็บครั้งสุดท้ายอาจไม่ได้มีข้อมูลส่วนตัวโดยตรงและสามารถตอบได้จากเอกสารเว็บสาธารณะ แต่เนื่องจากเส้นทางที่นำไปสู่การค้นหานั้นขึ้นอยู่กับข้อเท็จจริงภายในที่เป็นส่วนตัว การค้นหาที่ส่งต่อคำว่า "MediConn", "70%" และ "January" ก็เพียงพอให้ผู้โจมตีมีบริบทมากพอที่จะกู้คืนข้อมูลภายในได้เราใช้ระบบตัวแทนที่ถูกปรับปรุงมาจาก DRBench ซึ่งโมเดลจะตอบคำถามย่อยแต่ละข้อพร้อมคำตอบสั้นๆ และเหตุผล ทำให้เราสามารถประเมินแต่ละขั้นตอนได้อย่างละเอียดด้วยการเปรียบเทียบสตริงที่ได้มาตรฐานในแต่ละรอบ ตัวแทนสามารถใช้เครื่องมือได้ 4 อย่าง:Plan: สร้างคำค้นหาภายในและเว็บ ซึ่งจะถูกประมวลผลและส่งกลับเป็น "การ์ดเอกสาร"Choose: เลือกเอกสารที่ดึงมาเพื่ออ่านRead: พยายามตอบคำถามปัจจุบันจากเอกสารที่เลือกพร้อมกันResolve: ตัดสินใจว่าจะตอบ, อ่านเอกสารเพิ่มเติม หรือวางแผนการค้นหาครั้งต่อไปการป้องกันการรั่วไหล: ทำไมแค่สั่งให้ระวังถึงไม่พอ?วิธีแก้ปัญหาที่ชัดเจนที่สุดคือการ "สั่ง" ตัวแทนให้ระวัง โดยการเพิ่มข้อความในพรอมต์ (prompt) เพื่อบอกให้ตัวแทนหลีกเลี่ยงการสร้างคำค้นหาเว็บที่อาจรั่วไหลข้อมูลภายในองค์กร แต่ผลที่ได้กลับไม่สม่ำเสมอและยังคงมีการรั่วไหลอย่างมีนัยสำคัญ นอกจากนี้ยังมักส่งผลเสียต่อประสิทธิภาพของงานด้วยสำหรับโมเดล Qwen3-4B การใช้พรอมต์ช่วยลดการรั่วไหลของคำตอบ/ข้อมูลเต็มจาก 34.0% เหลือ 25.5% แต่ประสิทธิภาพในการตอบคำถามสำเร็จ (strict chain success) กลับลดลงจาก 48.7% เป็น 44.5% การเปลี่ยนแปลงพฤติกรรมหลักคือการลดจำนวนการค้นหาเว็บลง แต่ไม่ได้สร้างการค้นหาที่ปลอดภัยอย่างสม่ำเสมอภาพประกอบ: ประสิทธิภาพ Strict Chain Success และการรั่วไหลของข้อมูลส่วนตัว ทั้งแบบมีและไม่มีพรอมต์ที่ห้ามการค้นหาเว็บที่อาจรั่วไหลข้อมูลภายใน พรอมต์ช่วยลดการรั่วไหลเล็กน้อยสำหรับบางโมเดล แต่ยังคงมีการรั่วไหลอย่างมีนัยสำคัญยิ่งเก่ง ยิ่งรั่วไหล?ก่อนที่จะฝึกอบรมด้านความเป็นส่วนตัว เราได้ลองทำสิ่งที่ตรงไปตรงมาที่สุด คือการฝึกตัวแทนให้ทำงานให้ถูกต้องมากขึ้น ซึ่งก็ได้ผล: Strict Chain Success เพิ่มขึ้นจาก 48.7% เป็น 59.3% แต่การรั่วไหลของคำตอบ/ข้อมูลเต็มกลับเพิ่มขึ้นตามไปด้วย จาก 34.0% เป็น 51.7% โมเดลเรียนรู้ที่จะใส่บริบทมากขึ้นในการค้นหาเว็บ ซึ่งช่วยให้ดึงเอกสารที่ถูกต้องได้ แต่กลับส่งผลเสียต่อความเป็นส่วนตัว เนื่องจากแต่ละคำค้นหาที่ละเอียดขึ้น ยิ่งทำให้ผู้สังเกตการณ์ได้รับข้อมูลมากขึ้นนี่คือความขัดแย้งหลักที่ MosaicLeaks เปิดเผย: คำค้นหาที่มีข้อมูลมากขึ้นมักจะดีต่องาน แต่แย่ต่อความเป็นส่วนตัว PA-DR ถูกสร้างขึ้นเพื่อฝึกอบรมทั้งสองด้านไปพร้อมกันการสอนตัวแทนให้ค้นหาอย่างปลอดภัย: PA-DRPA-DR (Privacy-Aware Deep Research) ผสมผสาน "รางวัล" (rewards) สองประเภท:รางวัลตามสถานการณ์สำหรับงาน (Situational Task Reward): เส้นทางการวิจัยหนึ่งเส้นทางอาจมีการเรียกใช้โมเดลหลายสิบครั้ง การให้คะแนนสุดท้ายแบบเดียวกันทั้งหมดจึงมีความแม่นยำต่ำเกินไป การให้รางวัลตามสถานการณ์จะประเมินแต่ละการเรียกใช้ (call) เทียบกับ call อื่นๆ ที่ทำในขั้นตอนเดียวกันและมีข้อมูลเดียวกัน การเรียกใช้ Plan จะได้รับรางวัลสำหรับการค้นหาแหล่งข้อมูลที่ถูกต้องและดึงเอกสารที่ถูกต้อง หากเอกสารนั้นมีอยู่แล้ว จะได้รับรางวัลสำหรับการไม่ค้นหาซ้ำ การเรียกใช้ Choose จะได้รับรางวัลสำหรับการเลือกเอกสารที่ถือคำตอบ เราฝึกอบรมขั้นตอนเหล่านี้เนื่องจากพฤติกรรมที่ต้องการสามารถตรวจสอบได้โดยตรงรางวัลความเป็นส่วนตัวที่เรียนรู้ (Learned Privacy Reward): เมื่อใดก็ตามที่ตัวแทนสร้างคำค้นหาเว็บ ตัวจำแนกประเภท (classifier) Qwen3-4B จะประเมินความเสี่ยงสองประการ: คำค้นหาปัจจุบันรั่วไหลข้อมูลส่วนตัวโดยตรงหรือไม่ และการเพิ่มคำค้นหาเหล่านั้นเข้าไปในบันทึกการค้นหาที่มีอยู่จะสร้างการรั่วไหลแบบโมเสกใหม่หรือไม่ PA-DR จะลงโทษค่าใช้จ่ายที่สูงกว่าของทั้งสองอย่าง ทำให้ค่าใช้จ่ายด้านความเป็นส่วนตัวตกอยู่กับการตัดสินใจวางแผนที่ทำให้บันทึกการค้นหามีการเปิดเผยมากขึ้นภาพประกอบ: การฝึกอบรมด้วย Task-only RL ช่วยเพิ่มประสิทธิภาพการวิจัย แต่เพิ่มการรั่วไหล PA-DR รักษาส่วนใหญ่ของประสิทธิภาพที่เพิ่มขึ้นไว้ พร้อมทั้งลดการรั่วไหลลงอย่างมากผลลัพธ์ที่ได้คือ 9.9% ซึ่งต่ำกว่าค่าเริ่มต้น 34.0% ของโมเดลพื้นฐาน การฝึกอบรมด้านความเป็นส่วนตัวไม่ได้เพียงแค่ยกเลิกการรั่วไหลที่เกิดจากการฝึกอบรมเพื่อประสิทธิภาพเท่านั้น แต่ยังทำให้ตัวแทนรั่วไหลน้อยกว่าตอนเริ่มต้นเสียอีกและไม่ได้ปลอดภัยขึ้นด้วยการค้นหาน้อยลง PA-DR สร้างคำค้นหาเว็บมากกว่าโมเดลพื้นฐาน แต่คำค้นหาเหล่านั้นได้ตัดรายละเอียดที่เปิดเผยออกไป เช่น เมตริกเฉพาะเจาะจงอย่าง "15%" หรือ "2024" และเบาะแสเกี่ยวกับประเภทของคำตอบที่กำลังมองหา ตัวแทนยังคงสามารถค้นหาเอกสารสาธารณะที่ถูกต้องได้ เพียงแต่หยุดการนำข้อมูลส่วนตัวติดตัวไปในข้อความค้นหารางวัลตามสถานการณ์และประสิทธิภาพการใช้ข้อมูลตัวอย่างรางวัลตามสถานการณ์ให้ผลตอบแทนครั้งที่สองในระหว่างการฝึกอบรมเอง เนื่องจากเป็นการเปรียบเทียบการเรียกใช้ที่ตรงกัน แทนที่จะให้คะแนนการทำงานทั้งหมดเพียงครั้งเดียว จึงมีการให้เครดิตที่แม่นยำกว่ามาก โดยไม่ต้องมีโมเดลประเมินค่าแยกต่างหาก และไม่ต้องจัดเรียงดัชนีขั้นตอนข้ามการทำงาน นอกจากนี้ยังใช้ข้อมูลตัวอย่าง (sample) อย่างมีประสิทธิภาพมากกว่า: รางวัลตามสถานการณ์สำหรับงานบรรลุประสิทธิภาพงานเดียวกันกับ outcome-only RL โดยใช้ตัวอย่างที่สร้างขึ้นน้อยกว่าประมาณ 5-6 เท่า และ PA-DR ยังคงรักษาประสิทธิภาพนี้ไว้ได้พร้อมกับการเพิ่มผลประโยชน์ด้านความเป็นส่วนตัวภาพประกอบ: ประสิทธิภาพการฝึกอบรม คอลัมน์สุดท้ายคือจำนวนตัวอย่างที่แต่ละวิธีต้องการเพื่อบรรลุ Strict Chain Success ประมาณ 55% ค่าที่น้อยกว่าคือดีกว่า รางวัลตามสถานการณ์บรรลุความสำเร็จของงานเทียบเท่ากับรางวัลผลลัพธ์โดยใช้ตัวอย่างน้อยกว่าประมาณ 5-6 เท่า PA-DR รักษาส่วนแบ่งประสิทธิภาพการใช้ข้อมูลตัวอย่างไว้ได้ พร้อมทั้งลดการรั่วไหลลงอย่างมากข้อสรุป: คุณไม่สามารถ "สั่ง" ให้ความเป็นส่วนตัวเกิดขึ้นได้ คุณต้อง "ฝึก" มันเข้าไปMosaicLeaks เป็นชุดข้อมูลควบคุม ไม่ใช่การวัดการรั่วไหลในระบบที่ใช้งานจริง เอกสารองค์กรเป็นข้อมูลสังเคราะห์ ชุดข้อมูลเว็บถูกกำหนดไว้ คำถามครอบคลุมบริบทของบริษัทสามแห่ง และผลลัพธ์ทั้งหมดมาจากการทำงานของระบบตัวแทนเดียวที่ตอบคำถามแบบหลายขั้นตอน แทนที่จะเป็นการวิจัยแบบปลายเปิด การควบคุมนี้ทำให้สามารถวัดการรั่วไหลได้ทีละขั้นตอน แต่สำหรับงานที่กว้างกว่า ระบบที่ใช้งานจริง และการออกแบบตัวแทนอื่นๆ ยังคงต้องมีการศึกษาเพิ่มเติมข้อคิดที่ได้นั้นเรียบง่าย: คุณไม่สามารถสั่งให้ความเป็นส่วนตัวเกิดขึ้นได้ คุณต้องฝึกมันเข้าไป การบอกให้ตัวแทนระมัดระวังแทบจะไม่ส่งผลอะไรเลย ในขณะที่การให้รางวัลแก่การสร้างคำค้นหาแต่ละครั้ง สามารถลดการรั่วไหลได้มากกว่า 3 เท่า โดยที่ประสิทธิภาพของงานยังคงเดิม ปรากฏการณ์โมเสกเกิดจากวิธีการที่ตัวแทนค้นหาข้อมูลเมื่อเวลาผ่านไป ซึ่งกลายเป็นสิ่งที่สามารถวัดผล ให้เครดิต และฝึกฝนเพื่อลดลงได้คำถามที่พบบ่อยMosaicLeaks คืออะไร?MosaicLeaks คือชุดข้อมูลและแนวคิดการทดสอบตัวแทนงานวิจัยรูปแบบใหม่ ที่ออกแบบมาเพื่อประเมินความเสี่ยงของการรั่วไหลข้อมูลส่วนhttps://huggingface.co/blog/ServiceNow/mosaicleaks