AI เรียนรู้ได้เหมือนเด็กทารกจริงหรือ? ความท้าทายใหม่ที่ AI ต้องเผชิญ 👶

ปัจจุบัน ปัญญาประดิษฐ์ (AI) ได้พัฒนาไปอย่างก้าวกระโดด สามารถทำงานที่ซับซ้อนได้มากมาย แต่เมื่อเทียบกับการเรียนรู้ของเด็กทารกแล้ว AI ยังมีอะไรที่ต้องเรียนรู้อีกมาก เด็กทารกสามารถเรียนรู้ที่จะเข้าใจโลกใบใหม่ได้อย่างน่าทึ่ง โดยใช้ข้อมูลเพียงน้อยนิดจากการสังเกตและการมีปฏิสัมพันธ์ทางกายภาพ

นักวิจัยกำลังศึกษา "สถาปัตยกรรมสมอง" ของทารก เพื่อนำมาพัฒนา AI ให้มีประสิทธิภาพมากขึ้น ลดการใช้พลังงาน และทำให้หุ่นยนต์ AI เรียนรู้สภาพแวดล้อมได้อย่างเป็นธรรมชาติ นี่คือความก้าวหน้าครั้งสำคัญที่อาจเปลี่ยนโฉมหน้าของวงการ AI ไปตลอดกาล

ความสามารถของทารกที่ AI ยังตามไม่ทัน 🔍

แม้ว่า AI ในปัจจุบันจะเก่งกาจในการเขียนโปรแกรม แก้ปัญหาคณิตศาสตร์ หรือถกเถียงปรัชญา แต่ก็ยังห่างไกลจากความสามารถในการเรียนรู้ของทารกมากนัก

• การเรียนรู้จากข้อมูลน้อย: ทารกสามารถระบุวัตถุใหม่ได้หลังจากเห็นเพียงครั้งหรือสองครั้งเท่านั้น ในขณะที่ AI ต้องการข้อมูลมหาศาลและพลังงานจำนวนมากในการฝึกฝน
• การเรียนรู้แบบ Multimodal: ทารกเรียนรู้จากทั้งภาษา การมองเห็น การสัมผัส และประสบการณ์ที่หลากหลาย เช่น การฟังพ่อแม่พูดถึงวัตถุที่มองไม่เห็น การชี้สิ่งของ หรือการพูดคุยถึงเหตุการณ์ในอดีตและอนาคต
• ความเข้าใจโลกทางกายภาพ: AI ในปัจจุบันยังขาด "สามัญสำนึก" เกี่ยวกับโลกทางกายภาพ พลวัตทางสังคม หรือการเข้าใจความคิดของผู้อื่น (Theory of Mind)

EgoBabyVLM Challenge: สนามทดสอบ AI สไตล์เด็กทารก 🍼

เพื่อผลักดันขีดจำกัดของ AI นักวิจัยจาก Meta, Stanford University, University of Tokyo และ École Normale Supérieure ในฝรั่งเศส ได้พัฒนากลุ่มทดสอบใหม่ที่เรียกว่า EgoBabyVLM Challenge

การทดสอบนี้จะวัดความสามารถของโมเดล Vision Language Models (VLMs) ซึ่งเรียนรู้จากทั้งข้อความและรูปภาพ ในการทำความเข้าใจโลกในมุมมองของทารก โดยโมเดลจะต้องอธิบายโลกหลังจากประมวลผลวิดีโอประมาณ 1,000 ชั่วโมง ที่บันทึกจากกล้องที่ติดอยู่บนศีรษะของทารก

ผลลัพธ์ที่ได้คือ โมเดล AI ล้ำสมัยที่สุดในปัจจุบันยังคงล้มเหลวอย่างสิ้นเชิงเมื่อเจอกับฟุตเทจจริงที่เต็มไปด้วยความไม่สมบูรณ์แบบของทารก สิ่งนี้บ่งชี้ว่าสถาปัตยกรรมสมองของทารกอาจมีกลไกพิเศษที่ทำให้เรียนรู้ได้อย่างรวดเร็วจากข้อมูลที่จำกัด

BabyLM: ก้าวแรกสู่การเข้าใจภาษาของ AI 🗣️

ก่อนหน้านี้ ในปี 2023 มีการท้าทายที่ชื่อว่า BabyLM ซึ่งให้ AI เรียนรู้ไวยากรณ์ของภาษาโดยใช้ข้อมูลเทียบเท่ากับที่เด็กอายุ 10 ขวบได้รับ ผลที่น่าทึ่งคือ โมเดล AI แบบ Transformer ซึ่งใช้กลไก Attention เพื่อหาความสัมพันธ์ระหว่างคำในประโยคต่างๆ สามารถทำได้ดีในระดับหนึ่ง

อย่างไรก็ตาม เมื่อพูดถึงการทำความเข้าใจโลกทางกายภาพ สถานการณ์ก็แตกต่างออกไป นักวิจัยชี้ว่า "ไม่มีอินเทอร์เน็ตของปฏิสัมพันธ์ระหว่างมนุษย์" ที่จะใช้ฝึกฝน AI ได้เหมือนกรณีของภาษา

กุญแจสำคัญสู่อนาคตของ AI: การเรียนรู้แบบมนุษย์ 💡

การวิจัยชี้ให้เห็นว่า การนำแนวคิดจากวิทยาการทางปัญญา (Cognitive Science) และประสาทวิทยาศาสตร์ (Neuroscience) มาปรับใช้กับ AI อาจเป็นกุญแจสำคัญในการพัฒนาอัลกอริทึมการเรียนรู้ที่เหมือนมนุษย์มากขึ้น

• การใส่ใจในระยะยาว: พัฒนาโมเดลที่สามารถจดจ่อกับข้อมูลได้นานขึ้น
• การตีความสัญญาณทางสังคม: สอนให้ AI เข้าใจการแสดงออกทางสีหน้า ท่าทาง และน้ำเสียง
• การเรียนรู้เชิงสาเหตุ (Causality): สร้างโมเดลที่เข้าใจว่าเหตุการณ์หนึ่งส่งผลต่ออีกเหตุการณ์หนึ่งอย่างไร และความสัมพันธ์เชิงเวลาของวัตถุ

การพัฒนา AI ที่มี "อคติ" ในการเรียนรู้เกี่ยวกับฟิสิกส์และความสัมพันธ์ทางสังคมอย่างรวดเร็ว อาจนำไปสู่การเรียนรู้ที่มีประสิทธิภาพโดยรวมมากขึ้น

EgoBabyVLM Challenge เป็นความท้าทายที่น่าตื่นเต้น ซึ่งจะเปิดประตูสู่สถาปัตยกรรม แนวทาง และส่วนประกอบใหม่ๆ ที่นักวิจัยจะค้นพบต่อไป

#AI #ปัญญาประดิษฐ์ #การเรียนรู้ของเครื่อง #เทคโนโลยี #สมองมนุษย์

ขอบคุณ แหล่งข้อมูล
https://www.wired.com/story/ai-isnt-smarter-than-a-baby-yet/

SpaceX: ราคาหุ้นร่วงต่ำกว่า IPO สะท้อนความกังวลก่อนการทดสอบ Starship ครั้งสำคัญ

หลังจากการเสนอขายหุ้นต่อประชาชนทั่วไปเป็นครั้งแรก (IPO) ที่ประสบความสำเร็จอย่างงดงามในวันที่ 12 มิถุนายน ซึ่งระดมทุนได้เกือบ 86,000 ล้านดอลลาร์สหรัฐฯ ราคาหุ้นของ SpaceX กลับมีแนวโน้มปรับตัวลดลงอย่างต่อเนื่อง โดยล่าสุดได้ร่วงลงต่ำกว่าราคา IPO ที่ 135 ดอลลาร์สหรัฐฯ สร้างความกังวลให้กับนักลงทุนและตลาดหุ้นโดยรวม

ราคาหุ้น SpaceX ปรับตัวลดลงหลัง IPO

ในช่วงแรกหลังจากการเปิดตัว IPO หุ้นของ SpaceX พุ่งสูงขึ้นอย่างน่าตกใจ โดยเคยแตะระดับกว่า 200 ดอลลาร์สหรัฐฯ ทำให้มูลค่าบริษัทในช่วงนั้นเทียบเคียงได้กับยักษ์ใหญ่ด้านเทคโนโลยีอย่าง Amazon และ Microsoft อย่างไรก็ตาม นับตั้งแต่วันนั้นเป็นต้นมา ราคาหุ้นกลับมีแนวโน้มลดลงอย่างต่อเนื่องในแต่ละสัปดาห์

สาเหตุหนึ่งที่ทำให้ราคาหุ้นมีความผันผวนสูง มาจากการที่หุ้นของ SpaceX ที่มีการซื้อขายในตลาด Nasdaq มีสัดส่วนเพียง 4% ของจำนวนหุ้นทั้งหมดเท่านั้น การมี "float" หรือหุ้นที่หมุนเวียนในตลาดน้อย ประกอบกับการได้รับความสนใจอย่างมหาศาลจากสาธารณชนและสื่อ ทำให้เกิดการแกว่งตัวของราคาอย่างรุนแรงในช่วงเดือนแรกของการซื้อขาย

ตลาดเริ่มตระหนักถึงวิสัยทัศน์ของ Elon Musk

นอกจากปัจจัยด้านปริมาณหุ้นในตลาดแล้ว นักลงทุนยังเริ่มประเมินวิสัยทัศน์อันทะเยอทะยานของ CEO Elon Musk ที่มีต่อบริษัทอีกครั้ง ซึ่งสอดคล้องกับแนวโน้มการปรับฐานของหุ้นกลุ่มเทคโนโลยีโดยรวมในช่วงที่ผ่านมา ไม่เพียงแต่ราคาหุ้นของ SpaceX เท่านั้น แต่พันธบัตรที่บริษัทออกขายหลัง IPO ก็ประสบปัญหาเช่นเดียวกัน

การปรับตัวลดลงของราคาหุ้น SpaceX อาจส่งผลกระทบในวงกว้าง เนื่องจากราคาหุ้นสะท้อนมุมมองของนักลงทุนที่มีต่อศักยภาพและความสำเร็จตามที่ Elon Musk ประกาศไว้ โดยเฉพาะอย่างยิ่ง การ IPO ของ SpaceX ยังเป็นการปูทางให้กับบริษัทเทคโนโลยีขนาดใหญ่อื่นๆ เช่น Anthropic และ OpenAI ที่ได้ยื่นขอจดทะเบียน IPO แบบลับๆ ไว้แล้ว ซึ่งตลาดกำลังจับตาดูราคาหุ้นของ SpaceX เพื่อประเมินแนวโน้มความสำเร็จของการ IPO เหล่านั้น

การทดสอบ Starship ครั้งสำคัญกับความท้าทายใหม่

SpaceX กำลังจะเผชิญกับการทดสอบที่สำคัญอีกครั้ง เพื่อประเมินความแข็งแกร่งของราคาหุ้น ในวันพรุ่งนี้ บริษัทจะทำการทดสอบปล่อยจรวด Starship เป็นครั้งแรกนับตั้งแต่ IPO

Starship ยังอยู่ในช่วงของการพัฒนาอย่างต่อเนื่อง ซึ่งหมายความว่ามีความเสี่ยงที่จะเกิดความล้มเหลวได้เสมอ อันเป็นผลมาจากแนวทางการทำงานแบบ "ทดลอง, ล้มเหลว, แก้ไข" ของ SpaceX การทดสอบครั้งนี้จะเป็นการบินครั้งแรกของ Starship นับตั้งแต่ส่วนบูสเตอร์ประสบความล้มเหลวเมื่อเดือนพฤษภาคมที่ผ่านมา และเช่นเคย บริษัทไม่ได้วางแผนที่จะกู้คืนบูสเตอร์หรือส่วนบนของ Starship ในเที่ยวบินนี้ โดยจะเน้นการจำลองการลงจอดในอ่าวเม็กซิโก ซึ่งหมายความว่าทั้งสองส่วนของระบบจรวด Starship จะสิ้นสุดลงด้วยการระเบิด ไม่ว่าผลการบินจะเป็นอย่างไรก็ตาม

การทดสอบ Starship ที่กำลังจะมาถึงนี้ จึงเป็นอีกหนึ่งปัจจัยสำคัญที่ตลาดจะจับตามองอย่างใกล้ชิด เพื่อประเมินทิศทางในอนาคตของ SpaceX และความเชื่อมั่นของนักลงทุนต่อความสามารถของบริษัทในการบรรลุเป้าหมายอันยิ่งใหญ่ตามที่ Elon Musk ได้ตั้งไว้

#SpaceX #Starship #IPO

ขอบคุณ แหล่งข้อมูล
https://techcrunch.com/2026/07/15/spacex-slips-below-its-135-ipo-price-ahead-of-starship-launch/

เร่งความเร็วการเข้ารหัสลับด้วย Carryless Multiplication บน NVIDIA CUDA 13.3

สำหรับนักพัฒนา CUDA และผู้เชี่ยวชาญด้านความปลอดภัย การเข้ารหัสลับที่รวดเร็วและมีประสิทธิภาพเป็นสิ่งสำคัญอย่างยิ่ง โดยเฉพาะอย่างยิ่งเมื่อต้องจัดการกับงานที่ซับซ้อน เช่น การเข้ารหัสแบบยืนยันตัวตน (authenticated encryption) และการพิสูจน์ความรู้แบบไม่เปิดเผยข้อมูล (zero-knowledge proofs) ที่ต้องอาศัยการคำนวณในฟิลด์เลขฐานสอง (binary extension fields) มานานหลายปี CPU ตระกูล x86 ได้มีคำสั่งพิเศษสำหรับการคูณแบบไร้การทด (carryless multiplication) ซึ่งเป็นส่วนสำคัญเบื้องหลังการทำงานเหล่านี้

แต่เดิมนั้น NVIDIA GPU ขาดการสนับสนุนฮาร์ดแวร์โดยตรงสำหรับโอเปอเรชันนี้ แต่ด้วยการเปิดตัว NVIDIA CUDA 13.3 ได้มีการเพิ่มคำสั่ง PTX ใหม่ที่ชื่อว่า clmad ซึ่งเป็นการคูณสะสมแบบไร้การทดที่เร่งความเร็วด้วยฮาร์ดแวร์ ทำให้ GPU ตระกูล NVIDIA Ampere และรุ่นที่ใหม่กว่า (SM 80+) สามารถทำงานนี้ได้อย่างมีประสิทธิภาพ นี่คือสิ่งที่คุณจะได้สัมผัสเมื่อการคูณแบบไร้การทดกลายเป็นฟีเจอร์ฮาร์ดแวร์บน GPU

clmad คืออะไร และทำไมถึงสำคัญ?

Carryless Multiplication (การคูณแบบไร้การทด) คือการดำเนินการทางคณิตศาสตร์ที่ใช้ในการคำนวณภายในฟิลด์เลขฐานสอง \(GF(2^n)\) ซึ่งแตกต่างจากการคูณเลขทั่วไปตรงที่ไม่มีการ "ทด" ไปยังหลักถัดไป การคำนวณนี้มีความสำคัญอย่างยิ่งในหลายสาขา เช่น:

• การเข้ารหัสลับ: เป็นหัวใจหลักของ GHASH ซึ่งเป็นส่วนหนึ่งของ AES-GCM (Advanced Encryption Standard Galois/Counter Mode) ที่ใช้ในการยืนยันความถูกต้องของข้อมูลในการสื่อสารที่ปลอดภัย เช่น TLS และ VPN
• ระบบพิสูจน์ความรู้: เป็นส่วนประกอบสำคัญในโปรโตคอล zero-knowledge proofs ที่ช่วยให้สามารถพิสูจน์ความถูกต้องของผลลัพธ์การคำนวณโดยไม่ต้องเปิดเผยข้อมูลต้นทาง
• การแก้ไขข้อผิดพลาด: ใช้ในโค้ดแก้ไขข้อผิดพลาด เช่น Reed–Solomon codes ที่ใช้ในระบบจัดเก็บข้อมูลและโทรคมนาคม
• การคำนวณทางวิทยาการเข้ารหัสลับและทฤษฎีโค้ด: รวมถึงการคำนวณในฟิลด์เลขฐานสองที่ซับซ้อน

ก่อนหน้านี้ การคำนวณเหล่านี้บน GPU ต้องอาศัยเทคนิคการจำลองด้วยบิต (bitsliced circuits) ซึ่งมีค่าใช้จ่ายในการประมวลผลสูง แต่ด้วย clmad ที่มีอยู่บน NVIDIA CUDA 13.3 ได้ปิดช่องว่างนี้ ทำให้การประมวลผลบน GPU มีประสิทธิภาพสูงขึ้นอย่างมาก

ประโยชน์ที่จับต้องได้: GHASH และ Sum-check Protocol

NVIDIA CUDA 13.3 ได้นำ clmad มาใช้เพื่อเร่งความเร็วการคำนวณสองประเภทที่สำคัญ คือ GHASH และ Sum-check protocol โดยเฉพาะอย่างยิ่งในการทำงานกับฟิลด์ \(GF(2^{128})\)

🚀 เร่งความเร็ว GHASH สูงสุด 18.8 เท่า

GHASH เป็นอัลกอริทึมที่ใช้ในการคำนวณค่าแฮชสำหรับการยืนยันความถูกต้องของข้อมูลใน AES-GCM การใช้ clmad ในการคำนวณ GHASH บน GPU NVIDIA B200 สามารถทำ throughput ได้สูงถึง 6.3 TB/s ซึ่งใกล้เคียงกับแบนด์วิดท์การอ่านข้อมูลของ DRAM และเร็วกว่าวิธีการแบบ bitsliced เดิมถึง 18.8 เท่า สำหรับ NVIDIA GeForce RTX 5090 ก็สามารถเห็นการปรับปรุง throughput ที่สูงขึ้นอย่างมีนัยสำคัญเช่น

ขอบคุณ แหล่งข้อมูล
https://developer.nvidia.com/blog/building-faster-cryptography-with-carryless-multiplication-in-nvidia-cuda-13-3/

รันโมเดล AI Gemma 4 26B ด้วย CPU เก่า อายุ 13 ปี ความเร็ว 5 โทเคน/วินาที (ไม่ต้องใช้ GPU)

เคยสงสัยไหมว่าฮาร์ดแวร์รุ่นเก่าที่หลายคนคิดว่าหมดประโยชน์ไปแล้ว จะสามารถรันโมเดล AI สมัยใหม่ที่ทรงพลังได้หรือไม่? วันนี้เราจะมาเปิดเผยเรื่องราวสุดท้าทายในการทำให้ Google Gemma 4 ซึ่งเป็นโมเดลภาษาขนาดใหญ่แบบ Mixture-of-Experts (MoE) ที่มีถึง 26 พันล้านพารามิเตอร์ ทำงานได้อย่างน่าประหลาดใจบนเซิร์ฟเวอร์อายุ 13 ปี ที่มีเพียง CPU เก่าแก่ และไม่มี GPU แม้แต่น้อย!

เมื่อฮาร์ดแวร์เก่าต้องมาเจอกับโมเดล AI สมัยใหม่

เรื่องราวเริ่มต้นขึ้นจากเซิร์ฟเวอร์ที่ตั้งอยู่ในห้องใต้ดินของเรา ซึ่งแท้จริงแล้วมันคืออุปกรณ์จัดเก็บข้อมูล (Storage Appliance) รุ่นเก่าที่ถูกปรับปรุงมาใช้งาน มันมีอายุราว 13 ปี มาพร้อมกับ CPU Intel Xeon สองตัวสถาปัตยกรรม Ivy Bridge ซึ่งเป็นเทคโนโลยีที่เก่ากว่าชุดคำสั่ง (Instruction Set) ที่โมเดล AI สมัยใหม่ต้องการเสียอีก พูดง่ายๆ คือ มันถูกสร้างมาเพื่อเก็บข้อมูล ไม่ใช่เพื่อการคำนวณที่ซับซ้อน

แต่ด้วยความพยายามและความเข้าใจในตัวโมเดลอย่างลึกซึ้ง เราสามารถทำให้ Gemma 4 26B ทำงานได้ที่ความเร็วประมาณ 5 โทเคนต่อวินาที ซึ่งถือเป็นความเร็วในการอ่านข้อความทั่วไป

ทักษะที่แท้จริง: ไม่ใช่แค่การจ่ายเงิน แต่คือการแก้ปัญหา

ในยุคที่ "เก่ง AI" มักหมายถึง "จ่ายค่าบริการ" เราเชื่อว่าทักษะที่แท้จริงคือการเข้าใจโมเดลอย่างถ่องแท้ จนสามารถนำไปประยุกต์ใช้กับปัญหาที่ไม่มีใครทำแพ็กเกจไว้ให้ และที่สำคัญคือการประเมินผลลัพธ์ที่ได้ว่าถูกต้องหรือไม่

บทความนี้จะเป็นตัวอย่างที่แสดงให้เห็นถึงกระบวนการนั้น โดยเฉพาะอย่างยิ่งเมื่อต้องทำงานกับฮาร์ดแวร์ที่ไม่น่าจะรองรับได้

จุดเริ่มต้น: การต่อยอดจากไอเดียที่น่าสนใจ

ไม่นานมานี้ มีบทความหนึ่งที่ถูกพูดถึงอย่างมากใน Hacker News ชื่อ "A 10 year old Xeon is all you need" ผู้เขียนได้ทดลองรัน Gemma 4 บน CPU Xeon ปี 2016 โดยไม่มี GPU และใช้ RAM DDR3 ความจุ 128GB โดยอาศัยเทคนิคขั้นสูงมากมาย เช่น speculative decoding, CPU-aware MoE routing, flash attention ที่ถูกพอร์ตมายัง CPU และการจัดเรียงน้ำหนัก (weight repacking) แบบทันที (run-time) ซึ่งเป็นการทำงานทางวิศวกรรมที่น่าทึ่ง

เมื่อเห็นเช่นนั้น เราก็ลองนำมาปรับใช้กับเซิร์ฟเวอร์ของเราบ้าง แต่กลับพบว่ามันไม่สามารถทำงานได้

AI Agent ช่วยไขปัญหาที่ซับซ้อนได้อย่างไร?

เมื่อการทดลองล้มเหลว เราได้นำข้อผิดพลาดที่เกิดขึ้นไปถาม Claude (AI Assistant) คำตอบที่ได้กลับมานั้นรวดเร็วและเฉพาะเจาะจงมาก

CPU ที่ผู้เขียนบทความต้นฉบับใช้เป็นรุ่น Broadwell (v3) ซึ่งรองรับชุดคำสั่ง AVX2 และ FMA3 แต่ CPU ของเราเป็นรุ่น Ivy Bridge (v2) ซึ่งเก่ากว่านั้น โดยรองรับเพียง AVX1 เท่านั้น ทำให้โค้ดที่ปรับแต่งมาสำหรับ AVX2 ไม่สามารถทำงานได้

การปรับแต่งเพื่อก้าวข้ามข้อจำกัด

คำถามต่อมาคือ "เราจะทำให้มันทำงานได้หรือไม่?" เราได้ลองผิดลองถูกด้วยตัวเองมาบ้างแล้ว แต่ยังไม่สำเร็จ Claude เข้ามาช่วยต่อยอดแนวทางเดิม โดยปรับแก้ส่วนที่สำคัญ (hot paths) ของโค้ดให้สามารถทำงานแบบ fall back ไปยังชิปที่เก่ากว่า AVX2 ได้อย่างราบรื่น แทนที่จะพยายามใช้ชุดคำสั่งที่ไม่มีอยู่

นี่คือส่วนที่น่าสนใจที่สุด! การแก้ไขนี้ไม่ได้มาจากการสั่ง "แก้ไข" เพียงครั้งเดียวแล้วได้ผลลัพธ์ที่สมบูรณ์ แต่เป็นการที่ AI ต้องอ่านโค้ด C++ ที่เขียนขึ้นเพื่อประสิทธิภาพสูง ทำความเข้าใจว่าทำไม Kernel บางตัวถึงทำงานไม่ได้กับสถาปัตยกรรม CPU บางรุ่น และหาทางหลีกเลี่ยงปัญหานั้น โดยไม่ทิ้งการปรับแต่งที่ทำให้โค้ดนั้นมีประสิทธิภาพแต่แรก

หน้าที่ของเราคือการทดลองอย่างถูกต้องและประเมินผลลัพธ์ว่าถูกต้องจริงหรือไม่ เราประทับใจกับกระบวนการนี้มาก

ผลลัพธ์ที่น่าทึ่ง: Gemma 4 26B ทำงานบน CPU อายุ 13 ปี

ตอนนี้ Gemma 4 26B สามารถสร้างข้อความด้วยความเร็วในการอ่านบนฮาร์ดแวร์ที่ถูกปลดประจำการไปนานแล้ว ก่อนที่สถาปัตยกรรมของโมเดลจะถูกพัฒนาขึ้นเสียอีก

• ความเร็ว: ประมาณ 5 โทเคนต่อวินาที
• ฮาร์ดแวร์: CPU Xeon E5-2690 v2 อายุ 13 ปี (Ivy Bridge, AVX1, ไม่มี AVX2)
• อื่นๆ: DDR3 RAM, ไม่มี GPU

การแก้ไขที่เกิดขึ้น (สำหรับผู้สนใจด้านเทคนิค)

การแก้ไขนี้ได้ถูก

ขอบคุณ แหล่งข้อมูล
https://www.neomindlabs.com/2026/06/08/running-gemma-4-26b-at-5-tokens-sec-on-a-13-year-old-xeon-with-no-gpu/

ก้าวสู่ความปลอดภัย AI ด้วยการดำเนินการระดับรัฐและรัฐบาลกลาง

ความก้าวหน้าอย่างรวดเร็วของปัญญาประดิษฐ์ (AI) นำมาซึ่งศักยภาพอันมหาศาลที่จะยกระดับชีวิตมนุษย์ในหลากหลายมิติ ทว่าควบคู่ไปกับโอกาสที่น่าตื่นเต้นนี้ ความกังวลเกี่ยวกับความปลอดภัยและผลกระทบที่อาจเกิดขึ้นก็เพิ่มสูงขึ้นเช่นกัน เพื่อรับมือกับความท้าทายนี้ การร่วมมือระหว่างหน่วยงานภาครัฐและภาคเอกชน รวมถึงการกำหนดนโยบายที่ชัดเจน จึงเป็นสิ่งสำคัญยิ่งยวด

ความสำคัญของการดำเนินการด้านความปลอดภัย AI

AI กำลังพัฒนาไปอย่างก้าวกระโดด และมีแนวโน้มที่จะเข้ามามีบทบาทในชีวิตประจำวันของเรามากขึ้นเรื่อยๆ ตั้งแต่ระบบอัตโนมัติในอุตสาหกรรม ไปจนถึงการวิเคราะห์ข้อมูลทางการแพทย์ การตัดสินใจที่ขับเคลื่อนด้วย AI จำเป็นต้องมีความน่าเชื่อถือ ปลอดภัย และเป็นธรรม

การขาดการกำกับดูแลที่เหมาะสมอาจนำไปสู่ปัญหาที่ซับซ้อน เช่น:

• อคติและความไม่เท่าเทียม: หาก AI ถูกฝึกฝนด้วยข้อมูลที่มีอคติ อาจส่งผลให้เกิดการตัดสินใจที่ไม่เป็นธรรมต่อกลุ่มคนบางกลุ่ม
• ความเสี่ยงด้านความปลอดภัย: ระบบ AI ที่ไม่ปลอดภัยอาจถูกโจมตีหรือนำไปใช้ในทางที่ผิด ซึ่งอาจส่งผลกระทบร้ายแรง
• การสูญเสียการควบคุม: ในระยะยาว การพัฒนา AI ที่ซับซ้อนเกินไป อาจทำให้มนุษย์สูญเสียความสามารถในการทำความเข้าใจและควบคุมระบบเหล่านั้น

บทบาทของภาครัฐในการขับเคลื่อนความปลอดภัย AI

หน่วยงานภาครัฐมีบทบาทสำคัญในการสร้างกรอบการทำงานที่เอื้อต่อการพัฒนา AI อย่างปลอดภัยและมีความรับผิดชอบ การดำเนินการในระดับรัฐและรัฐบาลกลางสามารถทำได้หลายรูปแบบ:

1. การกำหนดนโยบายและมาตรฐาน

การออกกฎหมายและนโยบายที่ชัดเจนเกี่ยวกับการพัฒนาและการใช้งาน AI เป็นสิ่งจำเป็น เพื่อให้แน่ใจว่าเทคโนโลยีเหล่านี้จะถูกนำไปใช้อย่างมีจริยธรรมและคำนึงถึงผลกระทบต่อสังคม

• การสร้างมาตรฐานกลาง: กำหนดแนวทางปฏิบัติและมาตรฐานด้านความปลอดภัย ความโปร่งใส และความเป็นส่วนตัวสำหรับระบบ AI
• การส่งเสริมการวิจัยด้านความปลอดภัย: สนับสนุนการวิจัยเพื่อทำความเข้าใจและแก้ไขปัญหาที่อาจเกิดขึ้นจาก AI

2. การส่งเสริมความร่วมมือ

การทำงานร่วมกันระหว่างหน่วยงานรัฐ นักวิจัย ภาคเอกชน และประชาสังคม จะช่วยให้เกิดการแลกเปลี่ยนความรู้และความเชี่ยวชาญ เพื่อร่วมกันหาทางออกที่ดีที่สุด

• การจัดตั้งคณะทำงานเฉพาะกิจ: รวบรวมผู้เชี่ยวชาญจากหลากหลายสาขาเพื่อหารือและเสนอแนะแนวทางแก้ไขปัญหา
• การสร้างแพลตฟอร์มสำหรับการหารือ: เปิดพื้นที่ให้ทุกภาคส่วนได้แสดงความคิดเห็นและร่วมกำหนดทิศทางการพัฒนา AI

3. การลงทุนในโครงสร้างพื้นฐาน

การสนับสนุนการพัฒนาโครงสร้างพื้นฐานที่จำเป็นสำหรับการวิจัยและพัฒนาระบบ AI ที่ปลอดภัย จะช่วยเร่งกระบวนการให้เกิดผลลัพธ์ที่เป็นรูปธรรม

ความร่วมมือจากภาคเอกชนและนักวิจัย

แม้ว่าภาครัฐจะมีบทบาทสำคัญ แต่ความสำเร็จในการสร้างความปลอดภัย AI ก็ขึ้นอยู่กับความรับผิดชอบของภาคเอกชนและนักวิจัยด้วยเช่นกัน

• การพัฒนา AI อย่างมีความรับผิดชอบ: บริษัทเทคโนโลยีควรให้ความสำคัญกับการออกแบบและทดสอบระบบ AI เพื่อลดความเสี่ยงและอคติที่อาจเกิดขึ้น
• การแบ่งปันความรู้: นักวิจัยควรเผยแพร่ผลการศึกษาเกี่ยวกับความปลอดภัย AI เพื่อให้สังคมได้รับทราบและร่วมกันหาแนวทางแก้ไข
• การให้คำปรึกษาแก่ภาครัฐ: ผู้เชี่ยวชาญในภาคเอกชนและวงการวิชาการสามารถให้ข้อมูลเชิงลึกและคำแนะนำที่เป็นประโยชน์ต่อการกำหนดนโยบาย

ก้าวต่อไปสู่อนาคตที่ปลอดภัยของ AI

การพัฒนา AI เป็นการเดินทางที่ต้องอาศัยความร่วมมือและการปรับตัวอย่างต่อเนื่อง การดำเนินการทั้งในระดับรัฐและระดับรัฐบาลกลาง ควบคู่ไปกับการมีส่วนร่วมอย่างแข็งขันจากทุกภาคส่วน จะเป็นกุญแจสำคัญในการปลดล็อกศักยภาพอันไร้ขีดจำกัดของ AI พร้อมทั้งสร้างความมั่นใจว่าเทคโนโลยีนี้จะนำมาซึ่งประโยชน์สูงสุดต่อมวลมนุษยชาติอย่างแท้จริง

#AI #ความปลอดภัยAI #เทคโนโลยี #นโยบายรัฐ

ขอบคุณ แหล่งข้อมูล
https://openai.com/index/advancing-ai-safety-through-state-and-federal-action

Real World VoiceEQ: การวัดคุณภาพการสนทนาของ AI ด้วยเสียง สู่ความเป็นธรรมชาติตามแบบมนุษย์

การสื่อสารด้วยเสียงกำลังกลายเป็นช่องทางหลักในการโต้ตอบกับปัญญาประดิษฐ์ (AI) มากขึ้นเรื่อยๆ ตั้งแต่การบริการลูกค้า การดูแลสุขภาพ การศึกษา ความบันเทิง ไปจนถึงผู้ช่วยส่วนตัว เสียงได้เข้ามาแทนที่ข้อความในการสื่อสารระหว่างผู้คนกับ AI

ในช่วงไม่กี่ปีที่ผ่านมา โมเดลเสียงของ AI มีการพัฒนาอย่างก้าวกระโดด อัตราข้อผิดพลาดในการถอดเสียงลดลง ความหน่วงในการตอบสนองอยู่ในระดับที่สนทนาได้อย่าง

ขอบคุณ แหล่งข้อมูล
https://huggingface.co/blog/real-world-voiceeq

ติดกับดัก "นรกแชทบอท": เมื่อการบริการลูกค้า AI ยิ่งทำให้เรื่องยุ่งยากกว่าเดิม 🤖

เคยไหม? สั่งของออนไลน์ไปแล้วรอแล้วรออีก พอของมาถึงกลับไม่ใช่ของเรา หรือบางทีก็หายไปเลย! เมื่อเผชิญสถานการณ์เช่นนี้ สิ่งแรกที่เราอยากทำคือติดต่อฝ่ายบริการลูกค้า แต่ในยุคที่ AI เข้ามามีบทบาทมากขึ้น การพยายามแก้ไขปัญหาเหล่านี้กลับกลายเป็นเรื่องที่ซับซ้อนและน่าหงุดหงิดยิ่งกว่าเดิม เมื่อเราต้องติดอยู่ในวงล้อมของ "แชทบอท" ที่ดูเหมือนจะทำให้ปัญหาแย่ลงไปอีก

ประสบการณ์ตรง: เมื่อจักรยานไฟฟ้าหายไปในกล่องดำของระบบ AI 🚲💨

เรื่องราวเริ่มต้นเมื่อผู้เขียนสั่งซื้อจักรยานไฟฟ้าออนไลน์ แต่กลับได้รับแจ้งว่าพัสดุถูกจัดส่งและเซ็นรับเรียบร้อยแล้ว ทั้งที่เจ้าตัวยืนยันว่ายังไม่ได้รับสินค้า และผู้เซ็นรับก็ไม่ใช่คนในครอบครัวหรือเพื่อนบ้าน! เมื่อพยายามติดต่อฝ่ายบริการลูกค้าของบริษัทขนส่ง (FedEx) สิ่งที่พบเจอไม่ใช่การช่วยเหลืออย่างรวดเร็ว แต่เป็นการเดินทางอันยาวนานสู่ "นรกแชทบอท"

ตลอดระยะเวลาหนึ่งเดือน ผู้เขียนต้องวนเวียนอยู่กับการรอคอยในระบบอัตโนมัติ ติดต่อทั้งบริษัทขนส่ง บริษัทผู้จำหน่ายจักรยาน บัตรเครดิต และแม้กระทั่งสถานีตำรวจท้องถิ่น ทุกที่ล้วนมีแชทบอทเป็นด่านแรกในการให้บริการ ทำให้การเข้าถึงเจ้าหน้าที่ที่เป็นมนุษย์เพื่อแก้ไขปัญหาที่ซับซ้อน กลายเป็นเรื่องที่ยากเย็นแสนเข็ญ

AI ในบริการลูกค้า: ทางออกหรือทางตัน? 🤔

ไม่ใช่แค่ผู้เขียนคนเดียวที่ประสบปัญหาลักษณะนี้ ในปัจจุบัน บริษัทจำนวนมากหันมาใช้ปัญญาประดิษฐ์ (AI) ในการให้บริการลูกค้ามากขึ้นเรื่อยๆ โดยเฉพาะการใช้แชทบอท ซึ่งแม้จะช่วยลดต้นทุนและเพิ่มประสิทธิภาพในบางกรณี แต่ก็มักจะส่งผลกระทบต่อประสบการณ์ของผู้บริโภคในทางลบ

• การลดจำนวนพนักงาน: ผลสำรวจชี้ว่าหลายบริษัทกำลังลดจำนวนพนักงานฝ่ายบริการลูกค้าลง เนื่องจาก AI สามารถเข้ามาทำงานบางส่วนแทนได้
• "Sludge" ในระบบ: บางครั้ง ระบบ AI ถูกนำมาใช้เป็นกลยุทธ์ที่เรียกว่า "Sludge" เพื่อทำให้ลูกค้ารู้สึกท้อแท้และเลิกพยายามหาทางแก้ไขปัญหา
• ความหงุดหงิดของผู้บริโภค: ผู้บริโภคส่วนใหญ่รู้สึกหงุดหงิดกับแชทบอท และต้องการพูดคุยกับมนุษย์จริง ๆ มากกว่า

วงจรแชทบอทที่ไม่มีวันสิ้นสุด 🔄

ในกรณีของผู้เขียน การติดต่อ FedEx มักจะวนลูปอยู่กับแชทบอทที่เมินเฉยต่อคำขอที่จะคุยกับมนุษย์ แม้แต่การแจ้งความกับตำรวจท้องที่ก็ยังต้องผ่านแชทบอท! เมื่อพยายามติดต่อบริษัทผู้จำหน่ายจักรยาน ก็พอจะคุยกับเจ้าหน้าที่ได้บ้าง แต่สุดท้ายก็ได้เพียงค่าชดเชยค่าขนส่งเพียงเล็กน้อย ซึ่งไม่คุ้มค่ากับความเสียหายที่เกิดขึ้น

ความพยายามในการอุทธรณ์ผ่านธนาคารและบริษัทบัตรเครดิตก็ไม่ต่างกัน สุดท้ายก็ต้องเผชิญกับคำตอบที่ว่า "ไม่สามารถช่วยเหลือได้" เนื่องจากปัญหาเกิดจากการจัดการของบริษัทขนส่ง

ต้นทุนที่จมไปกับ AI: การลงทุนที่อาจไม่คุ้มค่า 💸

แม้ว่า AI จะมีศักยภาพสูง แต่การนำมาใช้ในบริการลูกค้าก็ยังมีข้อจำกัด บางบริษัทอาจนำเทคโนโลยีมาใช้โดยไม่ได้ประเมินผลกระทบต่อประสบการณ์ลูกค้าอย่างรอบด้าน หรือบางครั้งก็ยอมรับความเสี่ยงนี้เพื่อลดต้นทุน

การลงทุนมหาศาลใน AI อาจทำให้หลายบริษัท "ติดกับ" (Sunk Cost Fallacy) จนไม่สามารถถอยกลับได้ แม้ว่าผลลัพธ์ที่ได้อาจไม่เป็นที่น่าพอใจนัก ผู้บริหารบางส่วนอาจคาดหวังว่า AI จะพัฒนาขึ้นเรื่อยๆ จนสามารถแก้ไขปัญหาได้ในอนาคต แต่ในระหว่างนี้ ชื่อเสียงของบริษัทอาจเสียหายจากบริการที่ย่ำแย่

ทางออกอยู่ที่ไหน? เมื่อมนุษย์ยังคงสำคัญ 🤝

สิ่งที่ทำให้ผู้เขียนรู้สึกหงุดหงิดที่สุด ไม่ใช่แค่ตัวแชทบอท แต่คือความรู้สึกว่าไม่มีใครใส่ใจเมื่อเราติดปัญหา การที่บริษัทสามารถหลบซ่อนอยู่เบื้องหลังเครื่องมือ AI ที่ไม่เพียงพอ ทำให้การแก้ไขปัญหายิ่งยากลำบาก

แม้ว่าบริษัทขนส่งจะกล่าวว่า "เราใช้ AI และเครื่องมือดิจิทัลเพื่อให้บริการแบบบริการตนเองที่รวดเร็วและสะดวกสบายสำหรับคำถามทั่วไป แต่เราตระหนักดีว่าสถานการณ์ที่ซับซ้อนต้องการการดูแลจากมนุษย์และการสนับสนุนที่ลึกซึ้งยิ่งขึ้น" แต่ในความเป็นจริง การเข้าถึงความช่วยเหลือจากมนุษย์ยังคงเป็นเรื่องที่ท้าทาย

สุดท้ายแล้ว แม้จะผ่านไปเกือบสามเดือน จักรยานไฟฟ้าก็ยังคงหายไป ผู้เขียนไม่ได้รับการชดเชยที่เหมาะสม และยังคงสูญเสียเงินจำนวนมาก การที่ต้องเผชิญหน้ากับ AI ที่ดูเหมือนจะถูกออกแบบมาเพื่อกีดกันการสื่อสารกับมนุษย์จริง ๆ นั้น เป็นประสบการณ์ที่เหนื่อยล้าและน่าผิดหวังอย่างยิ่ง

#แชทบอท #บริการลูกค้า #AI #เทคโนโลยี #ปัญหาลูกค้า

ขอบคุณ แหล่งข้อมูล
https://www.wired.com/story/ebike-delivery-missing-when-i-tried-to-recover-it-i-ended-up-in-chatbot-hell/

แว่น AI "ไม่เซ็กซี่" อย่างที่ Lorde บอกจริงหรือ? 🧐

เทคโนโลยีแว่นตาอัจฉริยะที่ผสานกล้องและ AI เข้าไว้ด้วยกัน กำลังเข้ามามีบทบาทในชีวิตประจำวันมากขึ้น แต่ก็ไม่ใช่ทุกคนที่จะมองว่ามันคือสิ่งที่ดีเสมอไป ล่าสุด นักร้องสาวชื่อดังระดับโลกอย่าง Lorde ได้แสดงความคิดเห็นอย่างตรงไปตรงมาเกี่ยวกับแว่น AI เหล่านี้ว่า "ไม่เซ็กซี่"

จุดเริ่มต้นของประเด็น "ไม่เซ็กซี่" 🎤

Lorde ได้กล่าวบนเวทีเทศกาลดนตรี Mad Cool Festival ที่กรุงมาดริดว่า "ในโลกที่ทุกวันนี้ มันยากขึ้นเรื่อยๆ ที่จะรู้ว่าอะไรคือเรื่องจริง" เธอเสริมว่า "คุณไม่รู้หรอกว่าใครกำลังใส่แว่นกันแดดอยู่ หรือกำลังใส่ไอ้แว่น [AI] ห่วยๆ พวกนั้นอยู่ ฉันขอบอกตรงๆ เลยนะว่า 'ช่างแว่นพวกนั้นไปเถอะ' อย่าไปซื้อเลย มันไม่เซ็กซี่"

คำพูดของ Lorde อาจมีที่มาจากหลายปัจจัย ทั้งการที่ Ray-Ban ซึ่งเป็นผู้สนับสนุนเทศกาล ได้ร่วมมือกับ Meta ในการผลิตแว่น AI และการที่นักร้องสาว Jennie ซึ่งเป็นแอมบาสเดอร์ของแว่นตา Ray-Ban Meta ได้ขึ้นแสดงก่อนเธอไม่นาน

ข้อกังวลด้านความเป็นส่วนตัวและกฎหมาย ⚖️

Lorde ไม่ใช่คนเดียวที่แสดงความกังวลเกี่ยวกับแว่น AI เหล่านี้ ผู้เชี่ยวชาญด้านความปลอดภัยหลายคนมองว่ามันเป็น "ฝันร้ายด้านความเป็นส่วนตัว" เนื่องจากแว่นตาเหล่านี้มาพร้อมกับกล้องและฟีเจอร์ AI ที่สามารถถูกนำไปใช้เป็นเครื่องมือในการคุกคามหรือข่มขู่ได้

แม้ว่า Meta ซึ่งเป็นผู้ผลิตแว่น AI รายใหญ่ จะยืนยันว่าให้ความสำคัญกับความเป็นส่วนตัวและมีมาตรการป้องกัน เช่น ไฟแสดงสถานะการบันทึกที่มองเห็นได้ แต่ก็ยังคงเผชิญกับการสอบสวนและคดีความเกี่ยวกับการละเมิดความเป็นส่วนตัวอยู่หลายครั้ง

ยอดขายสวนกระแสความกังวล 📈

ถึงแม้จะมีข้อกังวลด้านความเป็นส่วนตัวและคำวิจารณ์จากบุคคลที่มีชื่อเสียง แต่ยอดขายของแว่น AI ก็ยังคงเติบโตอย่างต่อเนื่อง EssilorLuxottica ผู้ผลิต Ray-Ban รายงานว่าได้จำหน่าย Meta AI glasses ไปแล้วกว่า 7 ล้านชิ้นในปี 2025 ซึ่งเพิ่มขึ้นกว่าสามเท่าเมื่อเทียบกับยอดขายรวมของปี 2023 และ 2024

Meta เองก็มองเห็นถึงความสำเร็จนี้ และได้ขยายไลน์ผลิตภัณฑ์แว่นตาอัจฉริยะอย่างต่อเนื่อง

แล้ว "ความเซ็กซี่" อยู่ตรงไหน? 🤔

Lorde ได้ทิ้งท้ายประเด็นนี้ไว้อย่างน่าคิดว่า "สิ่งที่เซ็กซี่คือช่วงเวลาปัจจุบัน" ซึ่งเป็นการสะท้อนว่า ท่ามกลางเทคโนโลยีที่ก้าวล้ำจนอาจทำให้การแยกแยะระหว่างความจริงกับสิ่งประดิษฐ์ยากขึ้น การได้อยู่กับปัจจุบันอย่างแท้จริง อาจเป็นสิ่งที่ "เซ็กซี่" และมีคุณค่ามากกว่า

สำหรับใครที่กำลังสนใจแว่น AI หรือเทคโนโลยีสวมใส่ได้ ลองพิจารณาถึงข้อดี ข้อเสีย และผลกระทบด้านความเป็นส่วนตัว ก่อนตัดสินใจซื้อนะครับ 💡

#แว่นAI #Lorde #เทคโนโลยี #ความเป็นส่วนตัว #Meta #RayBanMeta

ขอบคุณ แหล่งข้อมูล
https://techcrunch.com/2026/07/14/lorde-says-ai-glasses-are-not-sexy/

โพสต์เทรน NVIDIA Cosmos 3 ใน 1 วัน ด้วย Agent Skills เพิ่มความแม่นยำกว่า 90%

เคยสงสัยไหมว่า AI ช่วยเขียนโค้ดจะสามารถเพิ่มความแม่นยำของโมเดล Vision Reasoning ของคุณให้สูงกว่า 90% ได้ โดยแทบไม่ต้องลงแรงเองเลย? เมื่อต้องปรับโมเดล Vision Reasoning สำหรับงานวิดีโอในระดับโปรดักชัน นักพัฒนาต้องเสียเวลาหลายวันไปกับการจัดรูปแบบข้อมูล การตั้งค่าคอนเทนเนอร์ สคริปต์การเทรน การประเมินผลเบื้องต้น และการปรับแต่งไฮเปอร์พารามิเตอร์ ก่อนที่จะรู้ด้วยซ้ำว่าการโพสต์เทรนจะช่วยเพิ่มความแม่นยำได้จริงหรือไม่

การผสานโมเดลพื้นฐาน NVIDIA Cosmos 3 เข้ากับ NVIDIA TAO Agent Skills และ LoRA ทำให้การโพสต์เทรนสำหรับ Vision-Language Reasoning เป็นไปโดยอัตโนมัติ มีประสิทธิภาพ และสามารถเพิ่มความแม่นยำได้อย่างก้าวกระโดด จาก 54.41% เป็น 93.35% บนชุดข้อมูล Woven Traffic Safety ได้ในเวลาไม่ถึงหนึ่งวัน ด้วยการแทรกแซงจากมนุษย์น้อยที่สุด

ทำความรู้จัก NVIDIA Cosmos 3 และ TAO Agent Skills

NVIDIA Cosmos 3 เป็นโมเดลพื้นฐานที่มาพร้อมสถาปัตยกรรมแบบ Mixture-of-Transformers (MoT) ที่รวมข้อมูลอินพุตแบบ Multimodal เข้าไว้ด้วยกัน และแยกเส้นทางการทำงานระหว่าง Reasoning (การให้เหตุผล) และ Generation (การสร้างผลลัพธ์) ส่วน TAO Agent Skills จะช่วยห่อหุ้มขั้นตอนการทำงานหลังการเทรน (Post-training) โดยอัตโนมัติ ตั้งแต่การจัดการชุดข้อมูล การประเมินผลเบื้องต้น การตั้งค่า LoRA ไปจนถึงการปรับแต่งไฮเปอร์พารามิเตอร์ผ่าน TAO AutoML ช่วยให้การปรับโมเดลให้เข้ากับโดเมนเฉพาะทำได้อย่างรวดเร็ว และลดภาระงานทางวิศวกรรม

การนำโมเดลไปใช้งานจริง (Production deployment) ก็ทำได้ง่ายขึ้นด้วย Cosmos 3 Reasoner NIM ซึ่งให้บริการ LoRA adapters ที่ผ่านการโพสต์เทรนแล้วโดยตรงในรูปแบบ OpenAI-compatible endpoints โดยใช้ NVIDIA microservices ที่สร้างไว้ล่วงหน้า ช่วยขจัดความซับซ้อนของโครงสร้างพื้นฐานแบบดั้งเดิมและการพึ่งพา CUDA

Cosmos 3 MoT Architecture: จุดเด่นที่น่าสนใจ

สถาปัตยกรรม MoT ของ NVIDIA Cosmos 3 ใช้ Autoregressive Transformer สำหรับการให้เหตุผลและการวางแผนที่แข็งแกร่ง ควบคู่ไปกับ Diffusion Transformer เพื่อคาดการณ์สถานะของโลกและการกระทำในอนาคตได้อย่างแม่นยำ Cosmos 3 มีให้เลือกหลายขนาด รวมถึง Super 64B และ Nano 16B ซึ่งติดอันดับ #1 ในบรรดาโมเดลโอเพนซอร์สบน Benchmark ต่างๆ เช่น:

• VANTAGE-Bench: สำหรับ Video Understanding
• PAI-Bench และ Physics-IQ: สำหรับความแม่นยำในการสร้างโลก (World Generation)
• RoboLab และ RoboArena: สำหรับ Action Policy

สถาปัตยกรรมแบบ Dual-tower ที่รวมเอาเส้นทางการให้เหตุผลแบบ Autoregressive และเส้นทางการสร้างผลลัพธ์แบบ Iterative Diffusion เข้าไว้ด้วยกัน ช่วยให้โมเดลสามารถประมวลผลอินพุตข้อมูลหลากหลายรูปแบบ (ข้อความ รูปภาพ วิดีโอ เสียง) และเชื่อมโยงการทำงานระหว่างส่วนต่างๆ ได้อย่างมีประสิทธิภาพ

ทางเลือกในการโพสต์เทรน Cosmos 3 Nano: LoRA คือคำตอบ

โมเดลพื้นฐานอย่าง Cosmos 3 เรียนรู้รูปแบบทั่วไปจากชุดข้อมูลขนาดใหญ่และหลากหลาย การโพสต์เทรนจึงมีความสำคัญอย่างยิ่งเพื่อให้โมเดลเข้าใจงานเฉพาะทาง คำศัพท์เฉพาะ และมุมกล้องที่แตกต่างกันได้ดีขึ้น

สำหรับโมเดล Vision Language Reasoning เช่น Cosmos 3 Nano นักพัฒนาสามารถเลือกใช้วิธีการโพสต์เทรนได้ 2 แบบหลักๆ:

1. Full-Parameter Supervised Fine-Tuning (SFT): เหมาะสำหรับกรณีที่โดเมนมีการเปลี่ยนแปลงมาก หรือต้องการปรับเปลี่ยนโครงสร้างโมเดล แต่เนื่องจาก SFT จะอัปเดตน้ำหนัก (weights) ทั้งหมด จึงต้องใช้ทรัพยากรคอมพิวเตอร์จำนวนมาก และอาจส่งผลกระทบต่อความรู้ทั่วไปของโมเดล
2. Low-Rank Adaptation (LoRA): เหมาะสำหรับการวนซ้ำ (iteration) ที่รวดเร็ว LoRA จะล็อกน้ำหนักของโมเดลพื้นฐานไว้ และแทรกเมทริกซ์ที่สามารถเรียนรู้ได้ (trainable rank-decomposition matrices) เข้าไป

สำหรับการทดลองนี้ การโพสต์เทรนด้วย LoRA ใช้ GPU ชั่วโมงน้อยกว่า Full-parameter SFT ถึงประมาณ 7 เท่า ทำให้การโพสต์เทรนให้เสร็จภายในหนึ่งวันเป็นไปได้จริงสำหรับทีมวิศวกรรม

วิธีโพสต์เทรน Cosmos 3 Nano ด้วย TAO Agent Skills

มีสองทางเลือกหลักในการโพสต์เทรน Cosmos 3 Nano:

1. Open framework: Framework ที่เปิดกว้างอย่างเต็มที่ของ Cosmos 3 จะเปิดเผยสูตรการเทรน รูปแบบชุดข้อมูล และไฟล์การกำหนดค่าต่างๆ ให้นักพัฒนาสามารถสร้างและควบคุมทุกขั้นตอนของไปป์ไลน์การโพสต์เทรนได้เอง เหมาะสำหรับผู้ที่ต้องการ Logic การเทรนที่ปรับแต่งเอง หรือต้องการผสานรวมกับโครงสร้างพื้นฐานที่มีอยู่
2. TAO Agent Skills: Agent Skills ทำงานอยู่บนความสามารถเดียวกัน และทำให้กระบวนการเหล่านี้เป็นอัตโนมัติ Coding Agent จะวิเคราะห์ Workflow, แก้ไขปัญหาข้อมูล, รันคอนเทนเนอร์การเทรน และทำการ Sweep ไฮเปอร์พารามิเตอร์ให้คุณโดยอัตโนมัติ

NVIDIA TAO แนะนำ Agent Skills ที่ช่วยให้ Coding Agent สามารถดำเนินการ Post-training Workflow สำหรับโมเดลที่รองรับได้ โดย Skills เหล่านี้จะรวบรวมความรู้เฉพาะทางที่จำเป็นสำหรับการเทรน, ประเมินผล, ปรับแต่ง และให้บริการโมเดล ซึ่งรวมถึงรายละเอียด Framework, พฤติกรรม Launcher, โครงสร้าง Config, การโหลดข้อมูล และ Workflow การประเมินผล

การติดตั้ง TAO Skills สำหรับ Coding Agent

TAO Skills สามารถติดตั้งเพื่อใช้งานกับ Coding Agent ใดก็ได้ ตัวอย่างนี้ใช้ Codex ซึ่งมีคำแนะนำการตั้งค่าที่คล้ายกันสำหรับ Claude ใน GitHub repo ของ NVIDIA-TAO/tao-skill-bank วิธีที่เร็วที่สุดคือการใช้สคริปต์ติดตั้งอัตโนมัติจาก TAO Skill Bank repo

ก่อนเริ่มการทดลอง ควรตั้งค่า Environment ใน Terminal ของคุณด้วย Keys ที่จำเป็น

การทดลองโพสต์เทรน Cosmos 3 Nano บนชุดข้อมูล Woven Traffic Safety (WTS)

ตัวอย่างนี้สาธิตวิธีการโพสต์เทรน Cosmos 3 Nano บนชุดข้อมูล Woven Traffic Safety (WTS) จาก Toyota โดยเน้นไปที่งาน Video Question Answering แบบ 4-way multiple-choice ซึ่งมีตัวอย่างการเทรนและ Validation มากกว่า 8,000 ตัวอย่าง

ชุดข้อมูลนี้มีประโยชน์ในการแสดงการโพสต์เทรน Cosmos 3 เนื่องจากความปลอดภัยบนท้องถนนต้องการความเข้าใจในฉากจริงที่ซับซ้อน โมเดลต้องสามารถให้เหตุผลเกี่ยวกับโครงสร้างถนน สัญญาณไฟ ยานพาหนะ คนเดินถนน และบริบทของเหตุการณ์จากวิดีโอได้ (ดังภาพที่ 3) แต่ Workflow เดียวกันนี้สามารถนำไปใช้กับงาน Visual Reasoning อื่นๆ ได้ เช่น การเฝ้าระวังคลังสินค้า, การรับรู้ของยานยนต์ไร้คนขับ, หรือ Robot Workcells

ตัวอย่างคำถาม: "What is the formation of the road?" (ลักษณะของถนนเป็นอย่างไร?)
A: Single road (right curve)
B: Single road (straight line)
C: Intersection (without signal)
D: Intersection (with signal)

โพสต์เทรน LoRA ด้วย Prompt เดียว

ใน Environment เดียวกันกับที่คุณส่งออก Credentials คุณสามารถเริ่มไปป์ไลน์แบบ End-to-End ได้ด้วย Codex prompt เพียงครั้งเดียว:

"Post-train Cosmos 3 Nano on WTS dataset using LoRA with the provided credentials."

เบื้องหลัง Codex จะสอบถามไลบรารี TAO และเลือก Cosmos-reason skill ที่เฉพาะเจาะจง Agent จะจัดการ Framework และ Data Loader เบื้องหลังโดยอัตโนมัติ และดำเนินการตามขั้นตอนต่อไปนี้:

• Automated error patching: Agent จะสแกน Annotation ของชุดข้อมูล, ตรวจพบพารามิเตอร์ FPS ของวิดีโอที่ขาดหายไป และแก้ไขการกำหนดค่าบน Fly
• Model caching: ใช้ Hugging Face token ของคุณเพื่อดึง Cosmos 3 weights อย่างปลอดภัย
• Baseline evaluation: ก่อนที่จะเปลี่ยนแปลงน้ำหนักใดๆ Agent จะทำการประเมินผลแบบ Zero-shot baseline โมเดล Cosmos 3 พื้นฐานได้คะแนนความแม่นยำเริ่มต้นที่ 54.41%
• LoRA pipeline execution: Agent จะสร้างการกำหนดค่าการเทรน LoRA ที่ปรับให้เหมาะสมและเรียกใช้ TAO training container

เมื่อการโพสต์เทรนเสร็จสิ้น Agent จะประเมินผลโมเดลที่ปรับด้วย LoRA และเปรียบเทียบผลลัพธ์กับ Baseline

เพียงการรันครั้งเดียว และใช้เวลาเทรนประมาณ 30 นาทีบน NVIDIA A100 Tensor Core GPUs จำนวน 8 ตัว โมเดลก็สามารถเพิ่มความแม่นยำขึ้นเป็น 87.14% ซึ่งเป็นการปรับปรุงครั้งใหญ่ถึง 32 เปอร์เซ็นต์พอยต์ โดยไม่ต้องลงมือทำอะไรเลย

ปรับแต่ง Vision Model ด้วย TAO AutoML

LoRA ให้ผลลัพธ์ที่ดีในครั้งแรก แต่ประสิทธิภาพหลังการเทรนมักขึ้นอยู่กับการเลือกการกำหนดค่าที่เหมาะสม Learning rate, LoRA rank, dropout, batch size, scheduler settings และไฮเปอร์พารามิเตอร์อื่นๆ ล้วนส่งผลต่อความแม่นยำสุดท้าย

แทนที่จะลองทีละการกำหนดค่า TAO AutoML ช่วยให้ Agent สามารถทำการ Sweep ที่มีโครงสร้างผ่านพารามิเตอร์หลังการเทรนที่สำคัญได้

TAO AutoML รองรับกลยุทธ์การค้นหาพารามิเตอร์หลากหลายรูปแบบ รวมถึงแต่ไม่จำกัดเพียง:

• Bayesian optimization
• Bayesian optimization and Hyperband
• Batch-first Bayesian optimization
• LLM-guided search: เสนอไฮเปอร์พารามิเตอร์โดยใช้ LLM brain (NVIDIA NIM, OpenAI, หรือ OpenAI-compatible endpoint ใดก็ได้) จำเป็นต้องมี NVIDIAAPIKEY หรือ AUTOMLLLMAPI_KEY สำหรับการทดลองนี้ ใช้ Gemini API endpoint

สำหรับคำอธิบายสั้นๆ ของแต่ละอัลกอริทึม โปรดดูเอกสาร TAO AutoML algorithm documentation

ด้วย Prompt อีกครั้งใน Coding Agent chat เดียวกัน คุณสามารถสั่งให้ Agent รัน AutoML sweep ได้:

"Run AutoML sweep for Cosmos 3 Nano on WTS dataset using LoRA with the provided credentials."

Agent จะสร้าง Candidate trials โดยใช้หลายกลยุทธ์, เปิดใช้งานแต่ละการทดลอง, ติดตามไฮเปอร์พารามิเตอร์, ประเมินผลลัพธ์ และบันทึกการกำหนดค่าที่ดีที่สุด

ผลลัพธ์การปรับปรุงความแม่นยำด้วย LoRA และ AutoML

การรวมเอา Automation ของ TAO Agent Skills เข้ากับพลังการปรับแต่งของ TAO AutoML ทำให้โมเดลสามารถบรรลุการเพิ่มความแม่นยำที่ยอดเยี่ยมเหนือกว่า Zero-shot baseline การทดลองทั้งหมดดำเนินไปจากการใช้โมเดลพื้นฐานที่ไม่ได้รับการปรับแต่ง ไปสู่ผู้เชี่ยวชาญด้านความปลอดภัยบนท้องถนนที่มีความเชี่ยวชาญสูง ผ่านเพียงสอง Prompt เท่านั้น

ฮาร์ดแวร์และระยะเวลาที่คาดหวัง

ใช้ฮาร์ดแวร์ NVIDIA บนคลาวด์เพื่อทดสอบการ Sweep การกำหนดค่าหลายรูปแบบของ TAO skills ด้วยสถาปัตยกรรม MoT ของ Cosmos 3 ที่มีประสิทธิภาพ การเทรน LoRA เพียง 1 epoch ใช้เวลาประมาณ 30 นาทีบน NVIDIA A100 (80 GB) GPUs หนึ่งโหนด ซึ่งหมายความว่าภายในเวลาไม่ถึงหนึ่งชั่วโมง คุณสามารถสร้างโมเดลที่มีความแม่นยำสูงซึ่งให้ผลลัพธ์ 87.14% ได้อย่างรวดเร็ว

อย่างไรก็ตาม เพื่อความชัดเจน หากคุณต้องการเพิ่มความแม่นยำให้สูงกว่าเกณฑ์นี้ การค้นหาการกำหนดค่าที่เหมาะสมที่สุดต้องใช้ TAO AutoML hyperparameter sweep ในสภาพแวดล้อมการทดลองนี้ ใช้เวลา 19.5 ชั่วโมงในการประมวลผล 43 parallel trials ซึ่งทำงานแบบขนานเต็มรูปแบบบนหลายโหนดของ A100 GPUs ที่โฮสต์บน Oracle Cloud Infrastructure (OCI)

สำหรับการเปรียบเทียบ การรัน Full-parameter SFT ใช้เวลา 3 ชั่วโมง 34 นาที บน NVIDIA H100 GPUs

ผลลัพธ์เชิงคุณภาพหลังการเทรน

ตัวเลขเป็นเพียงส่วนหนึ่งของเรื่องราว คุณค่าที่แท้จริงของการปรับให้เข้ากับโดเมนเฉพาะจะปรากฏให้เห็นเมื่อประเมินกรณี Edge Case ที่ซับซ้อนและกำกวมในโลกแห่งความเป็นจริง ภาพที่ 5 และ 6 แสดงการเปรียบเทียบเชิงคุณภาพก่อนและหลังการโพสต์เทรนโมเดล

#NVIDIA #Cosmos3 #TAO #AgentSkills #LoRA #AutoML #AI

ขอบคุณ แหล่งข้อมูล
https://developer.nvidia.com/blog/post-train-nvidia-cosmos-3-in-one-day-using-agent-skills/

ย้อนรอยคอมพิวเตอร์ใน Jurassic Park: เจาะลึกรายละเอียดสุดอลังการ 🦖

ในปี 1993 ภาพยนตร์เรื่อง Jurassic Park ไม่เพียงแต่สร้างปรากฏการณ์ให้กับวงการภาพยนตร์ด้วยเทคนิคพิเศษที่ล้ำสมัย แต่ยังทำให้ผู้ชมทั่วโลกทึ่งไปกับฉากที่เหล่าไดโนเสาร์อาละวาดในสวนสนุกที่ถูกสร้างขึ้นมาใหม่ แต่รู้หรือไม่ว่าเบื้องหลังความตื่นเต้นเหล่านั้น มีเทคโนโลยีคอมพิวเตอร์ที่น่าทึ่งซ่อนอยู่ไม่น้อย

บทความนี้จะพาคุณดำดิ่งสู่โลกของคอมพิวเตอร์ที่ใช้ในภาพยนตร์ Jurassic Park เจาะลึกทุกรายละเอียด ตั้งแต่ฮาร์ดแวร์ ซอฟต์แวร์ ไปจนถึงวิธีการที่เทคโนโลยีเหล่านี้ถูกนำมาใช้เพื่อสร้างประสบการณ์อันน่าจดจำให้กับผู้ชม

ระบบคอมพิวเตอร์อันซับซ้อนของ InGen 🏢

บริษัท InGen คือเบื้องหลังการสร้าง Jurassic Park และแน่นอนว่าต้องมาพร้อมกับระบบคอมพิวเตอร์ที่ทันสมัยและซับซ้อนเพื่อรองรับการบริหารจัดการสวนสนุกแห่งนี้

workstations ที่ทรงพลังในยุคนั้น 💻

ในยุค 90 การทำงานกับกราฟิกและข้อมูลจำนวนมากต้องอาศัยเครื่องคอมพิวเตอร์ที่มีประสิทธิภาพสูง ใน Jurassic Park เราจะได้เห็นการใช้ Sun Microsystems SPARCstation เป็นเครื่องหลักในการควบคุมระบบต่างๆ ของสวนสนุก

• SPARCstation 1+: เป็นหนึ่งในรุ่นที่ปรากฏในภาพยนตร์ ใช้สำหรับงานกราฟิกและแสดงผลข้อมูลแบบเรียลไทม์
• SPARCstation 2: มีประสิทธิภาพสูงขึ้น เหมาะสำหรับการประมวลผลที่ต้องการความเร็ว
• SPARCstation Voyager: เครื่องเวิร์คสเตชั่นแบบพกพาที่แสดงถึงความก้าวหน้าของเทคโนโลยีในยุคนั้น

เครื่องเหล่านี้ไม่ได้เป็นเพียงแค่ฉากประกอบ แต่ถูกใช้จริงในการแสดงผลหน้าจอควบคุมต่างๆ ที่เราเห็นในภาพยนตร์ เช่น หน้าจอแสดงสถานะของไดโนเสาร์ หรือหน้าจอควบคุมประตู

เครือข่ายและการสื่อสาร 🌐

การเชื่อมต่อระหว่างเครื่องคอมพิวเตอร์ต่างๆ เป็นสิ่งจำเป็นอย่างยิ่งเพื่อให้ระบบทำงานได้อย่างราบรื่น ในยุคนั้น เครือข่าย TCP/IP คือหัวใจสำคัญของการสื่อสารข้อมูล

• การเชื่อมต่อ TCP/IP: ระบบของ InGen ใช้เครือข่าย TCP/IP ในการรับส่งข้อมูลระหว่างเซิร์ฟเวอร์และเวิร์คสเตชั่นต่างๆ ทำให้สามารถควบคุมและตรวจสอบสถานะของระบบได้จากจุดเดียว
• การแสดงผลแบบกราฟิก: ซอฟต์แวร์ที่ใช้แสดงผลบนหน้าจอ SPARCstation ถูกออกแบบมาให้เข้าใจง่าย แม้จะเป็นระบบที่ซับซ้อน

ซอฟต์แวร์และอินเทอร์เฟซที่น่าทึ่ง ✨

ไม่ใช่แค่ฮาร์ดแวร์ที่น่าสนใจ แต่ซอฟต์แวร์และอินเทอร์เฟซที่ถูกสร้างขึ้นเพื่อ Jurassic Park ก็เป็นอีกส่วนที่ทำให้ภาพยนตร์เรื่องนี้มีความสมจริง

การจำลองระบบควบคุม 🛠️

หน้าจอควบคุมต่างๆ ที่เราเห็นในภาพยนตร์ถูกออกแบบมาให้ดูเหมือนระบบที่ใช้งานได้จริง แม้ว่าในความเป็นจริงแล้วอาจมีการปรับเปลี่ยนบางส่วนเพื่อให้เข้ากับบทภาพยนตร์

• หน้าจอควบคุมประตู: ฉากที่ประตูไฟฟ้าเปิดออกเพื่อต้อนรับแขก หรือฉากที่ประตูถูกปิดเพื่อกักกันไดโนเสาร์ ล้วนแสดงให้เห็นถึงการทำงานของระบบควบคุม
• หน้าจอแสดงข้อมูลไดโนเสาร์: ข้อมูลเกี่ยวกับชนิดไดโนเสาร์ ตำแหน่งที่อยู่ และสถานะความปลอดภัย ถูกแสดงผลบนหน้าจออย่างละเอียด
• การแสดงผลแบบ 3D Wireframe: ในฉากการไล่ล่าของ Velociraptor เราจะได้เห็นภาพจำลอง 3D แบบ Wireframe ของไดโนเสาร์ ซึ่งเป็นเทคนิคที่ล้ำสมัยมากในยุคนั้น

เทคโนโลยีที่ใช้ในการสร้างภาพ 🎬

นอกจากระบบคอมพิวเตอร์ที่ใช้ภายในเรื่องแล้ว เทคโนโลยีคอมพิวเตอร์กราฟิก (CGI) ก็เป็นอีกหนึ่งองค์ประกอบสำคัญที่ทำให้ Jurassic Park กลายเป็นตำนาน

• การสร้างโมเดล 3 มิติ: การสร้างแบบจำลองไดโนเสาร์ในรูปแบบ 3 มิติ เป็นขั้นตอนที่ต้องใช้ซอฟต์แวร์และฮาร์ดแวร์ที่ทรงพลัง
• การนำภาพมาประกอบ: การนำภาพ CGI มาผสมผสานกับภาพจริง (Live-action) อย่างแนบเนียน คือความสำเร็จที่ทำให้ผู้ชมเชื่อในสิ่งที่เห็น

ความสำคัญของเทคโนโลยีใน Jurassic Park 💡

Jurassic Park ไม่ได้เป็นเพียงแค่ภาพยนตร์บันเทิง แต่ยังสะท้อนให้เห็นถึงศักยภาพของเทคโนโลยีคอมพิวเตอร์ในยุค 90 ที่สามารถนำมาประยุกต์ใช้ในโลกแห่งความเป็นจริงได้อย่างน่าทึ่ง

• การบริหารจัดการที่ซับซ้อน: ระบบคอมพิวเตอร์ช่วยให้การบริหารจัดการสวนสนุกที่มีความซับซ้อนสูงเป็นไปได้
• การสร้างประสบการณ์เสมือนจริง: เทคโนโลยี CGI และการแสดงผลกราฟิกทำให้ผู้ชมได้สัมผัสกับโลกของไดโนเสาร์อย่างสมจริง

การได้ย้อนกลับไปสำรวจรายละเอียดของคอมพิวเตอร์ใน Jurassic Park ทำให้เราเห็นถึงความก้าวหน้าทางเทคโนโลยีที่เปลี่ยนแปลงไปอย่างรวดเร็ว และยังเป็นแรงบันดาลใจให้กับการพัฒนาเทคโนโลยีในยุคปัจจุบันอีกด้วย

#JurassicPark #Computers #TechHistory #90sMovies #CGI

ขอบคุณ แหล่งข้อมูล
https://fabiensanglard.net/jurrasic_park_computers/index.html

AI พลิกโฉมทีมขาย: เครื่องมืออัจฉริยะที่ช่วยเพิ่มประสิทธิภาพการทำงาน 🚀

ในยุคดิจิทัลที่การแข่งขันทางธุรกิจสูงขึ้นเรื่อยๆ ทีมขายต้องปรับตัวให้ทันกับเทคโนโลยีใหม่ๆ เพื่อรักษาความได้เปรียบ หนึ่งในเครื่องมือที่กำลังเข้ามามีบทบาทสำคัญและเปลี่ยนแปลงวิธีการทำงานของทีมขายอย่างสิ้นเชิง คือ ปัญญาประดิษฐ์ (AI) ซึ่งไม่ได้จำกัดอยู่เพียงแค่การเขียนโค้ดหรือวิเคราะห์ข้อมูลซับซ้อน แต่ยังขยาย

ขอบคุณ แหล่งข้อมูล
https://openai.com/academy/codex-for-work/how-sales-teams-use-codex

ใช้โมเดล AI ในเครื่อง (Local Models) ช่วยคัดกรองงานใน OpenClaw ได้ฟรี! 🚀

ในยุคที่ AI พัฒนาไปอย่างรวดเร็ว การที่เราสามารถควบคุมและใช้งานโมเดล AI ได้ด้วยตัวเองเป็นสิ่งสำคัญอย่างยิ่ง โดยเฉพาะอย่างยิ่งเมื่อธุรกิจของคุณต้องพึ่งพาเทคโนโลยี AI เป็นหลัก การที่โมเดล AI แบบปิด (Closed Models) อาจถูกนำออกไปได้ทุกเมื่อ ทำให้การมีโมเดล AI ที่คุณสามารถรันบนเครื่องของคุณเองได้ (Local Models) เป็นทางออกที่น่าสนใจ

บทความนี้จะพาคุณไปดูวิธีการที่เรานำ Local Models อย่าง Gemma และ Qwen มาใช้ในระบบ Agent Harness เพื่อช่วยคัดกรองและจัดหมวดหมู่ (Classification Tasks) งานต่างๆ ใน OpenClaw ซึ่งเป็นคลังเก็บโค้ดโอเพนซอร์สขนาดใหญ่ ที่มี Issues และ Pull Requests (PRs) เข้ามาจำนวนมากในแต่ละวัน

ทำไมต้องใช้ Local Models ในการคัดกรอง? 🤔

OpenClaw เป็นโปรเจกต์โอเพนซอร์สที่รับ Issues และ PRs จำนวนมหาศาลในแต่ละวัน ซึ่งจำเป็นต้องมีการคัดกรอง จัดลำดับความสำคัญ และส่งต่อไปยังผู้ดูแล (Maintainers) อย่างรวดเร็ว โดยเฉพาะอย่างยิ่ง Issues ที่เป็นระดับ P0 (Priority 0)

แม้ว่าโมเดล AI แบบปิดที่ทันสมัยที่สุดอย่าง GPT-5, Opus หรือ Sonnet จะสามารถทำงานนี้ได้ง่าย แต่การใช้งานโมเดลเหล่านี้อย่างต่อเนื่อง อาจมีค่าใช้จ่ายสูงและส่งผลต่อโควต้าการใช้งาน หากต้องตั้งค่าให้แจ้งเตือนแบบเรียลไทม์ทุกครั้งที่มีการสร้าง Issue หรือ PR ใหม่

แต่ถ้าเรามีฮาร์ดแวร์ที่รองรับ (เช่น มี RAM 128 GB) การรัน Local Models บนเครื่องของเราเอง จะทำให้เราได้รับการแจ้งเตือนเกือบจะทันที และที่สำคัญคือ ฟรี! (หรืออย่างน้อยก็มีค่าใช้จ่ายแค่ค่าไฟฟ้า)

วิธีการจัดหมวดหมู่ Issues และ PRs ด้วย Local Models 🏷️

เรากำหนดชุดป้ายกำกับ (Labels) ที่ชัดเจนเพื่อใช้ในการจัดหมวดหมู่ Issues และ PRs จากนั้นจึงใช้ Local Models ในการจำแนกแต่ละรายการให้อยู่ในหมวดหมู่ที่ถูกต้อง เช่น localmodels, selfhostedinference, acp, agentruntime, codex, ui_tui เป็นต้น

แล้วจะจำแนก Pull Requests อย่างไร? 🧐

แทนที่จะใช้การเรียก API แบบง่ายๆ เราใช้ประโยชน์จาก Agents ในปี 2026 นี้ เราสามารถทำได้ดีกว่านั้น!

เราได้ทดสอบ Local Models สองตัวคือ Gemma-4-26b-a4b และ Qwen-3.6-35b-a3b ซึ่งเมื่อมีการปรับปรุงประสิทธิภาพแล้ว สามารถสร้าง Token ได้หลายร้อย Token ต่อวินาทีบนเครื่องของเรา

เราใช้ Agent Harness ที่ชื่อว่า Pi เพื่อควบคุมการทำงานของ Local Models ผ่าน API โดย Agent นี้จะได้รับข้อมูลเบื้องต้น เช่น ชื่อ PR, เนื้อหา PR และส่วนหนึ่งของ Diff ของ PR

Agent สามารถเลือกใช้เครื่องมือ bash (ซึ่งเราปรับให้ปลอดภัยขึ้นด้วย reposhell) เพื่อดำเนินการอ่านข้อมูลใน OpenClaw Repo หรือใช้เครื่องมือ final_json เพื่อส่งผลการจำแนกหมวดหมู่สุดท้าย

ข้อควรระวัง: เราไม่ควรให้สิทธิ์ bash แบบเต็มแก่ Local Model ในการทำงานที่มีปริมาณการใช้งานสูงเช่นนี้ เพราะอาจถูกใช้เป็นช่องทางในการโจมตี (Prompt Injection) ได้

ตัวอย่างการใช้งาน Reposhell 🛠️

reposhell เป็นเหมือน bash ที่ถูกจำกัดสิทธิ์ให้สามารถดำเนินการอ่านข้อมูลแบบ Read-only เท่านั้น (เช่น ls, find, cat, grep) หากโมเดลพยายามทำอะไรที่ไม่ได้รับอนุญาต ระบบจะปฏิเสธการทำงานนั้น

ตัวอย่างเช่น โมเดล qwen3.6-35b-a3b กำลังจำแนก openclaw/openclaw#84621 ที่มีชื่อว่า "Fix Kimi tool-call rewriting stop reason handling" ในตอนแรก โมเดลอาจคิดว่าเกี่ยวข้องกับ codingagentintegrations เพราะเห็นเส้นทางไฟล์ที่เปลี่ยนแปลง แต่เมื่อใช้ reposhell ตรวจสอบไฟล์ package.json ในไดเรกทอรีนั้น ก็พบว่าแท้จริงแล้วเป็นปลั๊กอินของ OpenClaw Kimi ทำให้โมเดลสามารถแก้ไขป้ายกำกับสุดท้ายเป็น inferenceapi และ toolcalling ได้อย่างถูกต้อง

การประมวลผล PRs และ Issues ที่เข้ามา ⚙️

ระบบที่ Orchestrate การทำงานทั้งหมด ตั้งแต่รับ PR/Issue ไปจนถึงแจ้งเตือนบน Discord นั้นค่อนข้างเรียบง่าย โดยมีเพียงขั้นตอนการจำแนกหมวดหมู่ที่ต้องใช้ LLM

1. การมิเรอร์ Repo: เราใช้ openclaw/gitcrawl เพื่อทำ Local Mirror ของ Repo เมื่อมี PR หรือ Issue ใหม่เข้ามา ข้อมูลจะถูกปรับให้อยู่ในรูปแบบเดียวกันและบันทึกลงในฐานข้อมูล SQLite ของ localpager
2. การสร้าง Job: หากรายการนั้นเป็นรายการใหม่ localpager จะสร้าง Job สำหรับการจำแนกหมวดหมู่
3. Worker ทำงาน: Worker จะดึง Job จากคิว และสร้าง GitHub Context Object ซึ่งประกอบด้วย ชื่อ, เนื้อหา, ป้ายกำกับ, ผู้สร้าง, สถานะ ของ Issue หรือ PR รวมถึงความคิดเห็น, ไฟล์ที่เปลี่ยนแปลง และส่วนหนึ่งของ Diff (ถ้ามี)
4. ส่ง Prompt ให้ Agent: Context Object จะถูกแปลงเป็น Prompt และส่งไปยัง localpager-agent ซึ่ง Agent นี้สามารถคิดและใช้ reposhell ได้ แต่สุดท้ายจะต้องส่งผลลัพธ์การจำแนกหมวดหมู่ตาม Schema ที่กำหนดไว้
5. บันทึกผลและแจ้งเตือน: ผลลัพธ์จะถูกบันทึกลงในฐานข้อมูล SQLite และส่งต่อไปยัง Discord ตามนโยบายการแจ้งเตือนที่ผู้ใช้ตั้งค่าไว้

สถาปัตยกรรมนี้เป็นแบบ กึ่ง Agentic โดยการติดป้ายกำกับจะใช้ Agent แต่การส่งการแจ้งเตือนจะเป็นไปตามกฎที่กำหนดไว้ เพื่อให้กระบวนการแจ้งเตือนรวดเร็วขึ้น และสงวนทรัพยากร GPU ไว้สำหรับงานที่จำเป็นจริงๆ

Local Models สามารถคัดกรอง PRs ได้จริงหรือ? ✅

ในเวอร์ชันแรกๆ ของระบบนี้ การทำงานอาจยังมีเสียงรบกวน (Noisy) อยู่บ้าง โมเดล gemma-4-e4b-it ที่ใช้ในการทดสอบช่วงแรกมีแนวโน้มที่จะติดป้ายกำกับที่ไม่เกี่ยวข้องจำนวนมาก ทำให้ฟีด Discord มีข้อมูลมากเกินไป

เราจึงได้ทดสอบโมเดล Local Models ที่มีขนาดใหญ่ขึ้น เช่น gemma-4-26b-a4b และ qwen3.6-35b-a3b บนชุดข้อมูลประเมิน 330 รายการ

• Gemma-4-26b-a4b: มี Recall สูงกว่า และใช้เวลาต่อแถวน้อยกว่า
• Qwen-3.6-35b-a3b: มี Precision สูงกว่า, Exact Match สูงกว่า และมี False Positives น้อยกว่า

เรายังได้เปรียบเทียบกับ DeepSeek-V4-Flash ซึ่งมี False Positives น้อยที่สุด แต่ด้วยขนาดโมเดลและ Throughput ทำให้ไม่เหมาะกับการทำงานแบบเรียลไทม์บนฮาร์ดแวร์ที่เรามี

การประเมินประสิทธิภาพ: เราใช้ GPT-5.5 และ Opus 4.8 เป็นเกณฑ์มาตรฐานในการประเมิน False Positives และ False Negatives โดยรันทั้ง Local Models และ SOTA Cloud Models พร้อมกันทุกๆ 2 ชั่วโมง

สรุป 💡

การใช้ Local Models ในการคัดกรอง Issues และ PRs ใน OpenClaw เป็นวิธีที่มีประสิทธิภาพและคุ้มค่า ทำให้เราสามารถจัดการกับปริมาณงานที่เข้ามาได้อย่างรวดเร็วและแม่นยำ โดยไม่ต้องกังวลเรื่องค่าใช้จ่ายหรือข้อจำกัดของโมเดล AI แบบปิด

หากคุณกำลังมองหาวิธีปรับปรุงกระบวนการทำงานกับโปรเจกต์โอเพนซอร์ส หรือต้องการควบคุมการใช้งาน AI ได้มากขึ้น การลองนำ Local Models มาประยุกต์ใช้ อาจเป็นคำตอบที่คุณกำลังมองหาอยู่ก็เป็นได้

#LocalModels #OpenSource #AI #HuggingFace

ขอบคุณ แหล่งข้อมูล
https://huggingface.co/blog/local-models-pr-triage