เปิดโปง! ข้อกล่าวหาเด็ดดวงในคดีละเมิดความลับทางการค้าของ Apple ฟ้อง OpenAI

Apple ได้ยื่นฟ้อง OpenAI ในข้อหาละเมิดความลับทางการค้า ซึ่งเต็มไปด้วยข้อกล่าวหาที่น่าตกตะลึง สะท้อนความพยายามที่ถูกกล่าวหาว่าเป็นการประสานงานกันเพื่อล้วงเอาข้อมูลลับจากอดีตและปัจจุบันของพนักงาน Apple แต่สิ่งที่น่าประหลาดใจยิ่งกว่านั้นคือการที่การกระทำผิดเหล่านี้ถูกกล่าวถึงอย่างไม่เป็นทางการ ราวกับเป็นเรื่องตลก

เอกสารฟ้องร้องความยาว 41 หน้าที่ยื่นเมื่อวันศุกร์ที่ผ่านมา เต็มไปด้วยข้อกล่าวหาที่มีรายละเอียดผิดปกติ เช่น ข้อความที่ระบุว่า "ฮ่าๆ ฉันเพิ่งรู้ว่าฉันเข้าถึง [พื้นที่จัดเก็บเครือข่าย] ได้ ตลกมาก"

นี่คือประเด็นที่โดดเด่นที่สุดบางส่วนจากคำฟ้อง:

"ถูกทำให้เป็นเรื่องปกติและเป็นแบบอย่างโดยผู้นำ"

Apple ต้องการชี้ให้เห็นอย่างชัดเจนว่าการฟ้องร้องครั้งนี้ไม่ได้มุ่งเป้าไปที่พนักงานที่ทำผิดเพียงไม่กี่คน แต่เป็นการบ่งชี้ว่าการกระทำผิดเช่นนี้เป็นส่วนหนึ่งของวัฒนธรรมของ OpenAI และได้รับการนำโดยผู้บริหารระดับสูง

"เน่าเฟะตั้งแต่แก่น"

Apple ใช้การเปรียบเทียบผลไม้เน่าเพื่อวิพากษ์วิจารณ์พฤติกรรมของ OpenAI ในคดีนี้ มีข่าวลือว่า OpenAI กำลังพัฒนากลุ่มผลิตภัณฑ์ฮาร์ดแวร์เพื่อท้าทาย iPhone ซึ่งอาจเป็นสมาร์ทโฟนของตัวเอง แต่ Apple ยืนยันว่าสิ่งที่ OpenAI กำลังพัฒนาขึ้นมานั้นอ้างว่าถูกสร้างขึ้นจากความลับทางการค้าของ Apple โดยระบุในคำฟ้องว่า "ธุรกิจฮาร์ดแวร์ที่เพิ่งเริ่มต้นของ OpenAI ขณะนี้ตั้งอยู่บนรากฐานที่สั่นคลอนที่สุด โดยเน่าเฟะตั้งแต่แก่นจากการพึ่งพาความลับทางการค้าที่ถูกขโมยมาอย่างผิดกฎหมาย"

"นี่เป็นเพียงยอดของภูเขาน้ำแข็ง"

นอกเหนือจากการบันทึกข้อกล่าวหาต่ออดีตพนักงานของตนแล้ว Apple ยังชี้ให้เห็นว่าการกล่าวหาที่ระบุในคำฟ้องนี้เป็นเพียงส่วนเล็กน้อยของสิ่งที่พวกเขาจะค้นพบหลังจากกระบวนการค้นพบข้อมูล (discovery process) ได้เริ่มขึ้น ซึ่งในกระบวนการนี้ เอกสารและบันทึกการสื่อสารของบริษัท รวมถึงข้อความและอีเมล จะถูกรวบรวม ซึ่งอาจเปิดเผยตัวอย่างพฤติกรรมอื่น ๆ ที่คล้ายคลึงกันที่ OpenAI คำฟ้องระบุว่า "การค้นพบข้อมูลจะเผยให้เห็นว่าการยักยอกทรัพย์สินได้เกิดขึ้นในระดับที่ใหญ่กว่าหลายเท่าเมื่อเทียบกับหลายกรณีที่อธิบายไว้ด้านล่างนี้"

"ฮ่าๆ ฉันเพิ่งรู้ว่าฉันเข้าถึง [พื้นที่จัดเก็บเครือข่าย] ได้ ตลกมาก"

Apple กล่าวว่า Chang Liu อดีตวิศวกรระบบอาวุโสของ Apple ก่อนที่จะเข้าร่วม OpenAI ได้ส่งข้อความนี้ไปยัง Yu-Ting "Alyssa" Peng พนักงานของ Apple ซึ่งถูกกล่าวหาว่าเป็นตัวกลางระหว่าง Apple และ OpenAI Peng ได้ลาออกไปร่วมงานกับ OpenAI ในภายหลัง แต่ไม่ได้ถูกระบุว่าเป็นจำเลยในคดีนี้ Apple อ้างว่า Liu สามารถเข้าถึงระบบของ Apple ได้โดยการใช้ประโยชน์จากข้อบกพร่องในการยืนยันตัวตน ซึ่งเขาทำจากคอมพิวเตอร์ที่ออกโดย Apple ของอดีตเพื่อนร่วมงาน

"ฉันยังมีคอมพิวเตอร์อีกเครื่อง"

Liu ยังได้ส่งข้อความนี้ภายในไม่กี่ชั่วโมงหลังจากลาออกจาก Apple โดยอ้างถึงคอมพิวเตอร์ Apple อีกเครื่องที่เขาอ้างว่าวางแผนจะใช้เพื่อเข้าถึงข้อมูลลับของ Apple Apple ค้นพบข้อความนี้บนแล็ปท็อปที่ออกโดย Apple ของอดีตเพื่อนร่วมงานของเขา

"ไม่เคยรู้เลยว่าเราสามารถนำสิ่งเหล่านี้ออกจากสำนักงานได้"

หนึ่งในข้อกล่าวหาที่แปลกประหลาดที่สุดคือผู้สมัครงานของ OpenAI ที่ทำงานอยู่ที่ Apple ถูกสั่งโดย Tang Yew Tan ประธานเจ้าหน้าที่ฝ่ายฮาร์ดแวร์ของ OpenAI ซึ่งเคยทำงานที่ Apple มา 24 ปี ล่าสุดดำรงตำแหน่งรองประธานฝ่ายออกแบบผลิตภัณฑ์สำหรับ iPhone และ Apple Watch ให้ "นำชิ้นส่วนจริง" จาก Apple มาในการสัมภาษณ์ที่ OpenAI เพื่อ "การแสดงและเล่าเรื่อง" ผู้สมัครงานคนหนึ่งประหลาดใจกับคำขอนี้ โดยกล่าวว่าเขาไม่เคยรู้เลยว่าชิ้นส่วนของ Apple สามารถนำออกจากสำนักงานได้ Apple อ้างว่าพนักงานยังได้รับคำสั่งให้นำ "งานออกแบบ CAD/การออกแบบ" และ "ต้นแบบ" มาในการสัมภาษณ์ด้วย

การหลีกเลี่ยง "การเดินออกอันน่าสะพรึงกลัว"

Apple กล่าวหาว่า OpenAI ได้ฝึกสอนพนักงาน Apple ที่กำลังจะลาออกเกี่ยวกับวิธีการหลบเลี่ยงขั้นตอนการรักษาความปลอดภัยของ Apple เพื่อลดโอกาสที่การขโมยความลับทางการค้าที่ถูกกล่าวหาจะถูกจับได้ คำฟ้องอ้างว่า OpenAI ได้เผยแพร่เอกสารภายในของ Apple ที่มีตราประทับ "ต้องรู้" (Need to know) ให้กับพนักงานใหม่ โดยมีรายละเอียดเกี่ยวกับวิธีการหลีกเลี่ยง "การเดินออกอันน่าสะพรึงกลัว" ซึ่งจะทำให้พวกเขาออกจาก Apple ทันทีหลังจากแจ้งลาออก แทนที่จะให้พวกเขายังคงทำงานต่อไปตามปกติเป็นเวลาสองสัปดาห์ ซึ่งจะทำให้พวกเขามีเวลามากขึ้นในการเข้าถึงข้อมูลลับของ Apple

แจ้ง OpenAI "โดยเร็วที่สุด" หากถูกขอให้ลงนามในสิ่งใดเมื่อลาออกจาก Apple

นอกเหนือจากการช่วยเหลือผู้สมัครงานของ OpenAI ในการหลบเลี่ยงขั้นตอนการรักษาความปลอดภัยของ Apple แล้ว คำฟ้องยังอ้างว่าหาก Apple ขอให้พนักงานที่กำลังจะลาออกลงนามในสิ่งใดในการสัมภาษณ์ออก พวกเขาควรแจ้ง OpenAI ทันที และได้รับคำแนะนำไม่ให้ลงนาม

"อดีตพนักงาน Apple กว่าสี่ร้อยคนทำงานที่ OpenAI แล้ว"

อีกหนึ่งความประหลาดใจ: คำฟ้องเปิดเผยขอบเขตที่พนักงาน Apple ได้ลาออกจากบริษัทผู้ผลิต iPhone เพื่อไปทำงานที่ OpenAI Apple ใช้ตัวเลขนี้เพื่อสร้างภาพลักษณ์ของขนาดปัญหาที่อาจเกิดขึ้น โดยระบุว่า "ไม่น่าแปลกใจที่บุคลากรบางส่วนของ OpenAI มีความรู้เกี่ยวกับข้อมูลลับและกรรมสิทธิ์ของ Apple ซึ่งพวกเขาผูกพันที่จะต้องเก็บเป็นความลับ แต่ OpenAI ได้หันไปใช้ประโยชน์จากข้อมูลลับนี้..."

"io...เข้าถึง ใช้ประโยชน์ และใช้เทคนิคการออกแบบอุตสาหกรรมลับ กรรมวิธี และความรู้ของ Apple ที่เกี่ยวข้องกับการตกแต่งโลหะ"

io ซึ่งก่อตั้งโดยอดีตพนักงาน Apple รวมถึง Jony Ive ได้ถูก OpenAI เข้าซื้อกิจการเมื่อปีที่แล้วด้วยมูลค่า 6.5 พันล้านดอลลาร์ ขณะนี้ io เป็นจำเลยในคดีนี้ เนื่องจาก Apple กล่าวหาว่าบริษัทได้ใช้เทคนิคการออกแบบอุตสาหกรรมของตนโดยการหลอกลวงพันธมิตรของ Apple ให้เชื่อว่าตนได้รับอนุญาตจาก Apple ในการดำเนินการ "เทคนิคการตกแต่งโลหะที่เป็นความลับ" ตามคำฟ้อง Apple ยังกล่าวหาว่า OpenAI ได้เข้าหาซัพพลายเออร์โดยใช้ข้อมูลลับเกี่ยวกับ การออกแบบและส่วนประกอบที่เกี่ยวข้องกับพลังงานและแบตเตอรี่ แม้กระทั่งใช้ "ศัพท์ภายใน" เพื่อถามคำถามที่เจาะจงว่า "เฉพาะคนใน Apple เท่านั้นที่จะรู้ว่าควรถามอะไร"

"Apple ไม่มีทางเลือกอื่น"

แม้ว่าจะเป็นภาษาทางกฎหมายทั่วไป แต่ในกรณีนี้ ดูเหมือนว่า Apple อาจพยายามแก้ไขสถานการณ์นอกศาลก่อน โดยยักษ์ใหญ่ด้านเทคโนโลยีกล่าวว่าได้พยายามติดต่อ OpenAI เป็นครั้งแรกในเดือนกุมภาพันธ์ เพื่อแจ้งข้อกังวลของตน แต่ OpenAI ไม่เคยตอบกลับ

จนถึงขณะนี้ OpenAI ได้แสดงความคิดเห็นต่อสาธารณะผ่านแถลงการณ์ที่แชร์บน X เมื่อวันศุกร์ ซึ่งระบุว่า "เราไม่สนใจความลับทางการค้าของบริษัทอื่น เรายังคงมุ่งเน้นไปที่การสร้างเทคโนโลยีที่เป็นนวัตกรรมใหม่ที่เสริมสร้างศักยภาพให้กับผู้คนทั่วโลก"

#Apple #OpenAI #ความลับทางการค้า #กฎหมาย

ขอบคุณ แหล่งข้อมูล
https://techcrunch.com/2026/07/13/the-wildest-allegations-in-apples-trade-secrets-lawsuit-against-openai/

การคาดการณ์เหตุการณ์สุดขั้ว: พลิกโฉมวงการด้วยโมเดลสร้างสรรค์แบบมีไกด์

ในโลกของวิทยาศาสตร์ วิศวกรรม และการเงิน ความเสี่ยงที่สำคัญที่สุดมักมาจากเหตุการณ์ที่มีโอกาสเกิดขึ้นน้อยแต่ส่งผลกระทบรุนแรง การประเมินความน่าจะเป็นของเหตุการณ์เหล่านี้ด้วยวิธี Monte Carlo แบบดั้งเดิม อาจต้องใช้การจำลองจำนวนมหาศาล โดยเฉพาะอย่างยิ่งเมื่อแต่ละตัวอย่างมาจากแบบจำลองทางฟิสิกส์ที่มีค่าใช้จ่ายสูง

แต่จะเกิดอะไรขึ้นหากเราสามารถ "นำทาง" โมเดลให้เข้าใกล้เหตุการณ์ที่เกิดขึ้นยากเหล่านี้ได้โดยตรง? และที่สำคัญกว่านั้น เราจะมั่นใจได้อย่างไรว่าการนำทางนั้นจะไม่บิดเบือนความน่าจะเป็นที่แท้จริง? ปัญหาท้าทายนี้กำลังได้รับการแก้ไขด้วยเทคนิคใหม่ที่เรียกว่า Guided Generative Models ซึ่งเปิดประตูสู่การวิเคราะห์ความเสี่ยงที่ไม่เคยมีมาก่อน

ทำความเข้าใจ "Guided Diffusion" และความท้าทาย

Guided diffusion models เป็นเทคโนโลยี AI ที่สามารถสร้างข้อมูลใหม่ที่มีความสมจริง โดยเฉพาะอย่างยิ่งในบริบทของสภาพอากาศ สามารถใช้เพื่อสร้างสภาวะอากาศที่สมจริงได้ แต่เมื่อเรา "นำทาง" โมเดลให้สร้างเหตุการณ์ที่เกิดขึ้นได้ยาก เช่น พายุหมุนเขตร้อนที่พัดขึ้นฝั่ง ก็จะเกิดความท้าทายขึ้น: โมเดลจะให้ความสำคัญกับเหตุการณ์ที่เกิดขึ้นยากเหล่านั้นมากเกินไป ทำให้การประเมินความน่าจะเป็นที่แท้จริงภายใต้สภาวะอากาศปกติทำได้ยาก

นวัตกรรม: การคำนวณ Odds Ratio เพื่อความแม่นยำ

เพื่อแก้ปัญหานี้ นักวิจัยได้พัฒนาแนวทางใหม่ โดยใช้ Odds Ratio เข้ามาช่วยในการคำนวณความน่าจะเป็นของเหตุการณ์สุดขั้วจากโมเดลสร้างสรรค์แบบมีไกด์

หลักการทำงานเบื้องต้น 💡

1. การสร้างตัวอย่างแบบมีไกด์ (Guided Sampling): โมเดล AI (เช่น NVIDIA cBottle) จะถูก "นำทาง" ให้สร้างสภาวะอากาศที่เข้าใกล้เหตุการณ์ที่สนใจ เช่น สภาวะที่เอื้อต่อการเกิดพายุหมุนเขตร้อนในบริเวณที่กำหนด
2. การคำนวณ Odds Ratio: โมเดลจะเปรียบเทียบความน่าจะเป็นของสภาวะอากาศที่สร้างขึ้นภายใต้การนำทาง (Guided Probability) กับความน่าจะเป็นภายใต้การทำงานปกติของโมเดล (Unguided Probability)

• Log-Odds Ratio (\(\log o(x)\)) คำนวณจาก \(\log p{\text{unguided}}(x) – \log p{\text{guided}}(x)\)
• Odds Ratio (\(o(x)\)) คำนวณจาก \(\frac{p{\text{unguided}}(x)}{p{\text{guided}}(x)} = \exp(\log o(x))\)

1. การปรับน้ำหนักตัวอย่าง (Importance Sampling): ค่า Odds Ratio ที่ได้จะถูกนำมาใช้เป็น "น้ำหนัก" เพื่อปรับแก้ความน่าจะเป็นของตัวอย่างที่สร้างขึ้นแบบมีไกด์ ทำให้เราสามารถประเมินความน่าจะเป็นของเหตุการณ์หายากภายใต้การกระจายตัวของสภาพอากาศเดิมได้อย่างแม่นยำ

สูตรสำคัญสำหรับการประเมินความน่าจะเป็น (Importance Sampling)

\(P{IS}(\text{TC}) \approx \frac{1}{K} \sum{i=1}^{K} I{\text{TC}}(xi) o(xi), \quad \text{where } xi \sim p_{\text{guided}}\)

สูตรนี้หมายความว่า เราสามารถสุ่มตัวอย่างจำนวนมากใน "บริเวณ" ของเหตุการณ์หายาก (โดยใช้การนำทาง) แล้วนำมาถ่วงน้ำหนักด้วย Odds Ratio เพื่อประมาณ

ขอบคุณ แหล่งข้อมูล
https://developer.nvidia.com/blog/extreme-event-likelihoods-with-guided-generative-models/

Apple Speech API แม่นยำกว่า Whisper แล้วจริงหรือ? ผล Benchmark ฉบับแรกที่นักพัฒนาควรรู้

การแปลงเสียงพูดเป็นข้อความ (Speech-to-Text) เป็นเทคโนโลยีที่พัฒนาไปอย่างรวดเร็ว โดยเฉพาะอย่างยิ่งเมื่อ Apple ได้เปิดตัว API ใหม่สำหรับ SpeechAnalyzer และ SpeechTranscriber ใน iOS 17 และ macOS 14 ทำให้เกิดคำถามว่าเทคโนโลยีนี้จะแม่นยำแค่ไหนเมื่อเทียบกับโมเดลยอดนิยมอย่าง Whisper จาก OpenAI

สำหรับนักพัฒนาที่ต้องตัดสินใจว่าจะย้ายไปใช้ API ใหม่ของ Apple หรือยังคงใช้ Whisper อยู่ รวมถึงผู้ที่ต้องการเปรียบเทียบประสิทธิภาพของฟีเจอร์แปลงเสียงพูดในตัวของ Apple กับ Whisper บทความนี้จะนำเสนอผลการทดสอบ benchmark ที่ไม่เคยมีใครเปิดเผยมาก่อน

การทดสอบ Benchmark: SpeechAnalyzer vs Whisper vs SFSpeechRecognizer

ทีมงาน Inscribe ได้ทำการทดสอบเปรียบเทียบประสิทธิภาพของ SpeechAnalyzer (API ใหม่ของ Apple) กับ SFSpeechRecognizer (API เดิมของ Apple) และโมเดล Whisper ในขนาดต่างๆ (Whisper Small, Tiny) โดยใช้ชุดข้อมูล LibriSpeech จำนวน 5,559 วลี ซึ่งแบ่งเป็น:

• LibriSpeech test-clean: ชุดข้อมูลเสียงอ่านที่ชัดเจน จำนวน 2,620 วลี
• LibriSpeech test-other: ชุดข้อมูลเสียงที่ยากขึ้นและมีเสียงรบกวน จำนวน 2,939 วลี

การทดสอบนี้ดำเนินการบนฮาร์ดแวร์ Apple M2 Pro (32GB, macOS 14.5.1) โดยทุกเอนจินทำงานแบบ On-device อย่าง

ขอบคุณ แหล่งข้อมูล
https://get-inscribe.com/blog/apple-speech-api-benchmark.html

เริ่มต้นเรียนรู้ AI กับ OpenAI: คู่มือฉบับเข้าใจง่าย

การเริ่มต้นทำความเข้าใจโลกของปัญญาประดิษฐ์ (AI) อาจดูซับซ้อน แต่ด้วยแหล่งข้อมูลที่เหมาะสม คุณก็สามารถก้าวเข้าสู่โลกแห่งเทคโนโลยีอันน่าทึ่งนี้ได้อย่างมั่นใจ บทความนี้จะพาคุณไปสำรวจจุดเริ่มต้นของการเรียนรู้ AI กับ OpenAI แหล่งรวมความรู้และเครื่องมือที่จะช่วยให้คุณเข้าใจและนำ AI ไปใช้ประโยชน์ได้อย่างมีประสิทธิภาพ

ทำไม AI ถึงน่าสนใจและมีความสำคัญ

AI กำลังเข้ามามีบทบาทสำคัญในทุกอุตสาหกรรม ตั้งแต่การแพทย์ การเงิน การขนส่ง ไปจนถึงความบันเทิง การเข้าใจหลักการทำงานพื้นฐานของ AI จะช่วยให้คุณไม่ตกเทรนด์ และสามารถปรับตัวให้เข้ากับการเปลี่ยนแปลงของโลกเทคโนโลยีได้อย่างทันท่วงที OpenAI เป็นองค์กรชั้นนำที่ผลักดันการพัฒนา AI และได้สร้างสรรค์เครื่องมือที่ทรงพลังมากมาย ซึ่งเปิดโอกาสให้ทุกคนได้เข้ามาเรียนรู้และทดลองใช้งาน

สิ่งที่ควรรู้ก่อนเริ่มต้นเรียนรู้ AI

ก่อนที่จะดำดิ่งสู่รายละเอียดทางเทคนิค มีแนวคิดพื้นฐานบางอย่างที่คุณควรรู้ เพื่อให้การเรียนรู้เป็นไปอย่างราบรื่น:

• AI คืออะไร: ปัญญาประดิษฐ์คือการสร้างระบบที่สามารถทำงานได้อย่างชาญฉลาด เลียนแบบความสามารถของมนุษย์ เช่น การเรียนรู้ การแก้ปัญหา การตัดสินใจ
• Machine Learning (ML): คือสาขาย่อยของ AI ที่เน้นการสร้างระบบที่สามารถเรียนรู้จากข้อมูลโดยไม่ต้องถูกโปรแกรมอย่างชัดแจ้ง
• Deep Learning (DL): คือสาขาย่อยของ ML ที่ใช้โครงข่ายประสาทเทียม (Neural Networks) ที่มีหลายชั้น เพื่อเรียนรู้รูปแบบที่ซับซ้อนจากข้อมูลจำนวนมาก

แหล่งข้อมูลและเครื่องมือจาก OpenAI

OpenAI มีทรัพยากรมากมายที่ออกแบบมาเพื่อช่วยให้ผู้เริ่มต้นสามารถเรียนรู้และลงมือทำได้จริง:

• OpenAI Academy: เป็นแหล่งรวมบทความ คู่มือ และวิดีโอสอน ที่ครอบคลุมตั้งแต่พื้นฐานไปจนถึงหัวข้อขั้นสูง ช่วยให้คุณเข้าใจแนวคิดและวิธีการนำ AI ไปใช้งาน
• API ของ OpenAI: เป็นเครื่องมือที่ช่วยให้นักพัฒนาสามารถนำโมเดล AI อันทรงพลังของ OpenAI ไปผนวกเข้ากับแอปพลิเคชันหรือบริการของตนเองได้ เช่น การสร้างข้อความ การแปลภาษา การสร้างรูปภาพ
• เอกสารประกอบ (Documentation): เป็นแหล่งข้อมูลสำคัญที่ให้รายละเอียดเกี่ยวกับ API, โมเดลต่างๆ, และวิธีการใช้งานอย่างละเอียด

ขั้นตอนง่ายๆ ในการเริ่มต้น

1. ทำความเข้าใจพื้นฐาน: เริ่มต้นจากการอ่านบทความหรือดูวิดีโอเกี่ยวกับแนวคิดพื้นฐานของ AI และ Machine Learning จาก OpenAI Academy
2. สำรวจ API: ทดลองเข้าไปดูตัวอย่างการใช้งาน API ของ OpenAI เพื่อทำความเข้าใจว่า AI สามารถทำอะไรได้บ้าง
3. ลงมือทดลอง: หากคุณมีความรู้ด้านการเขียนโปรแกรม ลองสมัครใช้งาน API และเขียนโค้ดง่ายๆ เพื่อทดลองเรียกใช้โมเดล AI
4. เรียนรู้เพิ่มเติม: เมื่อเริ่มคุ้นเคยแล้ว ค่อยๆ เจาะลึกในหัวข้อที่คุณสนใจ เช่น การสร้างโมเดลเฉพาะทาง หรือการนำ AI ไปประยุกต์ใช้ในงานของคุณ

ข้อแนะนำเพิ่มเติม

• อย่ากลัวที่จะถาม: ชุมชนนักพัฒนา AI มีขนาดใหญ่และพร้อมให้ความช่วยเหลือ หากติดขัดตรงไหน ลองค้นหาคำตอบในฟอรัม หรือกลุ่มออนไลน์ต่างๆ
• เริ่มต้นจากสิ่งเล็กๆ: ไม่จำเป็นต้องเข้าใจทุกอย่างในทันที ค่อยๆ เรียนรู้ไปทีละส่วน และเน้นการลงมือทดลองทำจริง
• ติดตามข่าวสาร: โลกของ AI เปลี่ยนแปลงเร็วมาก การติดตามข่าวสารและการอัปเดตใหม่ๆ จะช่วยให้คุณไม่พลาดเทคโนโลยีล่าสุด

การเริ่มต้นเรียนรู้ AI กับ OpenAI ไม่ใช่เรื่องยากอย่างที่คิด เพียงแค่มีความตั้งใจและใช้แหล่งข้อมูลที่มีอยู่ให้เป็นประโยชน์ คุณก็สามารถเป็นส่วนหนึ่งในการขับเคลื่อนอนาคตด้วยปัญญาประดิษฐ์ได้แล้ว

#AI #OpenAI #MachineLearning #DeepLearning #เทคโนโลยี

ขอบคุณ แหล่งข้อมูล
https://openai.com/academy/getting-started

เร่งสปีด Fine-Tuning โมเดล MoE ด้วย NVIDIA NeMo AutoModel: ประสิทธิภาพที่เหนือกว่าด้วย API เดิม

การพัฒนาโมเดล AI เชิงสร้างสรรค์ (Generative AI) กำลังก้าวไปข้างหน้าอย่างรวดเร็ว โดยเฉพาะอย่างยิ่งโมเดลประเภท Mixture-of-Experts (MoE) ที่ได้รับความนิยมเพิ่มขึ้นอย่างต่อเนื่อง เนื่องจากความสามารถในการจัดการกับโมเดลขนาดใหญ่และมีความซับซ้อนได้ดี อย่างไรก็ตาม การฝึกฝน (Training) และปรับแต่ง (Fine-Tuning) โมเดล MoE เหล่านี้มักมาพร้อมกับความท้าทายด้านประสิทธิภาพและทรัพยากร GPU ที่ต้องใช้ในปริมาณมาก

NVIDIA ได้เปิดตัว NVIDIA NeMo AutoModel ซึ่งเป็นไลบรารีแบบ Open-source ที่เป็นส่วนหนึ่งของเฟรมเวิร์ก NVIDIA NeMo ออกมาเพื่อตอบโจทย์ความท้าทายนี้ NeMo AutoModel ถูกพัฒนาต่อยอดมาจาก Transformers v5 โดยผนวกเอาเทคโนโลยี Expert Parallelism, DeepEP fused all-to-all dispatch และ TransformerEngine kernels เข้ามาเสริมประสิทธิภาพ พร้อมทั้งใช้ประโยชน์จากการโหลดน้ำหนักโมเดลแบบไดนามิก (dynamic weight loading) ของ v5 เพื่อยกระดับความเร็วในการ Fine-Tuning โมเดล MoE ได้อย่างมหาศาล

บทความนี้จะพาไปเจาะลึกว่า NeMo AutoModel ทำงานอย่างไร และผู้ใช้งานจะสามารถ Fine-Tuning โมเดล MoE ได้เร็วขึ้นได้อย่างไร โดยไม่ต้องเปลี่ยนแปลงโค้ดเดิม

ความท้าทายในการฝึกฝนโมเดล MoE

โมเดล MoE มีโครงสร้างที่ซับซ้อนกว่าโมเดลทั่วไป การจัดการกับ "ผู้เชี่ยวชาญ" (experts) ที่มีจำนวนนับร้อย การรวมการคำนวณ (fused matmuls) ของผู้เชี่ยวชาญให้เป็น kernel เดียวกัน การกระจายน้ำหนักโมเดล (sharding weights) ไปยัง GPU ต่างๆ และการทำงานแบบเหลื่อมเวลา (overlapping communication with computation) ล้วนเป็นสิ่งที่ต้องอาศัยโครงสร้างพื้นฐานที่เหนือกว่าไลบรารีทั่วไป

Transformers v5 ได้เข้ามาแก้ปัญหาเหล่านี้ด้วยการรองรับ MoE แบบเต็มรูปแบบ เช่น การมี expert backends, dynamic weight loading และ tensor parallel plans สำหรับการประมวลผลแบบกระจาย (distributed execution) รวมถึงการผสานรวม PyTorch's DeviceMesh เข้ากับ from_pretrained() เพื่อให้การฝึกฝนแบบกระจายทำได้สะดวกยิ่งขึ้น

NeMo AutoModel: API เดิม ประสิทธิภาพที่ก้าวกระโดด

NeMo AutoModel สร้างขึ้นบนพื้นฐานของ v5 โดยการสืบทอด (subclassing) AutoModelForCausalLM และเพิ่ม Expert Parallelism (EP), DeepEP fused all-to-all dispatch และ TransformerEngine kernels เข้ามา DeepEP เป็นฟีเจอร์สำคัญที่ v5 ยังไม่มี ซึ่งช่วยให้การสื่อสาร (communication) ทำงานเหลื่อมล้ำกับการคำนวณของผู้เชี่ยวชาญ (expert compute) ได้ นอกจากนี้ NeMo AutoModel ยังใช้ประโยชน์จากการแปลงน้ำหนักโมเดลแบบย้อนกลับได้ (reversible weight conversion) ของ v5 ในการโหลดโมเดลแต่ละตัว ทำให้สามารถมุ่งเน้นการพัฒนาในส่วนของ core operations ที่นำกลับมาใช้ใหม่ได้ โดยที่ save_pretrained() ยังคงสร้าง checkpoint ในรูปแบบมาตรฐานของ HuggingFace ทำให้เครื่องมืออื่นๆ เช่น vLLM และ SGLang สามารถโหลดไปใช้งานได้

API ที่คุ้นเคย ใช้งานง่าย 🚀

หนึ่งในเป้าหมายหลักของ NeMo AutoModel คือการรักษาความเข้ากันได้กับ API ของ HuggingFace Transformers เพื่อส่งเสริมการใช้งานในชุมชน open-source โดย NeMoAutoModelForCausalLM สืบทอดมาจาก AutoModelForCausalLM ทำให้โค้ดใดๆ ที่ทำงานกับโมเดลของ HF สามารถทำงานกับ AutoModel ได้เช่นกัน

การโหลดโมเดลด้วย NeMo AutoModel นั้นง่ายดาย เพียงแค่เปลี่ยนบรรทัด import เพียงบรรทัดเดียว ก็สามารถใช้งานได้ทันที!

# เดิม (HuggingFace Transformers)

from transformers import AutoModelForCausalLM



# ใหม่ (NVIDIA NeMo AutoModel)

from nemo.llm.transformers.auto_model import AutoModelForCausalLM

การเปลี่ยนแปลงเพียงเล็กน้อยนี้ ได้นำมาซึ่งการปรับปรุงประสิทธิภาพอย่างมหาศาล สำหรับสถาปัตยกรรม MoE ยอดนิยม เช่น Qwen3, NVIDIA Nemotron, GPT-OSS และ DeepSeek V3, NeMo AutoModel ได้เตรียม implementation ที่ปรับแต่งมาเป็นพิเศษพร้อมด้วย TransformerEngine attention, fused linear layers และ custom expert kernels หาก

ขอบคุณ แหล่งข้อมูล
https://huggingface.co/blog/nvidia/accelerating-fine-tuning-nvidia-nemo-automodel

OpenAI ปิด Atlas: อนาคตของ AI กับการท่องเว็บที่เปลี่ยนไป

OpenAI ประกาศปิดตัว Atlas เบราว์เซอร์ที่ขับเคลื่อนด้วย AI ซึ่งเปิดตัวไปเมื่อเดือนตุลาคมปีที่แล้ว โดยมี ChatGPT เป็นหัวใจหลัก แต่ดูเหมือนว่า OpenAI จะยังไม่ละทิ้งแนวคิดที่ว่า AI ควรเข้ามาช่วยให้การท่องอินเทอร์เน็ตของผู้คนง่ายขึ้นกว่าเดิม แทนที่จะปิดฉาก Atlas ไปเลย OpenAI เลือกที่จะนำฟีเจอร์บางส่วนที่ทดสอบใน Atlas มาปรับใช้กับแอปพลินด์เดสก์ท็อป ChatGPT และส่วนขยายบน Google Chrome แทน

การตัดสินใจปิด Atlas เกิดขึ้นไม่กี่เดือนหลังจากที่ Fidji Simo อดีต CEO ฝ่ายแอปพลิเคชันของ OpenAI ได้สั่งให้ทีมงานลดการทำงานที่เรียกว่า "Side Quests" หรือโครงการเสริม ซึ่งก่อนหน้านี้ก็ส่งผลให้ OpenAI ต้องปิดเครื่องมือสร้างวิดีโอด้วย AI อย่าง Sora ไปด้วย

ในช่วงปีที่ผ่านมา อุตสาหกรรม AI ได้แข่งขันกันอย่างดุเดือดเพื่อชิงพื้นที่การใช้งานบนอินเทอร์เน็ต โดยมีเป้าหมายเพื่อเข้ามาแทนที่ Chrome ในฐานะแพลตฟอร์มหลักที่ผู้คนใช้เวลาออนไลน์มากที่สุด Perplexity ได้เปิดตัว Comet, The Browser Company เปิดตัว Dia รวมถึง Google และ Microsoft ที่ได้อัปเดต Chrome และ Edge ให้มีฟีเจอร์ที่ขับเคลื่อนด้วย AI มากขึ้น

Atlas สู่ส่วนเสริม ChatGPT: เมื่อเบราว์เซอร์กลายเป็นฟีเจอร์

หลังจากการทดลองอยู่หลายเดือน OpenAI ได้ข้อสรุปว่า เบราว์เซอร์นั้นเป็นเพียง "ฟีเจอร์" หนึ่ง ไม่ใช่ "ปลายทาง" ของการใช้งาน ดังนั้น แทนที่จะพัฒนาเบราว์เซอร์แยกออกมา OpenAI จึงตัดสินใจผนวกรวมความสามารถของ Agentic Browsing ที่เคยทดสอบใน Atlas เข้าไปในแพลตฟอร์มที่ผู้คนใช้งานอยู่แล้ว ซึ่งรวมถึง Chrome ด้วย

ส่วนขยาย ChatGPT บน Chrome: ผู้ช่วยท่องเว็บอัจฉริยะ

OpenAI กำลังเปิดตัวส่วนขยาย ChatGPT บน Chrome ที่จะช่วยให้ AI สามารถเข้าถึงบริบทของหน้าเว็บที่คุณกำลังดูอยู่ ทำให้ผู้ใช้สามารถตั้งคำถามเกี่ยวกับหน้าเว็บ สรุปเนื้อหา หรือเริ่มต้นงานที่ซับซ้อนขึ้นได้โดยตรงจากเบราว์เซอร์ นี่ถือเป็นการแข่งขันโดยตรงกับ Gemini Side Panel ของ Google ที่มีความสามารถคล้ายคลึงกัน

แอปเดสก์ท็อป ChatGPT: ประสบการณ์การทำงานที่ไร้รอยต่อ

นอกจากนี้ OpenAI ยังได้ปรับปรุงแอปเดสก์ท็อป ChatGPT ให้มีความสามารถมากขึ้น โดยมีเบราว์เซอร์ที่ทำงานได้เต็มรูปแบบ ช่วยให้ผู้ใช้สามารถเข้าชมเว็บไซต์ ล็อกอินเข้าบัญชี ดาวน์โหลดไฟล์ และโต้ตอบกับหน้าเว็บต่างๆ ได้โดยไม่ต้องออกจากแอป ChatGPT เลย นอกจากนี้ยังมีเบราว์เซอร์แบบคลาวด์ที่ทำงานอยู่บนเซิร์ฟเวอร์ของ OpenAI เพื่อให้ Agent สามารถทำงานต่างๆ แทนผู้ใช้ได้

เมื่อรวมการอัปเดตเหล่านี้เข้าด้วยกัน ChatGPT จะกลายเป็นพื้นที่ทำงานแบบต่อเนื่องที่เชื่อมต่อระหว่าง Chrome, แอปเดสก์ท็อป และ AI Agent ซึ่งเป็นการยกระดับประสบการณ์การใช้งาน AI ไปอีกขั้น

อนาคตของ AI กับการท่องเว็บ

การเปลี่ยนแปลงนี้สะท้อนให้เห็นถึงแนวโน้มที่บริษัทเทคโนโลยีต่างๆ กำลังมองหาหนทางที่จะผสานรวม AI เข้ากับเครื่องมือที่ผู้คนใช้งานในชีวิตประจำวัน แทนที่จะสร้างผลิตภัณฑ์ใหม่ที่ต้องใช้เวลาในการเรียนรู้และปรับตัว การนำ AI มาเสริมประสิทธิภาพให้กับแพลตฟอร์มที่มีอยู่แล้วอย่าง Chrome หรือแอปเดสก์ท็อป จึงเป็นกลยุทธ์ที่น่าสนใจและมีโอกาสประสบความสำเร็จมากกว่า

แม้ Atlas จะปิดตัวลง แต่ความทะเยอทะยานของ OpenAI ในการใช้ AI เพื่อพัฒนาประสบการณ์การท่องเว็บของทุกคนยังคงเดินหน้าต่อไป โดยมุ่งเน้นไปที่การสร้างเครื่องมือที่ชาญฉลาดและใช้งานง่าย ซึ่งจะเข้ามาเป็นส่วนหนึ่งที่ขาดไม่ได้ในชีวิตดิจิทัลของเรา

#OpenAI #AI #ChatGPT #Atlas #TechCrunch

ขอบคุณ แหล่งข้อมูล
https://techcrunch.com/2026/07/09/openai-is-shutting-down-atlas-but-its-ai-browser-ambitions-are-still-growing/

ความปลอดภัย AI ที่ฝังในฮาร์ดแวร์: NVIDIA Confidential Computing เร่งสปีดการทำงานโดยไม่ลดทอนประสิทธิภาพ

ปัญญาประดิษฐ์ (AI) ได้เข้ามาเปลี่ยนโฉมการดำเนินงานขององค์กร นำมาซึ่งระดับผลผลิตและนวัตกรรมที่ไม่เคยมีมาก่อน อย่างไรก็ตาม การนำ AI มาปรับใช้ก็อาจถูกจำกัดด้วยข้อกังวลด้านความเป็นส่วนตัวของข้อมูล อธิปไตยของข้อมูล และวิธีการรักษาความปลอดภัยข้อมูลขณะใช้งาน หรือระหว่างการอนุมาน (inference) และการโต้ตอบกับโมเดล AI NVIDIA Confidential Computing (CC) ถูกออกแบบมาเพื่อเป็นโซลูชันที่ปลอดภัยและมีประสิทธิภาพสำหรับยุคของ Agentic AI เพื่อขยายขนาดโมเดลใดๆ ได้อย่างปลอดภัย

NVIDIA Confidential Computing (CC) ผสานรวมความปลอดภัยระดับฮาร์ดแวร์เข้ากับ GPU Blackwell โดยใช้คุณสมบัติต่างๆ เช่น private signing keys ที่ถูกหลอมรวม (fused) การเข้ารหัส NVLink และการรับรองความถูกต้องจากระยะไกลผ่าน NVIDIA Remote Attestation Service (NRAS) เพื่อให้มั่นใจในความสมบูรณ์ของข้อมูล โค้ด และโมเดลระหว่างการอนุมาน

จากการทดสอบประสิทธิภาพบน HGX B300 ด้วยโมเดล Qwen 3.5-397B-A17B-FP8 พบว่าการเปิดใช้งาน CC ทำให้เกิดค่าใช้จ่ายด้านปริมาณงาน (throughput) และความหน่วงต่อโทเค็น (per-token latency) เพียงเล็กน้อย (โดยทั่วไปต่ำกว่า 8%) ในสภาวะการทำงานที่หลากหลาย ทั้งความพร้อมกัน (concurrency) ขนาดของชุดข้อมูล (batch sizes) และความยาวของโทเค็น โดยยังคงรักษาประสิทธิภาพการอนุมานเกือบเท่าเดิม

การปรับปรุงประสิทธิภาพต่างๆ เช่น CC-safe autotuning ใน FlashInfer, async D2H copy worker และการรองรับ CUDA graph แบบแบ่งส่วน (piecewise) ใน SGLang ช่วยลดผลกระทบจากการส่งงานที่ปลอดภัยและข้อจำกัดของแบนด์วิดท์ที่เข้ารหัส ทำให้การอนุมาน AI ที่ปลอดภัยและมีประสิทธิภาพสูง เหมาะสำหรับการใช้งานในระดับการผลิตและสอดคล้องกับกฎระเบียบ

การปกป้องข้อมูล โค้ด และโมเดล AI 🛡️

CC นำเสนอชั้นความปลอดภัยที่ครอบคลุมตั้งแต่ซิลิคอน การเชื่อมต่อ ไปจนถึงซอฟต์แวร์ระบบ โดยมีกลไกการทำงานดังนี้:

รากฐานความเชื่อถือระดับฮาร์ดแวร์ (Hardware Root of Trust)

GPU NVIDIA Blackwell รวมถึง RTX PRO 6000, HGX B200 และ HGX B300 ได้รับการออกแบบให้มี CC ฝังอยู่ในฮาร์ดแวร์ GPU HGX B200 และ HGX B300 รองรับ confidential computing สำหรับหลาย GPU (สูงสุด 8 ตัว) พร้อมการเข้ารหัส NVIDIA NVLink ในระดับซิลิคอน GPU จะเก็บ private signing key ที่ถูกหลอมรวมไว้ตั้งแต่การผลิตและไม่เคยเปิดเผยต่อซอฟต์แวร์ เฟิร์มแวร์ หรือระบบโฮสต์ คีย์นี้เป็นรากฐานของห่วงโซ่การรับรองความถูกต้อง

การรับรองความถูกต้อง (Attestation): ตรวจสอบก่อนดำเนินการ

ก่อนที่เวิร์กโหลดที่เป็นความลับจะได้รับข้อมูลลับใดๆ จะต้องผ่านกระบวนการรับรองความถูกต้องจากระยะไกล NVIDIA Remote Attestation Service (NRAS) จะตรวจสอบชุดหลักฐานที่ลงนาม (signed evidence bundle) ซึ่งประกอบด้วยรายงานฮาร์ดแวร์ของ GPU ร่วมกับการวัดค่าของ Trusted Execution Environment (TEE) ของ CPU (เช่น AMD SEV-SNP หรือ Intel TDX) เทียบกับ Reference Integrity Manifest (RIM) ที่ทราบว่าถูกต้อง

เมื่อ Confidential VM (CVM) อยู่ในสถานะที่ได้รับการยืนยันและไม่ถูกดัดแปลงแล้ว ข้อมูลลับ เช่น คีย์ถอดรหัสโมเดล จะสามารถถูกนำเข้าไปยัง CVM ได้ การจับมือเพื่อรับรองความถูกต้อง (attestation handshake) โดยทั่วไปจะเป็นเหตุการณ์เริ่มต้นเพียงครั้งเดียว เมื่อเวิร์กโหลดเริ่มทำงาน การรับรองความถูกต้องจะไม่เพิ่มความหน่วงให้กับคำขออนุมานแต่ละรายการ

การเพิ่มประสิทธิภาพการอนุมาน AI ใน Confidential Computing 🚀

การเปลี่ยนแปลงที่เกิดขึ้นกับการอนุมาน AI บน GPU Blackwell ที่เกี่ยวข้องกับ CC อาจมาจากสองส่วนหลัก:

1. ความหน่วงในการส่งงานที่ปลอดภัย (Secure Work Submission Latency): สำหรับการอนุมาน ความหน่วงนี้มักเป็นปัจจัยที่ใหญ่กว่า เนื่องจากมีค่าใช้จ่ายเพิ่มเติมจากการเข้ารหัสและการเปิดใช้งานเคอร์เนล (kernel launches) หน่วยงานของงานที่มีขนาดเล็กจะได้รับผลกระทบมากกว่า การเพิ่มปริมาณงานที่ประมวลผลต่อการเปิดใช้งานเวิร์ก GPU หนึ่งครั้งช่วยลดผลกระทบจากค่าใช้จ่ายในการเปิดใช้งานที่ปลอดภัย
2. แบนด์วิดท์จากโฮสต์ไปยังอุปกรณ์ (Host-to-Device Bandwidth) ที่ลดลง: หากเวิร์กโหลดต้องพึ่งพาการถ่ายโอนข้อมูลอินพุตไปยัง GPU เป็นอย่างมาก ประสิทธิภาพจะขึ้นอยู่กับว่าแบนด์วิดท์ที่จำเป็นในการทำให้ GPU ทำงานเต็มที่นั้นเกินกว่าแบนด์วิดท์การถ่ายโอนที่เข้ารหัสที่มีในโหมด CC หรือไม่

นวัตกรรมหลายอย่างช่วยเพิ่มประสิทธิภาพการอนุมานด้วย CC ดังนี้:

• CC-safe autotuner timing: FlashInfer ใช้ GPU global timer register แทน event timers ในโหมด CC ทำให้ autotuner สามารถเปรียบเทียบ candidate kernels ได้อย่างแม่นยำ และเลือกการใช้งานที่เร็วที่สุดสำหรับแต่ละ shape
• Async D2H copy worker: SGLang ย้ายการอ่านข้อมูลโทเค็นต่อขั้นตอนออกจาก critical path ของ scheduler ซึ่งช่วยคืนค่าการทำงานเหลื่อมระหว่างการประมวลผลและการคัดลอก (compute/copy overlap) เนื่องจาก CC อาจทำให้การคัดลอกข้อมูลจากโฮสต์ไปยังอุปกรณ์และจากอุปกรณ์ไปยังโฮสต์หลายครั้งมีลักษณะเป็นการซิงโครนัส (synchronous) ในระหว่าง cudaMemcpyAsync
• Piecewise CUDA graph support: SGLang เพิ่มการเล่นซ้ำ CUDA graph สำหรับ prefill และ mixed batches ซึ่งช่วยลดค่าใช้จ่ายในการเปิดใช้งานเคอร์เนลที่เพิ่มขึ้นในโหมด CC

NVIDIA ยังคงทำงานร่วมกับชุมชน upstream สำหรับ inference frameworks เพื่อให้มั่นใจว่าเฟรมเวิร์กเหล่านี้ได้รับการปรับปรุงประสิทธิภาพให้ดีที่สุด

ผลการทดสอบประสิทธิภาพ 📊

เราได้วัดประสิทธิภาพการอนุมานของ CC ในหลากหลายเมตริกสำคัญ โดยการทดสอบบน HGX B300 กับโมเดล Qwen 3.5 397B-A17B-FP8 ในสภาพแวดล้อม Virtual Machine ที่มีการส่งผ่าน GPU (GPU passthrough) และเปิดใช้งาน CC พบว่ามีค่าใช้จ่ายด้านปริมาณงานและเวลาต่อโทเค็นที่สร้างขึ้นเพียงเล็กน้อยในการอนุมานแบบ steady-state

ตารางสรุปประสิทธิภาพโดยเปรียบเทียบของ Confidential Computing

| ตัวชี้วัด | CC ปิด (Baseline) | CC เปิด (Experiment) | ความแตกต่าง (%) |
| :---------------------------------------------- | :---------------- | :------------------ | :-------------- |
| Output Throughput per GPU (tokens/sec/gpu) | 100% | ~92-98% | < 8% |
| Median Time to First Token (TTFT) (ms) | 100% | ~102-108% | < 8% |
| Median Time Per Output Token (TPOT) (ms) | 100% | ~102-108% | < 8% |

หมายเหตุ: ประสิทธิภาพที่แสดงเป็นค่าประมาณจากผลการทดสอบจริง โดยพิจารณาจากปัจจัยต่างๆ เช่น ความยาวของอินพุต/เอาต์พุต, ขนาด Batch, และจำนวนคำขอพร้อมกัน

สรุป: ความปลอดภัยที่มาพร้อมประสิทธิภาพ 🌟

Hardware-level security ด้วย CC ปกป้องเวิร์กโหลด AI ที่ละเอียดอ่อน ในขณะเดียวกันก็รักษาประสิทธิภาพที่จำเป็นสำหรับเวิร์กโหลด AI ในระดับการผลิต CC มอบรากฐานความปลอดภัยที่แข็งแกร่งยิ่งขึ้นสำหรับเวิร์กโหลดการอนุมานในระดับการผลิต โดยมีค่าใช้จ่ายด้านประสิทธิภาพเพียงเล็กน้อย จากการประเมินของเราโดยใช้ Qwen 3.5 บน SGLang เราสังเกตเห็นสิ่งนี้ได้ในหลากหลายระดับความพร้อมกัน ความยาวของลำดับอินพุต และความยาวของลำดับเอาต์พุต พิสูจน์ให้เห็นว่าองค์กรสามารถรักษาความปลอดภัยเวิร์กโหลดและข้อมูล AI ของตนเอง และปฏิบัติตามกฎระเบียบได้ โดยไม่ลดทอนประสิทธิภาพ

หากคุณต้องการรักษาความปลอดภัยเวิร์กโหลด AI ของคุณด้วย CC บน Blackwell โปรดศึกษาเอกสารและแหล่งข้อมูลเพิ่มเติมจาก NVIDIA

• [NVIDIA Confidential Computing Documentation](ขอบคุณ แหล่งข้อมูล
  https://docs.nvidia.com/general/confidential-computing/index.html)
• [NVIDIA Blackwell Architecture Whitepaper](ขอบคุณ แหล่งข้อมูล
  https://www.nvidia.com/en-us/data-center/blackwell/)
• [NVIDIA GPU Operator and Container Toolkit](ขอบคุณ แหล่งข้อมูล
  https://docs.nvidia.com/datacenter/cloud-native/gpu-operator/overview.html)
• [NVIDIA Remote Attestation Service (NRAS)](ขอบคุณ แหล่งข้อมูล
  https://docs.nvidia.com/general/confidential-computing/nras/index.html)
• [NIST SP 800-207 Zero Trust Architecture](ขอบคุณ แหล่งข้อมูล
  https://csrc.nist.gov/publications/detail/sp/800-207/final)
• [HIPAA Security Rule (HHS)](ขอบคุณ แหล่งข้อมูล
  https://www.hhs.gov/hipaa/for-professionals/security-rule/index.html)
• [GDPR Article 32 — Security of Processing](ขอบคุณ แหล่งข้อมูล
  https://gdpr-info.eu/art-32-gdpr/)

#AI #ConfidentialComputing #NVIDIA #Cybersecurity #GPU

ขอบคุณ แหล่งข้อมูล
https://developer.nvidia.com/blog/hardware-rooted-ai-security-that-wont-slow-you-down/

Zig vs. Rust: เมื่อผู้สร้าง Zig ตอบโต้ Anthropic และ Bun

วงการเทคโนโลยีโปรแกรมมิ่งกำลังร้อนระอุ เมื่อผู้สร้างภาษาโปรแกรมมิ่งอย่าง Zig ได้ออกมาแสดงความคิดเห็นอย่างตรงไปตรงมาเกี่ยวกับกรณีที่ Bun ซึ่งเป็น Runtime ที่เขียนด้วย Zig ได้ตัดสินใจย้ายไปใช้ Rust แทน โดยมี Anthropic บริษัท AI ที่ให้การสนับสนุน Bun อยู่เบื้องหลัง การเปลี่ยนแปลงครั้งนี้ก่อให้เกิดการถกเถียงอย่างมากในชุมชนนักพัฒนา

เบื้องหลังการเปลี่ยนแปลง: Bun ย้ายจาก Zig ไป Rust

Bun เป็น Runtime ที่ได้รับความนิยมในฐานะทางเลือกที่เร็วกว่า NodeJS ซึ่งเดิมทีถูกพัฒนาด้วยภาษา Zig ต่อมา Bun ได้รับการสนับสนุนจาก Anthropic ซึ่งเป็นบริษัทชั้นนำด้าน AI และได้มีการทดลองย้ายโค้ดเบสขนาดใหญ่จาก Zig ไปยัง Rust ที่มีความปลอดภัยสูง การทดลองนี้ได้ถูกนำไปใช้จริงและกลายเป็นเวอร์ชันทางการไปแล้ว

มุมมองของผู้สร้าง Zig: การวิพากษ์วิจารณ์อย่างตรงไปตรงมา

Andrew Kelley ผู้สร้างภาษา Zig ได้ออกมาแสดงความคิดเห็นเกี่ยวกับกรณีนี้ โดยเขาชี้ให้เห็นว่า การที่ Bun ตัดสินใจย้ายไป Rust นั้น อาจไม่ได้เป็นเพราะข้อจำกัดของ Zig แต่เป็นผลมาจากปัญหาภายในของทีม Bun เอง เช่น การบริหารจัดการโครงการที่ผิดพลาด การคาดหวังที่ไม่สมจริง และการใช้ AI ในการเขียนและตรวจสอบโค้ดมากเกินไป

Kelley มองว่า Anthropic พยายามสร้างเรื่องราวเพื่อขายวิสัยทัศน์ของ AI ที่สามารถเข้ามาแทนที่งานด้านวิศวกรรมซอฟต์แวร์ได้ทั้งหมด ซึ่งอาจเป็นการบิดเบือนความจริงเพื่อหวังผลประโยชน์ทางธุรกิจ โดยเฉพาะอย่างยิ่งเมื่อ Anthropic กำลังอยู่ในช่วงเตรียมตัวเสนอขายหุ้น IPO ที่มีมูลค่าสูง

การวิเคราะห์: ความจริงเบื้องหลังการตัดสินใจ

เมื่อพิจารณาจากข้อมูลที่มี อาจมีหลายปัจจัยที่นำไปสู่การตัดสินใจย้ายภาษาของ Bun:

• ปัญหาด้านการจัดการหน่วยความจำ (Memory Bugs): แม้ Zig จะมีความสามารถในการจัดการหน่วยความจำได้ดี แต่หากการพัฒนาไม่ได้เป็นไปตามแนวทางที่ถูกต้อง ก็อาจเกิดปัญหา Memory Bugs ขึ้นได้
• การตัดสินใจทางธุรกิจและการตลาด: การย้ายไป Rust อาจเป็นโอกาสทางการตลาดสำหรับ Anthropic เพื่อโปรโมทโมเดล AI ใหม่ของตนเอง และเนื่องจาก Anthropic เองก็ใช้งาน Rust อยู่แล้วในบางส่วน
• ความสัมพันธ์กับผลิตภัณฑ์ของ Anthropic: Zig มีจุดยืนที่ชัดเจนในการต่อต้านการใช้ผลิตภัณฑ์ AI ของ Anthropic ซึ่งอาจเป็นปัจจัยหนึ่งที่ทำให้ Bun ไม่ต้องการใช้ Zig ต่อไป

ประเด็นที่น่าสนใจ: การสื่อสารและการตัดสินใจทางเทคนิค

กรณีนี้ชี้ให้เห็นถึงความสำคัญของการสื่อสารที่โปร่งใสในการตัดสินใจทางเทคนิค โดยเฉพาะอย่างยิ่งเมื่อเกี่ยวข้องกับการเปลี่ยนภาษาโปรแกรมมิ่ง:

• แรงจูงใจ: ควรชี้แจงแรงจูงใจในการเปลี่ยนแปลงอย่างชัดเจน
• ทางเลือกที่พิจารณา: ควรแสดงให้เห็นถึงทางเลือกต่างๆ ที่ได้พิจารณา
• ข้อดีข้อเสีย: ควรเปรียบเทียบข้อดีข้อเสียของการเปลี่ยนแปลงอย่างตรงไปตรงมา

การขาดการสื่อสารในประเด็นเหล่านี้ อาจทำให้เกิดความเข้าใจผิดและสร้างความรู้สึกว่าเป็นการตัดสินใจที่มีคำตอบในใจอยู่แล้ว

บทเรียนจากกรณี Bun และ Zig

กรณีของ Bun และ Zig เป็นกรณีศึกษาที่น่าสนใจสำหรับนักพัฒนาและผู้บริหาร:

• การบริหารจัดการทีม: การสร้างสภาพแวดล้อมการทำงานที่ดีและคาดหวังความเป็นจริงเป็นสิ่งสำคัญต่อประสิทธิภาพและสุขภาพของทีม
• การใช้ AI ในการพัฒนา: แม้ AI จะมีประโยชน์ แต่การพึ่งพามากเกินไปโดยขาดการตรวจสอบอย่างรอบคอบ อาจนำไปสู่ปัญหาได้
• ความสำคัญของการสื่อสาร: การสื่อสารที่ชัดเจนและโปร่งใสเป็นหัวใจสำคัญของการตัดสินใจทางเทคนิคที่ส่งผลกระทบต่อโครงการ

แทนที่จะมองว่าภาษาโปรแกรมมิ่งใดดีกว่ากัน การทำความเข้าใจบริบท ปัญหา และวิธีการแก้ไขที่เหมาะสม อาจให้ประโยชน์มากกว่าในระยะยาว

ขอบคุณ แหล่งข้อมูล
https://raymyers.org/post/zed-creator-calls-spade-a-spade/

AI กับการเปลี่ยนแปลงตลาดงานในยุโรป: โอกาสและความท้าทายที่ต้องรู้

ปัญญาประดิษฐ์ (AI) กำลังเข้ามามีบทบาทสำคัญในการเปลี่ยนแปลงโลกการทำงานอย่างที่ไม่เคยมีมาก่อน โดยเฉพาะในภูมิภาคยุโรปที่กำลังเผชิญกับการเปลี่ยนผ่านครั้งใหญ่นี้ บทความนี้จะพาคุณไปสำรวจว่า AI ส่งผลกระทบต่อตลาดงานในยุโรปอย่างไรบ้าง ทั้งในแง่ของโอกาสใหม่ ๆ ที่เกิดขึ้นและความท้าทายที่ต้องเตรียมรับมือ

AI เปลี่ยนแปลงลักษณะงานอย่างไร?

AI ไม่ได้เข้ามาแทนที่งานทั้งหมด แต่กำลังเข้ามา เปลี่ยนแปลงลักษณะงาน ที่มนุษย์ทำอยู่เป็นส่วนใหญ่ ทำให้บางทักษะอาจมีความต้องการลดลง ในขณะที่ทักษะใหม่ ๆ กลับมีความสำคัญมากขึ้น

• การทำงานอัตโนมัติ (Automation): งานที่มีลักษณะซ้ำ ๆ เป็นประจำ หรือต้องประมวลผลข้อมูลจำนวนมาก มีแนวโน้มที่จะถูกแทนที่ด้วยระบบ AI และหุ่นยนต์ เช่น งานป้อนข้อมูล งานผลิตในโรงงานบางส่วน หรืองานบริการลูกค้าขั้นพื้นฐาน
• การเสริมประสิทธิภาพ (Augmentation): AI สามารถเป็นเครื่องมือช่วยเสริมประสิทธิภาพการทำงานของมนุษย์ ทำให้ทำงานได้เร็วขึ้น แม่นยำขึ้น และมีประสิทธิภาพมากขึ้น เช่น นักการตลาดใช้ AI วิเคราะห์ข้อมูลลูกค้า แพทย์ใช้ AI ช่วยวิเคราะห์ภาพทางการแพทย์ หรือโปรแกรมเมอร์ใช้ AI ช่วยเขียนโค้ด
• การสร้างงานใหม่ (Job Creation): การพัฒนาและดูแลระบบ AI ต้องการผู้เชี่ยวชาญในสาขาต่าง ๆ เช่น นักวิทยาศาสตร์ข้อมูล (Data Scientist) วิศวกร AI (AI Engineer) ผู้เชี่ยวชาญด้านจริยธรรม AI (AI Ethicist) และผู้ฝึกสอน AI (AI Trainer)

โอกาสใหม่ ๆ จาก AI ในตลาดยุโรป

ภูมิภาคยุโรปกำลังมองเห็นโอกาสในการนำ AI มาใช้เพื่อขับเคลื่อนเศรษฐกิจและสร้างงานใหม่ ๆ ที่มีมูลค่าสูง

• ภาคอุตสาหกรรม: AI ช่วยเพิ่มประสิทธิภาพการผลิต ลดต้นทุน และสร้างนวัตกรรมใหม่ ๆ ในภาคอุตสาหกรรม ตั้งแต่ยานยนต์ไปจนถึงพลังงานสะอาด
• ภาคบริการ: AI ถูกนำมาใช้ในการพัฒนาบริการลูกค้า การวิเคราะห์ข้อมูลเชิงลึก และการสร้างประสบการณ์ที่เป็นส่วนตัวมากขึ้น
• ภาคสาธารณสุข: AI มีบทบาทสำคัญในการวินิจฉัยโรค การพัฒนายา และการดูแลผู้ป่วย ทำให้การแพทย์มีความแม่นยำและเข้าถึงได้ง่ายขึ้น
• การวิจัยและพัฒนา: AI เป็นเครื่องมือสำคัญที่ช่วยเร่งการค้นพบทางวิทยาศาสตร์และเทคโนโลยีใหม่ ๆ

ความท้าทายที่ต้องเผชิญ

แม้จะมีโอกาสมากมาย แต่การเปลี่ยนแปลงที่เกิดจาก AI ก็มาพร้อมกับความท้าทายที่ต้องรับมืออย่างจริงจัง

• การขาดแคลนทักษะ (Skills Gap): ตลาดแรงงานยุโรปกำลังประสบปัญหาขาดแคลนบุคลากรที่มีทักษะด้าน AI และดิจิทัล ในขณะที่แรงงานบางส่วนอาจมีทักษะที่ไม่สอดคล้องกับความต้องการของตลาดอีกต่อไป
• ความเหลื่อมล้ำ: หากไม่มีการเตรียมพร้อมที่ดี อาจเกิดความเหลื่อมล้ำระหว่างแรงงานที่มีทักษะสูงและแรงงานที่ได้รับผลกระทบจากการทำงานอัตโนมัติ
• ประเด็นด้านจริยธรรมและความเป็นส่วนตัว: การใช้ AI ก่อให้เกิดคำถามสำคัญเกี่ยวกับความเป็นส่วนตัวของข้อมูล การตัดสินใจโดย AI และอคติที่อาจแฝงอยู่ในระบบ
• การปรับตัวของระบบการศึกษา: ระบบการศึกษาและฝึกอบรมจำเป็นต้องปรับตัวอย่างรวดเร็ว เพื่อผลิตแรงงานที่มีทักษะที่จำเป็นสำหรับอนาคต

การเตรียมพร้อมสำหรับอนาคต

เพื่อรับมือกับการเปลี่ยนแปลงที่กำลังจะมาถึง ทั้งแรงงาน ภาคธุรกิจ และภาครัฐในยุโรป จำเป็นต้องร่วมมือกันเพื่อ:

• ส่งเสริมการเรียนรู้ตลอดชีวิต (Lifelong Learning): สนับสนุนให้แรงงานพัฒนาทักษะใหม่ ๆ และปรับตัวให้เข้ากับการเปลี่ยนแปลงของเทคโนโลยี
• ลงทุนในการศึกษาและฝึกอบรม: ปรับหลักสูตรการศึกษาให้ทันสมัย เน้นทักษะด้าน STEM, AI, และทักษะที่จำเป็นสำหรับศตวรรษที่ 21
• สร้างนโยบายที่รองรับ: พัฒนานโยบายที่ส่งเสริมการใช้ AI อย่างมีความรับผิดชอบ และมีมาตรการรองรับแรงงานที่ได้รับผลกระทบ
• ส่งเสริมการทำงานร่วมกันระหว่างมนุษย์และ AI: มอง AI เป็นเครื่องมือช่วยเสริมศักยภาพมนุษย์ แทนที่จะมองว่าเป็นคู่แข่ง

การเปลี่ยนแปลงที่ขับเคลื่อนโดย AI เป็นสิ่งที่หลีกเลี่ยงไม่ได้ การทำความเข้าใจถึงผลกระทบ โอกาส และความท้าทาย จะช่วยให้เราสามารถเตรียมพร้อมและปรับตัวเพื่อคว้าโอกาสในยุคใหม่นี้ได้อย่างมีประสิทธิภาพ

#AI #ตลาดงานยุโรป #เทคโนโลยี #อนาคตการทำงาน

ขอบคุณ แหล่งข้อมูล
https://openai.com/index/mapping-ai-jobs-transition-eu

รัน vLLM Server บน Hugging Face Jobs ง่าย ๆ ในคำสั่งเดียว 🚀

การรันโมเดลภาษาขนาดใหญ่ (LLM) สำหรับการทดสอบ ประเมินผล หรือการสร้างข้อความแบบกลุ่ม (batch generation) อาจดูซับซ้อน แต่ Hugging Face Jobs ช่วยให้กระบวนการนี้ง่ายขึ้นอย่างไม่น่าเชื่อ เพียงใช้คำสั่งเดียว คุณก็สามารถตั้งค่า vLLM Server ได้อย่างรวดเร็ว บทความนี้จะแนะนำขั้นตอนการตั้งค่าและใช้งาน vLLM Server บน Hugging Face Jobs พร้อมเคล็ดลับเพิ่มเติม

สิ่งที่ต้องเตรียมก่อนเริ่มต้น 🛠️

ก่อนจะเริ่มใช้งาน คุณต้องเตรียมสิ่งเหล่านี้ให้พร้อม:

• วิธีการชำระเงิน หรือ เครดิตคงเหลือ: Hugging Face Jobs คิดค่าบริการตามการใช้งานฮาร์ดแวร์เป็นนาที ดังนั้นจึงต้องมีวิธีการชำระเงินที่ผูกไว้ หรือมีเครดิตเพียงพอ
• ติดตั้ง huggingfacehub เวอร์ชันล่าสุด: ตรวจสอบให้แน่ใจว่าคุณได้ติดตั้งไลบรารี huggingfacehub เวอร์ชัน 1.20.0 ขึ้นไป โดยใช้คำสั่ง:

    pip install -U "huggingface_hub>=1.20.0"

• เข้าสู่ระบบ Hugging Face: ล็อกอินเข้าสู่ระบบ Hugging Face ในเครื่องของคุณด้วยคำสั่ง:

    hf auth login

รัน vLLM Server ด้วยคำสั่งเดียว 💨

คำสั่ง hf jobs run เปรียบเสมือน docker run สำหรับโครงสร้างพื้นฐานของ Hugging Face เราจะใช้ Image vllm/vllm-openai อย่างเป็นทางการ ขอ GPU ด้วย --flavor และเปิดพอร์ตของ vLLM ด้วย --expose:

hf jobs run --image vllm/vllm-openai \

  --flavor  \

  --expose 8000

• --expose 8000 จะทำการส่งพอร์ต 8000 ของคอนเทนเนอร์ผ่านพร็อกซีของ Hugging Face Jobs (สำหรับรายละเอียดเพิ่มเติม โปรดดูคู่มือ Serve Models)
• หลังจากรันคำสั่ง ระบบจะแสดง URL ที่คุณสามารถเข้าถึงเซิร์ฟเวอร์ได้ โดยจะมี Job ID ปรากฏขึ้น เช่น 6a381ca1953ed90bfb947332 ให้จด Job ID นี้ไว้ เพราะเราจะนำไปใช้ต่อ

รอสักครู่เพื่อให้โมเดลดาวน์โหลดและเริ่มต้นทำงาน เมื่อข้อความในล็อกแสดง Application startup complete แสดงว่าเซิร์ฟเวอร์ของคุณพร้อมใช้งานแล้ว

การเรียกใช้งานจากที่ไหนก็ได้ 🌐

vLLM รองรับ OpenAI API ดังนั้นทุกคำขอจะต้องใช้ HF token ของคุณเป็น Bearer token วิธีที่รวดเร็วที่สุดในการทดสอบคือการใช้ curl:

curl ขอบคุณ แหล่งข้อมูล
https://--8000.hf.jobs/v1/chat/completions \

  -H "Authorization: Bearer $(hf auth token)" \

  -H "Content-Type: application/json" \

  -d '{

    "model": "your-model-name",

    "messages": [

      {"role": "user", "content": "Hello! How can I assist you today? 😊"}

    ]

  }'

คุณจะได้รับผลลัพธ์เป็น JSON รูปแบบ OpenAI-style โดยส่วน choices[0].message.content จะมีข้อความตอบกลับ

หรือจะใช้ Python โดยชี้ OpenAI client ไปที่ URL ที่เปิดเผยและส่ง token เป็น API key ก็ได้:

from openai import OpenAI



client = OpenAI(

    base_url="ขอบคุณ แหล่งข้อมูล
https://--8000.hf.jobs/v1";,

    api_key="$(hf auth token)"

)



completion = client.chat.completions.create(

    model="your-model-name",

    messages=[

        {"role": "user", "content": "Hello! How can I assist you today? 😊"}

    ]

)



print(completion.choices[0].message.content)

ตรวจสอบสถานะเบื้องต้น 🔍

ก่อนเริ่มใช้งานจริง คุณสามารถตรวจสอบว่าเซิร์ฟเวอร์ทำงานได้หรือไม่ด้วยคำสั่ง:

curl ขอบคุณ แหล่งข้อมูล
https://--8000.hf.jobs/v1/models -H "Authorization: Bearer $(hf auth token)"

คำสั่งนี้ควรจะแสดงรายชื่อโมเดลที่เซิร์ฟเวอร์รองรับ

ข้อควรจำ: Endpoint นี้มีการควบคุมการเข้าถึง (gated) ไม่ใช่แบบสาธารณะ ทุกคำขอจะต้องมี HF token ที่มีสิทธิ์อ่านใน namespace ของ job นั้น การเข้าผ่านเบราว์เซอร์ธรรมดาจะถูกปฏิเสธ พร็อกซีของ Jobs จะทำหน้าที่เป็นประตู API โดยการเข้าถึงจะถูกจำกัดไว้เฉพาะคุณและองค์กรของคุณเท่านั้น ซึ่งเหมาะสำหรับการใช้งานส่วนตัว แต่ควรจัดการ URL นี้อย่างระมัดระวัง และไม่ควรแชร์ URL หรือ token ไปยังที่ที่ไม่น่าเชื่อถือ หากต้องการการเข้าถึงที่ละเอียดกว่าหรือแบบสาธารณะ ควรมี Gateway ที่เหมาะสม หรือพิจารณาใช้ Inference Endpoints

การปิดเซิร์ฟเวอร์เพื่อประหยัดค่าใช้จ่าย 💰

Jobs จะถูกคิดค่าบริการตามวินาที ดังนั้นควรปิดเซิร์ฟเวอร์เมื่อใช้งานเสร็จสิ้น:

hf jobs cancel 

การตั้งค่า --timeout เป็นเพียงมาตรการป้องกัน (จะหยุดอัตโนมัติ) แต่การยกเลิกโดยตรงจะช่วยประหยัดค่าใช้จ่ายได้มากกว่า ตัวอย่างเช่น GPU a10g-large มีค่าใช้จ่ายประมาณ 1.50 ดอลลาร์สหรัฐฯ ต่อชั่วโมง ตรวจสอบรายการราคาเต็มได้ที่ hf jobs hardware และเลือกขนาด GPU ที่เหมาะสมกับโมเดลของคุณ

การใช้งานโมเดลขนาดใหญ่ขึ้น 🐘

คำสั่งเดียวกันนี้สามารถปรับใช้กับโมเดลที่ใหญ่ขึ้นได้ เพียงเลือก --flavor ที่มี GPU มากขึ้น และกำหนดให้ vLLM ทำการแบ่งโมเดลข้าม GPU ด้วย --tensor-parallel-size ตัวอย่างเช่น โมเดล Qwen3.5 mixture-of-experts ขนาด 122B บน GPU 2 ตัวแบบ H200:

hf jobs run --image vllm/vllm-openai \

  --flavor h200x2 \

  --expose 8000 \

  --tensor-parallel-size 2 \

  --model Qwen3.5-122B

• --tensor-parallel-size ควรตรงกับจำนวน GPU ที่เลือกใน flavor (เช่น h200x2 → 2, h200x8 → 8)
• รัน hf jobs hardware เพื่อดูฮาร์ดแวร์ที่มี และกำหนด --timeout ให้ยาวขึ้นสำหรับโมเดลขนาดใหญ่ เพราะใช้เวลาในการดาวน์โหลดและโหลดนานกว่า
• สำหรับโมเดลขนาดใหญ่ GPU ตระกูล H200 มักจะคุ้มค่าที่สุด

พารามิเตอร์ --max-model-len 32768 --max-num-seqs 256 เป็นค่าเฉพาะสำหรับโมเดล Qwen3.5-122B ซึ่งเป็นสถาปัตยกรรมแบบ Mamba/attention ที่มี context length เริ่มต้น 256K โทเค็น ซึ่งอาจไม่พอสำหรับค่าเริ่มต้นของ vLLM การจำกัดความยาว context และจำนวน sequence พร้อมกันจะช่วยให้อยู่ในขอบเขตหน่วยความจำของ GPU หากโมเดลมีปัญหาเกี่ยวกับหน่วยความจำ (out-of-memory) หรือ cache-block error การลดค่าสองตัวนี้ลงมักเป็นวิธีแก้ปัญหาแรก

ส่วนอื่น ๆ เช่น URL ที่เปิดเผย, OpenAI client, และการยืนยันตัวตนด้วย token ยังคงเหมือนเดิม

การสนทนากับโมเดลผ่าน UI 💬

หากคุณต้องการหน้าต่างแชทแทนการใช้ curl ลองใช้ Gradio เพียงไม่กี่บรรทัด โดยชี้ไปยัง endpoint เดิม เพิ่ม --reasoning-parser deepseek_r1 ในคำสั่ง vllm serve เพื่อให้การคิดวิเคราะห์ของ Qwen3 แสดงผลเป็นฟิลด์แยกต่างหาก (ไม่จำเป็น แต่มีประโยชน์) จากนั้นรันโค้ดนี้ในเครื่องของคุณ (คุณจะต้องใช้ Job ID):

import gradio as gr

import requests

import os



job_id = os.environ.get("JOB_ID", "") 

# แทนที่ด้วย Job ID ของคุณ

base_url = f"ขอบคุณ แหล่งข้อมูล
https://{job_id}--8000.hf.jobs/v1";

hf_token = os.environ.get("HF_TOKEN", "$(hf auth token)") 

# หรือใส่ token ของคุณโดยตรง



def chat_with_vllm(message, history):

    history = history or []

    messages = [{"role": "user", "content": message}]

    for user_msg, assistant_msg in history:

        messages.append({"role": "user", "content": user_msg})

        messages.append({"role": "assistant", "content": assistant_msg})



    response = requests.post(

        f"{base_url}/chat/completions",

        headers={

            "Authorization": f"Bearer {hf_token}",

            "Content-Type": "application/json",

        },

        json={

            "model": "Qwen3.5-122B", 

# หรือชื่อโมเดลของคุณ

            "messages": messages,

            "stream": False, 

# ตั้งค่าเป็น True หากต้องการ stream

        },

    )

    response.raise_for_status()

    response_json = response.json()

    assistant_message = response_json["choices"][0]["message"]["content"]

    return assistant_message



with gr.Blocks() as demo:

    gr.Markdown("

# Chat with vLLM")

    chatbot = gr.Chatbot()

    msg = gr.Textbox(label="Your Message")

    clear = gr.Button("Clear")



    def user(user_message, history):

        return "", history + [[user_message, None]]



    msg.submit(user, [msg, chatbot], [msg, chatbot], queue=False).then(

        lambda history: chat_with_vllm(history[-1][0], history[:-1]), 

# ส่งข้อความล่าสุดและประวัติ

        chatbot,

        [msg, chatbot],

    )

    clear.click(lambda _: None, None, chatbot, queue=False)



demo.launch(server_port=7860)

รันโค้ดนี้ เปิด http://127.0.0.1:7860 แล้วเริ่มแชทได้เลย การคิดวิเคราะห์จะแสดงในแผงที่ยุบได้ ส่วนคำตอบจะอยู่ด้านล่าง

การเข้าถึงเซิร์ฟเวอร์ผ่าน SSH 💻

ต้องการดีบั๊กปัญหาการเริ่มต้น, ตรวจสอบหน่วยความจำ GPU, หรือดูล็อกแบบเรียลไทม์หรือไม่? คุณสามารถเปิด Shell เข้าไปยัง Job ที่กำลังทำงานได้ โดยเริ่มด้วย --ssh และตรวจสอบให้แน่ใจว่าได้ลงทะเบียน Public key ของคุณที่ huggingface.co/settings/keys:

hf jobs run --image vllm/vllm-openai \

  --flavor  \

  --expose 8000 \

  --ssh

จากนั้นเชื่อมต่อด้วย Job ID:

ssh [email protected]

ตอนนี้คุณจะอยู่ภายในคอนเทนเนอร์ สามารถรัน nvidia-smi, ตรวจสอบ process, หรือเข้าถึงโมเดลได้โดยตรง ทำให้การดีบั๊กและการมอนิเตอร์ง่ายขึ้นมาก การรองรับ SSH ต้องการ huggingface_hub >= 1.20.0

ใช้เป็น Backend สำหรับ Coding Agent ด้วย Pi 🤖

Endpoint เดียวกันนี้สามารถใช้เป็น Backend สำหรับ Coding Agent ได้ Pi เป็นเครื่องมือจัดการ Agent ที่ทำงานได้กับทุกผู้ให้บริการ คุณสามารถชี้ Pi ไปยัง Job ของคุณ และคุณจะได้ Agent ประเภท Read/Write/Edit/Bash ที่ทำงานบนโมเดลที่คุณโฮสต์เอง

สิ่งแรกที่ต้องตั้งค่า: Agent จะสั่งงานโมเดลผ่าน Tool Calls ซึ่ง vLLM จะยอมรับก็ต่อเมื่อเซิร์ฟเวอร์ถูกเปิดใช้งานด้วย Tool Calling แล้ว ดังนั้นให้รันใหม่ด้วย --enable-auto-tool-choice และ --tool-call-parser ที่ตรงกับตระกูลโมเดล (เช่น hermes สำหรับ Qwen3) Agent ยังได้ประโยชน์จากโมเดลที่แข็งแกร่งกว่า ดังนั้นนี่เป็นโอกาสที่ดีในการนำโมเดลที่ใหญ่ขึ้นมาใช้:

hf jobs run --image vllm/vllm-openai \

  --flavor h200x2 \

  --expose 8000 \

  --tensor-parallel-size 2 \

  --model Qwen3.5-122B \

  --enable-auto-tool-choice \

  --tool-call-parser hermes

จากนั้นเพิ่ม Job เป็น Custom Provider ใน ~/.pi/agent/models.json:

{

  "providers": [

    {

      "name": "My vLLM Job",

      "model_url": "ขอบคุณ แหล่งข้อมูล
https://--8000

ขอบคุณ แหล่งข้อมูล
https://huggingface.co/blog/vllm-jobs

Lyzr: สตาร์ทอัพ AI Agent ใช้ AI ตัวเองระดมทุน 100 ล้านเหรียญฯ 🚀

ในโลกของเทคโนโลยีที่หมุนไปอย่างรวดเร็ว การนำเทคโนโลยีมาใช้จริงเพื่อพิสูจน์ประสิทธิภาพของผลิตภัณฑ์ ถือเป็นก้าวสำคัญที่น่าจับตามอง โดยเฉพาะอย่างยิ่งในวงการสตาร์ทอัพที่มุ่งเน้นการพัฒนาปัญญาประดิษฐ์ (AI) ล่าสุด Lyzr บริษัทสตาร์ทอัพวัย 3 ปี ที่เชี่ยวชาญด้านการสร้าง AI Agent สำหรับองค์กร ได้สร้างปรากฏการณ์ด้วยการใช้ AI Agent ของตนเองในการระดมทุนรอบ Series B มูลค่า 100 ล้านเหรียญสหรัฐฯ ซึ่งถือเป็นการพิสูจน์ความสามารถและศักยภาพของผลิตภัณฑ์ได้อย่างชัดเจน

AI Agent ทำงานอย่างไรในการระดมทุน?

SivaClaw คือชื่อของ AI Agent ที่ Lyzr พัฒนาขึ้น โดยระบบนี้ได้เข้ามามีบทบาทสำคัญในการจัดการกระบวนการระดมทุน ตั้งแต่การตอบคำถามนักลงทุนกว่า 130 ราย การร่างเอกสารเกี่ยวกับข้อเสนอการลงทุน ไปจนถึงการติดตามว่านักลงทุนให้ความสนใจในสไลด์ส่วนใดเป็นพิเศษ

การใช้ AI Agent ในลักษณะนี้ไม่เพียงแต่ช่วยให้กระบวนการระดมทุนเป็นไปอย่างราบรื่นและมีประสิทธิภาพ แต่ยังเป็นการสาธิตให้เห็นถึงศักยภาพของผลิตภัณฑ์ Lyzr ได้โดยตรง ซึ่งเป็นกลยุทธ์ทางการตลาดที่เหนือชั้นและน่าประทับใจอย่างยิ่ง

เบื้องหลังความสำเร็จ: การระดมทุนที่ไม่ธรรมดา

สิ่งที่น่าสนใจยิ่งกว่านั้นคือ Lyzr สามารถดึงดูดความสนใจและได้รับข้อเสนอการลงทุนรวมกว่า 400 ล้านเหรียญสหรัฐฯ จากนักลงทุนใน Silicon Valley, ตะวันออกกลาง และสถาบันการเงินต่างๆ โดยไม่ต้องอาศัยการเดินทางเพื่อพบปะหรือการแนะนำแบบดั้งเดิม

ปรากฏการณ์นี้สะท้อนให้เห็นถึงสภาวะตลาดปัจจุบันที่เต็มไปด้วยเงินทุนจำนวนมากที่กำลังมองหาการลงทุนในบริษัท AI ที่มีศักยภาพ โดยเฉพาะอย่างยิ่งเมื่อสตาร์ทอัพมีผลงานที่จับต้องได้ ผู้ก่อตั้งแทบไม่ต้องออกจากโต๊ะทำงานก็สามารถระดมทุนจำนวนมหาศาลได้

Lyzr คือใคร?

Lyzr เป็นบริษัทที่ตั้งอยู่ในเมือง Jersey City รัฐ New Jersey สหรัฐอเมริกา โดยมีเป้าหมายเพื่อช่วยให้องค์กรต่างๆ สามารถสร้างและใช้งาน AI Agent ของตนเองได้อย่างมีประสิทธิภาพ AI Agent เหล่านี้สามารถถูกนำไปประยุกต์ใช้ได้หลากหลาย ตั้งแต่การเพิ่มประสิทธิภาพการทำงาน การวิเคราะห์ข้อมูล ไปจนถึงการสนับสนุนการตัดสินใจทางธุรกิจ

การระดมทุนครั้งนี้ไม่เพียงแต่เป็นการตอกย้ำความสำเร็จของ Lyzr เท่านั้น แต่ยังเป็นการส่งสัญญาณที่ชัดเจนถึงอนาคตของ AI Agent ที่จะเข้ามามีบทบาทสำคัญยิ่งขึ้นในโลกธุรกิจและการลงทุน

ขอบคุณ แหล่งข้อมูล
https://techcrunch.com/2026/07/09/an-ai-agent-startup-just-let-its-agent-run-its-100-million-fundraise/

เทคนิค Nonuniform Tensor Parallelism (NTP) เพิ่มประสิทธิภาพการเทรน LLM ขนาดใหญ่

การเทรนโมเดลภาษาขนาดใหญ่ (LLM) ในระดับมหาศาลนั้นมาพร้อมกับความท้าทายด้านโครงสร้างพื้นฐานที่ไม่เหมือนใคร โดยเฉพาะอย่างยิ่งเมื่อต้องใช้งาน GPU จำนวนหลายพันตัวและใช้เวลานาน ยิ่งการเทรนใช้เวลานานเท่าไหร่ โอกาสที่จะเจอเหตุการณ์ขัดข้องที่ไม่คาดฝันหรือความผันผวนของทรัพยากรก็ยิ่งสูงขึ้นเท่านั้น แม้แต่การที่อุปกรณ์บางส่วนไม่พร้อมใช้งานเพียงไม่บ่อยครั้ง ก็สามารถส่งผลกระทบอย่างมากต่อคลัสเตอร์ที่เชื่อมต่อกันอย่างแน่นหนา ทำให้เกิดการชะลอตัวในการเทรนได้

ในบริบทของการเทรน AI นั้น Goodput คือตัวชี้วัดที่สำคัญ ซึ่งหมายถึงปริมาณงานที่มีประโยชน์ซึ่งช่วยให้โมเดลบรรลุเป้าหมายการเรียนรู้ (Convergence) ได้สำเร็จ ไม่ใช่เพียงแค่ปริมาณงานดิบที่ฮาร์ดแวร์ประมวลผลได้

ความท้าทายในการเทรน LLM ขนาดใหญ่

การเทรนโมเดล AI เป็นกระบวนการแบบขนานที่ต้องอาศัย GPU จำนวนมาก เทคนิคที่นิยมใช้คือ Tensor Parallelism (TP) ซึ่งเป็นการแบ่งเลเยอร์ของโครงข่ายประสาทเทียมออกเป็นส่วนๆ แล้วกระจายไปยังกลุ่ม GPU ที่เชื่อมต่อกันอย่างใกล้ชิด จำนวน GPU ในกลุ่มนี้จะเท่ากับขนาดของ "scale-up domain" ซึ่งเชื่อมต่อกันด้วยอินเทอร์คอนเนคต์ความเร็วสูง เช่น NVIDIA NVLink

โดยทั่วไป การเทรน LLM ระดับแนวหน้าจะกระจายไปทั่วคลัสเตอร์ของแร็ค (Rack) โดยแต่ละแร็คจะมีเซิร์ฟเวอร์หลายเครื่อง โดยหนึ่งแร็คที่ประกอบด้วยเซิร์ฟเวอร์หลายเครื่อง จะทำหน้าที่เป็น scale-up domain และเป็นกลุ่ม TP หนึ่งกลุ่ม จากนั้น Data Parallelism (DP) จะทำการจำลองโมเดลไปยัง scale-up domain หลายๆ กลุ่ม โดยแต่ละกลุ่มจะประมวลผลชุดข้อมูลที่แตกต่างกัน การเปลี่ยนแปลงสถานะของ GPU ภายใน scale-up domain หนึ่งๆ สามารถส่งผลกระทบต่อประสิทธิภาพของกลุ่ม TP นั้นๆ ได้ เนื่องจาก GPU ในกลุ่ม TP เดียวกันมีการคำนวณที่ต้องพึ่งพากันอย่างใกล้ชิด ปัญหาที่เกิดขึ้นกับอุปกรณ์หนึ่ง อาจทำให้ประสิทธิภาพการเทรนลดลง หรือต้องมีการปรับสมดุลเวิร์กโหลดชั่วคราวเพื่อรักษาความคืบหน้า

เมื่อสถาปัตยกรรมศูนย์ข้อมูลมีการพัฒนาเพื่อรองรับ scale-up domain ที่ใหญ่ขึ้นเรื่อยๆ ตั้งแต่ 8 ไปจนถึง 72 GPU และมากกว่านั้น การเพิ่มเวลาที่อุปกรณ์ที่ยังทำงานได้ปกติให้เกิดประโยชน์สูงสุด คือกุญแจสำคัญในการบรรลุ Goodput ที่สูง

เทคนิค Nonuniform Tensor Parallelism (NTP) ช่วยได้อย่างไร

NTP เป็นกรอบงานทดลองที่เสนอแนวทางใหม่เพื่อรักษา Goodput ให้สูงอยู่เสมอ โดยป้องกันไม่ให้ปัญหาชั่วคราวของอุปกรณ์หยุดการเทรนขนาดใหญ่ที่เชื่อมต่อกันอย่างซับซ้อน ด้วยการปรับระดับ Tensor Parallelism แบบไดนามิกและจัดการการกระจายข้อมูล (Resharding) อย่างชาญฉลาด NTP ช่วยลดเวลาที่สูญเสียไปและความพยายามในการคำนวณ

💡 การปรับระดับ TP แบบไดนามิก

เมื่อ GPU ใน scale-up domain เกิดขัดข้อง ระบบจะระบุกลุ่มที่ได้รับผลกระทบและกำหนดค่า Tensor Parallelism ใหม่โดยอัตโนมัติ เพื่อใช้ GPU ที่ยังทำงานได้อยู่เท่านั้น ตัวอย่างเช่น หากกลุ่ม TP ที่มี 8 GPU เกิดปัญหาขึ้นหนึ่งตัว ระบบสามารถปรับเปลี่ยนไปใช้ TP degree เป็น 7 ได้ โมเดลส่วนนั้นจะยังคงคำนวณต่อไป ทำให้ไม่สูญเสียการทำงานทั้งหมดไปอย่างสิ้นเชิง GPU ที่เหลือในกลุ่มจะรับภาระงานเพิ่มขึ้น ทำให้งานเทรนสามารถรักษา Goodput และความพร้อมใช้งานสูงไว้ได้ แม้ว่าบางส่วนของทรัพยากรจะมีปัญหา

💡 การเพิ่มพลังเพื่อชดเชยประสิทธิภาพ

การลด TP degree เพียงอย่างเดียวอาจไม่เพียงพอที่จะรักษา Throughput โดยรวมได้ DP replica ที่มี GPU น้อยลงจะทำงานช้าลงโดยธรรมชาติ ซึ่งจะทำให้ทั้งระบบ DP ต้องหยุดรอ replica ที่ช้าที่สุด เพื่อแก้ไขปัญหานี้ งานวิจัยได้เสนอการออกแบบแร็คที่ปรับปรุงความสามารถด้านไฟฟ้าและระบายความร้อน ซึ่งช่วยให้สามารถ เพิ่มพลัง (Power Boosting) ให้กับ scale-up domain ที่มีทรัพยากรลดลงได้ ด้วยการเพิ่มพลังงานให้กับ GPU ที่ทำงานอยู่ของโดเมนที่ได้รับผลกระทบ ความถี่สัญญาณนาฬิกา (Clock Frequency) และ Throughput การคำนวณจะเพิ่มขึ้นชั่วคราว

สิ่งนี้ช่วยให้ DP replica ที่มี TP degree ลดลง สามารถตามทันและทำงานได้เร็วพอที่จะไม่ทำให้เกิดคอขวดในการซิงโครไนซ์ทั่วทั้งระบบ และทำให้ Goodput ของคลัสเตอร์ยังคงได้รับการปรับให้เหมาะสมที่สุด แม้จะมีความผันผวนของฮาร์ดแวร์เฉพาะที่

💡 การ Resharding ที่มีประสิทธิภาพ

การปรับระดับ TP แบบไดนามิกจำเป็นต้องมีกลไกที่มีประสิทธิภาพในการกระจาย Tensor Shards ของโมเดลใหม่ระหว่าง GPU ที่เหลือ NTP ใช้เทคนิคการ Resharding ที่ชาญฉลาด โดย ซ้อนทับ (Overlapped) กับขั้นตอนการคำนวณอื่นๆ

ด้วยการดำเนินการ Resharding ในระหว่างการคำนวณย้อนกลับ (Backward Computation) และการซิงโครไนซ์พารามิเตอร์ (Parameter Synchronization) ทำให้เกิด Overhead ที่เพิ่มขึ้นต่อ healthy replica น้อยมาก โดยทั่วไปน้อยกว่า 1% การจัดตารางเวลาที่รอบคอบนี้ช่วยเพิ่มประสิทธิภาพการคำนวณสูงสุด รักษา Goodput ที่เหมาะสมได้อย่างราบรื่น โดยที่กลไกการปรับตัวเองไม่กลายเป็นคอขวดด้านประสิทธิภาพ

NTP สร้างเส้นทางที่ยืดหยุ่นสู่การเทรน AI ที่ขยายขนาด

งานวิจัยนี้เน้นย้ำถึงความสำคัญของการออกแบบฮาร์ดแวร์และซอฟต์แวร์ร่วมกัน เพื่อแก้ไขความท้าทายที่มีอยู่ในตัวของการเทรน AI ขนาดใหญ่ การรวม NTP เข้ากับการออกแบบแร็คขั้นสูงที่ให้ Headroom ด้านไฟฟ้าและความร้อนเพียงพอสำหรับการเพิ่มพลังแบบไดนามิก เป็นตัวอย่างที่ชัดเจนว่านวัตกรรมฮาร์ดแวร์ที่รอบคอบสามารถเสริมโซลูชันซอฟต์แวร์ที่ซับซ้อนได้อย่างไร

ความสัมพันธ์แบบพึ่งพาอาศัยกันนี้มีความสำคัญอย่างยิ่งต่อการปลดล็อกระดับประสิทธิภาพ ประสิทธิภาพ Goodput ที่เสถียร และความยืดหยุ่นที่สูงขึ้นในระบบ AI ยุคหน้า NTP ในฐานะคุณสมบัติทดลองที่มองไปข้างหน้า แสดงให้เห็นถึงสิ่งที่เป็นไปได้เมื่อความยืดหยุ่นถูกฝังลงในกลยุทธ์การขนานโดยตรง

🔍 แหล่งข้อมูลเพิ่มเติม

• NVIDIA Resiliency Extension (NVRx): คุณสมบัติที่พร้อมใช้งานสำหรับการผลิตเพื่อความทนทานและความยืดหยุ่น
• Nonuniform Tensor Parallelism Readme: เรียนรู้เพิ่มเติมเกี่ยวกับ NTP ที่เพิ่มเข้ามาใน branch ของนักพัฒนาของ NVIDIA Megatron Core

#LLM #AI #TensorParallelism #NVIDIA #DeepLearning

ขอบคุณ แหล่งข้อมูล
https://developer.nvidia.com/blog/enhancing-goodput-in-large-scale-llm-training-with-nonuniform-tensor-parallelism/