Hugging Face Models บน Microsoft Foundry: ยกระดับ AI ด้วย Open-Source

Hugging Face Models บน Microsoft Foundry: ยกระดับ AI ด้วย Open-Sourceในยุคที่ AI พัฒนาไปอย่างก้าวกระโดด โมเดล Open-Source จาก Hugging Face ได้กลายเป็นหัวใจสำคัญของนักพัฒนาและองค์กรจำนวนมาก ด้วยความสามารถที่หลากหลายและประสิทธิภาพที่ท้าทายโมเดลปิด ทำให้โมเดลเหล่านี้เป็นที่ต้องการอย่างยิ่ง อย่างไรก็ตาม การนำโมเดล Open-Source มาใช้งานจริงในระดับองค์กรยังคงมีความซับซ้อนในด้านการจัดการ การติดตั้ง และการดูแลรักษาMicrosoft Foundry เข้ามาตอบโจทย์นี้ ด้วยการผสานรวมโมเดล Hugging Face เข้ากับแพลตฟอร์ม Managed Compute ที่ช่วยลดความซับซ้อนในการใช้งานโมเดล Open-Source ให้กลายเป็นเรื่องง่ายดายสำหรับทุกองค์กรMicrosoft Foundry คืออะไร?Microsoft Foundry คือแพลตฟอร์มที่ออกแบบมาเพื่อสร้างและบริหารจัดการแอปพลิเคชัน AI ที่ขับเคลื่อนด้วย Agent โดยเฉพาะ Foundry เริ่มต้นด้วยการรวบรวมโมเดล AI ที่หลากหลายที่สุดบนคลาวด์ ไม่ว่าจะเป็นโมเดลจาก Microsoft, OpenAI, Anthropic, Meta, Mistral, DeepSeek, Hugging Face และอื่นๆ อีกมากมาย ครอบคลุมตั้งแต่โมเดลระดับแนวหน้า (frontier models) โมเดล Open-Source ไปจนถึงโมเดลที่ปรับแต่งเอง (custom weights) ทั้งหมดนี้สามารถเข้าถึงได้ผ่าน Endpoint เดียวกัน พร้อมชุด SDK ที่ครอบคลุมภาษา Python, C#, JavaScript และ Javaนอกจากโมเดล AI แล้ว Foundry ยังมี Foundry Agent Service ซึ่งเป็นบริการสำหรับ Orchestration ของ Multi-Agent พร้อมฟีเจอร์สำคัญ เช่น หน่วยความจำ (memory) การเชื่อมโยงข้อมูลกับแหล่งความรู้ (knowledge grounding) ผ่าน Foundry IQ และแคตตาล็อกเครื่องมือที่สามารถเชื่อมต่อได้ ทำให้ Agent สามารถทำงานร่วมกับข้อมูลขององค์กรได้อย่างมีประสิทธิภาพยิ่งไปกว่านั้น Foundry ยังมอบเครื่องมือสำหรับการสังเกตการณ์ (observability) และการปรับปรุงคุณภาพอย่างต่อเนื่อง เช่น:Content safety filters: ตัวกรองความปลอดภัยของเนื้อหาTask-adherence guardrails: ระบบควบคุมเพื่อให้ Agent ทำงานตามที่กำหนดAI Red Teaming Agent: Agent สำหรับการทดสอบเชิง adversarialAzure Policy integration: การผสานรวมนโยบาย Azure โดยตรงFoundry มีตัวเลือกการใช้งานที่หลากหลาย ได้แก่ Pay-per-token (เริ่มต้นใช้งานง่ายที่สุด) Provisioned throughput (ประสิทธิภาพสูงและคาดการณ์ได้สำหรับโมเดลระดับแนวหน้า) และ Foundry Managed Compute ซึ่งเป็นบริการ GPU แบบจัดการ (managed GPU platform-as-a-service) สำหรับโมเดล Open-Source และโมเดลที่ปรับแต่งเองManaged Compute: การจัดการ GPU ที่ง่ายดายFoundry Managed Compute ช่วยให้คุณสามารถปรับใช้ (deploy) โมเดลโดยกำหนดคุณสมบัติที่สำคัญต่อเวิร์กโหลดของคุณ เช่น จำนวนพารามิเตอร์ (parameter count) ความยาวบริบท (context length) และการปรับแต่งเพื่อลด Latency หรือเพิ่ม Throughput โดย Foundry จะจัดการโครงสร้างพื้นฐาน GPU เบื้องหลังทั้งหมด ไม่ว่าอินสแตนซ์จะทำงานบน Accelerator ตัวเดียวหรือหลายตัวก็ตาม ทำให้คุณสามารถวางแผนและคิดในเชิงของโมเดลได้โดยตรงMicrosoft จะดูแลจัดการเครื่องให้ทั้งหมด ทั้งการอัปเดตคอนเทนเนอร์ การอัปเกรด Runtime และการแพตช์ความปลอดภัยสำหรับ Runtime ที่รองรับ เช่น vLLM, SGLang, TensorRT-LLM, NIM, TEI, llama.cpp โดยอัตโนมัติ โดยไม่ต้องทำการ redeploy โมเดลของคุณ ในขณะที่การกำหนดค่าโมเดล พฤติกรรมการ deploy และการ Routing ยังคงอยู่ภายใต้การควบคุมของคุณความสอดคล้องนี้ยังรวมไปถึงส่วนต่อประสานกับนักพัฒนา (developer surface) โดย Pay-per-token, Provisioned throughput และ Managed Compute จะใช้ร่วมกันในด้าน:การยืนยันตัวตน (Authentication) แบบเดียวกันการสังเกตการณ์ (Observability) แบบเดียวกันการผสานรวมโมเดล Open-Source กับ Foundry Agents ได้เช่นเดียวกับโมเดลระดับแนวหน้า ทำให้คุณสามารถผสมผสานประเภทโมเดลใน Agent เดียวกันได้โดยไม่ต้องมีเส้นทางการผสานรวมที่แยกต่างหากManaged Compute ยังมีข้อได้เปรียบเพิ่มเติมคือ:Global deployments: ความจุที่กว้างขวางที่สุดและราคาที่ดีที่สุดData Zone deployments: การปฏิบัติตามข้อกำหนดด้านสถานที่ตั้งและความเป็นเจ้าของข้อมูล (residency and sovereignty)Same code, same workflow: โค้ดและเวิร์กโฟลว์เดียวกันQuota aligned to accelerator families: โควต้าจะสอดคล้องกับตระกูล Accelerator ทำให้แผนที่สร้างขึ้นบน H100 ในวันนี้สามารถใช้งานต่อไปได้เมื่อมีฮาร์ดแวร์รุ่นใหม่เข้ามาHugging Face: ขุมทรัพย์แห่ง Open AIHugging Face เปรียบเสมือน "จัตุรัสสาธารณะ" ของ AI แบบเปิด ที่มีผู้สร้างสรรค์กว่า 15 ล้านคน องค์กรกว่า 400,000 แห่ง และโมเดล Open-Source กว่า 3 ล้านโมเดลที่เผยแพร่ โดยมีความสามารถใหม่ๆ เช่น การเขียนโค้ดด้วย Agent, การแบ่งส่วนวิดีโอ, เสียง, และการสร้าง Embedding ที่เปิดตัวทุกสัปดาห์ เปรียบเสมือน GitHub ของโมเดล Open-Source ที่ชุมชนเผยแพร่น้ำหนักโมเดล (weights) เขียน Model Card เปรียบเทียบผลการประเมิน และดึงโมเดลไปทดลองโมเดล Open-Source ได้ปิดช่องว่างด้านประสิทธิภาพกับโมเดลแบบปิดในหลายๆ เกณฑ์มาตรฐาน และปลดล็อกความสามารถที่ Endpoint แบบปิดไม่สามารถทำได้:State-of-the-art is now open: โมเดล Open-weight ชั้นนำมีความสามารถทัดเทียมกับโมเดล Frontier แบบปิดชั้นนำในเกณฑ์มาตรฐานที่นิยมใช้กันมากที่สุดDeep customization: การเข้าถึงน้ำหนักโมเดลแบบเต็มทำให้สามารถ Fine-tune, Distill, Quantize และปรับแต่งด้วย LoRA เพื่อให้โมเดลเหมาะสมกับโดเมน ข้อมูล และเป้าหมายด้าน Latency และต้นทุนของคุณYour model, your hosting: น้ำหนักโมเดลทำงานใน Tenant ของคุณบนโครงสร้างพื้นฐานที่คุณควบคุม อยู่เบื้องหลัง Inference Endpoint ของคุณ ภายใต้ขอบเขต Identity และเครือข่ายของคุณCost shaping: จ่ายค่า Accelerator เป็นรายชั่วโมง ขยายขนาดได้ถึงศูนย์เมื่อไม่ได้ใช้งาน และปรับขนาด GPU ให้เหมาะสมกับโมเดลที่เฉพาะเจาะจง ซึ่งมีประโยชน์สำหรับเวิร์กโหลดที่มีปริมาณสูงและสม่ำเสมอ หรือเวิร์กโหลดที่ไวต่อ Latency ซึ่งการคิดราคาแบบต่อ Token ทำนายได้ยากVersion control: ปักหมุดเวอร์ชันโมเดลที่เฉพาะเจาะจง ประเมินผล ปรับใช้ และดำเนินการต่อไปหรือย้อนกลับตามรอบการเผยแพร่ของคุณเองอุปสรรคที่เคยมี และการแก้ไขด้วย Hugging Face บน Foundryปัญหาที่เคยมีมาตลอดคือ "Operational Layer" หรือชั้นการดำเนินงาน ตั้งแต่การค้นหา การตรวจสอบใบอนุญาต การคัดกรองความปลอดภัย การเลือก Runtime การปรับขนาด GPU การสร้าง Image การแพตช์ CVE และการทำให้โมเดลพร้อมใช้งานผ่าน Endpoint ระดับองค์กร Hugging Face เพียงอย่างเดียวจึงไม่ใช่แพลตฟอร์มสำหรับการให้บริการระดับองค์กรHugging Face Models on Foundry คือการเข้ามาเติมเต็ม "Operational Layer" นี้ ดำเนินการโดย MicrosoftHugging Face Models on Foundry: การผสานรวมที่ทรงพลังHugging Face Collection นำชุดโมเดลที่คัดสรรมาอย่างดีมาสู่ Foundry Model Catalog โดยตรง:Refreshed weekly: โมเดลที่กำลังมาแรงจากระบบนิเวศ Hugging Face จะถูกเพิ่มเข้ามาอย่างต่อเนื่องเมื่อชุมชนเผยแพร่Every modality: รองรับทุกรูปแบบการทำงาน ได้แก่ Text, Vision, Audio และ Multimodal เช่น LLMs และ VLMs สำหรับ Chat และ Agent, ASR และ Speech Translation, Embeddings, Segmentation, Image GenerationSafetensors only, no untrusted code: โมเดลทุกตัวใน Collection ได้รับการคัดกรองด้านความปลอดภัย และมาในรูปแบบ SafeTensors โดยไม่มีการอนุญาตให้รันโค้ด trustremotecode เว้นแต่จะได้รับการตรวจสอบอย่างเข้มงวดThe right runtime for the model: Foundry จะเลือก Engine ที่เหมาะสมกับโมเดล เช่น vLLM และ SGLang สำหรับ LLMs, TensorRT-LLM และ NIM เมื่อเหมาะสม, TEI สำหรับ Embeddings, llama.cpp สำหรับ CPUจากมุมมองของคุณ โมเดล Open-weight ใน Hugging Face Collection จะมีลักษณะและการทำงานเหมือนกับโมเดลอื่นๆ ใน Foundry Model Catalog และทุกโมเดลใน Collection ได้ผ่านกระบวนการเผยแพร่หลายขั้นตอนก่อนที่จะปรากฏในแคตตาล็อกกระบวนการคัดสรร (The Curation Pipeline)Hugging Face และ Microsoft ทำงานร่วมกันเพื่อนำโมเดล Open-weight ที่ได้รับความนิยมสูงสุดจากระบบนิเวศ Hugging Face มาสู่ Microsoft Foundry ให้พร้อมใช้งานในสภาพแวดล้อมองค์กร ผ่านกระบวนการคัดสรรที่เป็นระบบ:ระบุโมเดลที่กำลังมาแรง: คัดเลือกโมเดลที่มีศักยภาพในการใช้งานระดับองค์กร โดยอิงจากสัญญาณจากชุมชน คำขอจากพันธมิตร และความต้องการของลูกค้าคัดกรองด้านการปฏิบัติตามข้อกำหนดและความปลอดภัย: ตรวจสอบใบอนุญาตโมเดลเทียบกับนโยบายการเผยแพร่ระดับองค์กรของ Microsoft (พร้อมบันทึกข้อมูล Meta-data ของใบอนุญาต) และตรวจสอบ Repository เพื่อหารูปแบบ trustremotecode และโค้ดที่สามารถประมวลผลได้ หากโมเดลใดต้องการการรัน Python ของบุคคลที่สามขณะโหลด จะต้องได้รับการแก้ไขหรือคัดออกสร้าง, สแกน และเผยแพร่ Runtime: Microsoft สร้าง Image คอนเทนเนอร์สำหรับการ Inference บน Runtime ที่รองรับ (vLLM, SGLang, TensorRT-LLM, NIM, TEI, llama.cpp) สแกนหา CVEs และลงนามเผยแพร่ไปยัง Microsoft-managed container registryอัปโหลด Weights ไปยัง Azure Storage ที่ปลอดภัย: ดึงน้ำหนักโมเดลจาก Hugging Face เพียงครั้งเดียว ตรวจสอบความถูกต้องเทียบกับ Model Card ที่เผยแพร่ และจัดเก็บใน Azure Storage ที่ Microsoft จัดการ ในภูมิภาคที่ให้บริการโมเดลตรวจสอบและเผยแพร่ไปยังแคตตาล็อก: ทดสอบทุกการผสมผสานระหว่างโมเดล + Runtime + Accelerator เพื่อยืนยันความสอดคล้องของ API (Chat Completions, Embeddings, Rerank ฯลฯ) และประสิทธิภาพ (Latency, Throughput, Time-to-first-token, Inter-token decode time) จากนั้นโมเดลที่ผ่านการตรวจสอบแล้ว — พร้อมด้วย Templates, Runtime Images และ Weights — จะถูกเผยแพร่ไปยัง Foundry Model Catalog พร้อมเส้นทางการ Deploy แบบคลิกเดียวบน Managed Computeเนื่องจาก Weights ถูกเตรียมไว้ล่วงหน้าใน Azure Storage และ Runtime Images อยู่ใน Microsoft-managed registry การ Deploy ของคุณจึงไม่จำเป็นต้องมีการเข้าถึงเครือข่ายขาออกไปยัง Hugging Face Hub คุณสามารถ Deploy ไปยัง Production ภายในเครือข่ายส่วนตัวได้Hugging Face Models on Foundry ขับเคลื่อนด้วยชุด Runtime Open-Source ที่สร้างโดยชุมชน ซึ่งได้รับการคัดเลือกและปรับแต่งสำหรับ Foundry Managed Compute และจับคู่กับสถาปัตยกรรมโมเดลที่ให้บริการได้ดีที่สุด ตลอดทั้ง Runtime กระบวนการคัดสรรที่เป็นระบบทำให้เวอร์ชันใหม่และการแพตช์สามารถเข้าถึง Foundry ได้อย่างรวดเร็ว และการ Deploy โมเดลที่มีอยู่จะได้รับการอัปเกรดโดยอัตโนมัติ โดยไม่ต้องให้คุณทำการ redeployRuntime ที่รองรับ:vLLM: Engine การให้บริการที่มี Throughput สูงสำหรับ Large Language Models แบบเปิด ปรับแต่งสำหรับเวิร์กโหลด GPU ในระดับ Production เนื่องจาก Hugging Face เป็นผู้สนับสนุนโดยตรงของ vLLM โมเดลใดๆ ในไลบรารี Transformers จึงสามารถทำงานบน vLLM ได้ทันที ทำให้เมื่อมีโมเดลใหม่ปรากฏบน Hugging Face ก็สามารถให้บริการบน Foundry ได้ในวันเดียวกัน โดยไม่ต้องรอการผสานรวมแบบกำหนดเองSGLang: Engine การให้บริการสำหรับโมเดลภาษาและ Multimodal ที่รองรับผลลัพธ์ที่มีโครงสร้าง (JSON, Regex, Grammar-constrained generation) อย่างแข็งแกร่ง ซึ่งเป็นสิ่งจำเป็นสำหรับเวิร์กโหลด Agent และการใช้เครื่องมือ Hugging Face และทีม SGLang ได้สร้างการผสานรวม Backend สำหรับ Transformers สำหรับ SGLang ทำให้โมเดลใดๆ ในไลบรารี Transformers สามารถทำงานบน SGLang ได้ทันที และเข้าถึง Foundry ได้ในวันเดียวกับที่ปรากฏบน Hugging FaceText Embeddings Inference (TEI): Runtime สำหรับโมเดล Embedding, Reranker และ Sequence-classification Image เฉพาะ Accelerator จะมาพร้อมกับ Kernels ที่คอมไพล์สำหรับ GPU และ CPU แต่ละตระกูลที่ Foundry รองรับ ทำให้เส้นทาง Hot Path ของ Embedding มีความกระชับสำหรับเวิร์กโหลด RAG และ Semantic Searchllama.cpp: เส้นทาง CPU และ GPU ขนาดเล็กสำหรับโมเดลที่ Quantized แบบ GGUF เหมาะสำหรับการ Deploy ที่ปรับต้นทุนให้เหมาะสม โมเดลขนาดเล็ก และภูมิภาคที่ใช้ CPU เท่านั้น พร้อม API ที่เข้ากันได้กับ OpenAI เช่นเดียวกับ vLLM และ SGLang**Tensorhttps://huggingface.co/blog/microsoft/foundry-managed-compute