OlmoEarth v1.1: โมเดลสังเกตการณ์โลกยุคใหม่ ประสิทธิภาพสูงขึ้น 3 เท่า

OlmoEarth v1.1: โมเดลสังเกตการณ์โลกยุคใหม่ ประสิทธิภาพสูงขึ้น 3 เท่าการพัฒนาเทคโนโลยี AI เพื่อปกป้องโลกและผู้คนเป็นภารกิจสำคัญของ OlmoEarth ซึ่งได้เปิดตัว OlmoEarth v1 ไปเมื่อปลายปี 2025 และได้รับการยอมรับนำไปใช้ในหลากหลายภารกิจ ตั้งแต่การติดตามการเปลี่ยนแปลงของป่าชายเลน การจำแนกสาเหตุของการสูญเสียป่า ไปจนถึงการจัดทำแผนที่ชนิดพืชผลในระดับประเทศภายในเวลาไม่กี่วันทำไมประสิทธิภาพจึงเป็นหัวใจสำคัญ?เมื่อ OlmoEarth ต้องประมวลผลภาพถ่ายดาวเทียมเพื่อคาดการณ์ในพื้นที่กว้างหลายแสนตารางกิโลเมตร ประสิทธิภาพในการทำงานคือปัจจัยชี้ขาด โดยเฉพาะอย่างยิ่งในกระบวนการทั้งหมด ตั้งแต่การส่งออกข้อมูล การประมวลผลเบื้องต้น การอนุมาน ไปจนถึงการประมวลผลขั้นสุดท้าย ค่าใช้จ่ายด้านการประมวลผล (compute) ถือเป็นต้นทุนที่สูงที่สุด โมเดลที่มีประสิทธิภาพสูงขึ้น หมายความว่าเราสามารถสนับสนุนพันธมิตรได้มากขึ้น และผู้ใช้งาน OlmoEarth ด้วยตนเองก็สามารถใช้เทคโนโลยีนี้ได้อย่างรวดเร็วและประหยัดค่าใช้จ่ายOlmoEarth v1.1: ประสิทธิภาพที่ก้าวกระโดดด้วยเหตุนี้ OlmoEarth v1.1 จึงถูกพัฒนาขึ้นมาเป็นโมเดลตระกูลใหม่ที่สามารถ ลดต้นทุนการประมวลผลลงได้ถึง 3 เท่า โดยยังคงรักษาประสิทธิภาพการทำงานเทียบเท่า OlmoEarth v1 ไว้ได้ในชุดเกณฑ์มาตรฐานการวิจัยและภารกิจที่พัฒนาขึ้นร่วมกับพันธมิตรปรับปรุงประสิทธิภาพด้วยการลดความยาวลำดับ (Sequence Length)โมเดล OlmoEarth เป็นโมเดลแบบ Transformer ซึ่งเป็นสถาปัตยกรรมที่โดดเด่นในวงการ Machine Learning ในปัจจุบัน การประมวลผลข้อมูลการรับรู้ระยะไกล (Remote Sensing) ต้องมีการแปลงข้อมูลให้อยู่ในรูปแบบของลำดับโทเค็น (Token Sequence) ที่โมเดลสามารถนำไปประมวลผลได้ปัจจัยสำคัญสองประการที่ส่งผลต่อประสิทธิภาพของโมเดล Transformer คือ ขนาดของโมเดล (นี่คือเหตุผลที่เราออกโมเดลหลายขนาด เพื่อให้ผู้ใช้เลือกขนาดที่เหมาะสมกับงบประมาณการประมวลผลของตนเองได้) และ ความยาวของลำดับโทเค็น เนื่องจากต้นทุนการประมวลผลจะเพิ่มขึ้นเป็นทวีคูณตามความยาวลำดับโทเค็น การลดความยาวลงแม้เพียงเล็กน้อยก็สามารถช่วยลดต้นทุนการทำงานของโมเดลได้อย่างมีนัยสำคัญความท้าทายในการสร้างโทเค็นสำหรับข้อมูลภาพถ่ายดาวเทียมคำถามสำคัญสำหรับโมเดล Transformer ที่ใช้กับข้อมูล Remote Sensing คือ "โทเค็นควรจะแทนอะไร?"ลองพิจารณาภาพ Sentinel-2 ซึ่งเป็นข้อมูลที่เราประมวลผลบ่อยครั้ง ข้อมูล Sentinel-2 หนึ่งภาพจะมีมิติเป็น (H, W, T, D=12) โดยที่ H คือความสูง (ละติจูด), W คือความกว้าง (ลองจิจูด), T คือมิติเวลา และ D คือ 12 ช่องสัญญาณของ Sentinel-2โดยทั่วไป เราจะแบ่งข้อมูลออกเป็น "แพตช์" (Patch) ตามความละเอียด โดยแต่ละแพตช์จะมีขนาด p x p และจะสร้างโทเค็นขึ้นมา 1 โทเค็นต่อ 1 ช่วงเวลา ต่อ 1 ความละเอียด ดังนั้น ข้อมูล Sentinel-2 ที่มี 2 ช่วงเวลา จะให้ 6 โทเค็นต่อแพตช์ (2 ช่วงเวลา x 3 ความละเอียด: 10m, 20m, 60m)วิธีการสร้างโทเค็นแยกตามความละเอียดเป็นเทคนิคที่นิยมใช้กับข้อมูล Sentinel-2 แต่ก็มีโมเดลอย่าง CROMA ที่ใช้เพียงโทเค็นเดียวสำหรับทุกแถบความถี่ (Band) โดยไม่คำนึงถึงความละเอียด การรวมความละเอียดเหล่านี้เข้าด้วยกันจะช่วยลดจำนวนโทเค็นลงได้ถึง 3 เท่า ซึ่งส่งผลให้ประหยัดค่าใช้จ่ายอย่างมากในทุกขั้นตอนการทำงานการรวมโทเค็นโดยไม่ส่งผลกระทบต่อประสิทธิภาพการรวมโทเค็นโดยตรงอาจนำไปสู่ประสิทธิภาพที่ลดลงอย่างมาก แต่การปรับปรุงกระบวนการฝึกสอนเบื้องต้น (Pre-training Regimen) ทำให้เราสามารถรวมโทเค็นได้โดยไม่กระทบต่อประสิทธิภาพ ซึ่งรายละเอียดจะถูกกล่าวถึงในเอกสารทางเทคนิคผลลัพธ์ที่ได้คือโมเดลตระกูลใหม่ที่ทำงานได้ "น้อยแต่มาก" OlmoEarth v1.1 ในทุกขนาด สามารถทำงานได้ถูกลงถึง 3 เท่าเมื่อเทียบกับ OlmoEarth v1 ทำให้การสร้างแผนที่ระดับโลกได้บ่อยครั้งมีค่าใช้จ่ายที่เข้าถึงได้ง่ายขึ้นสำหรับทุกทีมที่ใช้ OlmoEarthหากคุณกำลังใช้โมเดลจาก OlmoEarth ตระกูลเดิม ลองเปลี่ยนมาใช้ OlmoEarth v1.1 ดู คุณจะได้รับประสิทธิภาพที่ใกล้เคียงกัน แต่ใช้ต้นทุนการประมวลผลเพียงหนึ่งในสามเท่านั้น แม้ว่าจะมีการสังเกตพบการถดถอยบางส่วนในบางกรณี (โปรดดูรายงานทางเทคนิคสำหรับรายละเอียดเพิ่มเติม) หากโมเดลนี้เหมาะสมกับงานของคุณ คุณจะเห็นความเร็วที่เพิ่มขึ้นอย่างมีนัยสำคัญในระหว่างการปรับแต่ง (Fine-tuning) และการอนุมาน (Inference)ความก้าวหน้าในการทำความเข้าใจหลักการทางวิทยาศาสตร์โดยทั่วไป โมเดล Remote Sensing ที่ได้รับการฝึกสอนเบื้องต้น (Pretrained) มีตัวแปรอิสระจำนวนมาก ทำให้ยากต่อการศึกษาว่าเมื่อประสิทธิภาพเปลี่ยนแปลงนั้นเกิดจากสถาปัตยกรรม ชุดข้อมูล หรืออัลกอริทึมการฝึกสอนกันแน่OlmoEarth v1.1 ถูกฝึกสอนบนชุดข้อมูลเดียวกันกับ OlmoEarth v1 ดังนั้น ความแตกต่างใดๆ ระหว่างทั้งสองเวอร์ชันจึงสามารถแยกผลกระทบจากการเปลี่ยนแปลงระเบียบวิธีได้ เราหวังว่าสิ่งนี้จะช่วยส่งเสริมความเข้าใจในหลักการทางวิทยาศาสตร์เมื่อทำการฝึกสอนโมเดลสำหรับ Remote Sensingค้นพบ OlmoEarth v1.1ตรวจสอบน้ำหนักโมเดล (Weights) และโค้ดการฝึกสอน OlmoEarth v1.1 ได้แล้ววันนี้ รวมถึงน้ำหนักสำหรับโมเดล Base, Tiny และ Nano ของเรา#OlmoEarth #AI #EarthObservation #RemoteSensing #MachineLearninghttps://huggingface.co/blog/allenai/olmoearth-v1-1