สิงคโปร์, 1 ต.ค. 2566 — เมื่อเร็วๆ นี้ Colossal-AI ได้สร้างโมเดลภาษาธรรมชาติขนาดใหญ่เฉพาะด้าน (LLM) ที่น่าประทับใจ โดยใช้งบประมาณการฝึกอบรม เพียงไม่กี่ร้อยดอลลาร์ มันสามารถ ประยุกต์ใช้ได้กับหลายด้าน ช่วยอํานวยความสะดวกในการสร้างโมเดล AI ขนาดใหญ่อย่างประหยัด
โซลูชันนี้ เข้าถึงได้โดยไม่มีข้อจํากัดทางการค้า โดยมีความโปร่งใสอย่างสมบูรณ์ต่อกระบวนการฝึกอบรม รหัส และน้ําหนักโมเดลทั้งหมด
รายละเอียดทางเทคนิค รหัสโอเพ่นซอร์ส และน้ําหนักมีอยู่ที่ : https://github.com/hpcaitech/ColossalAI
การสร้างสะพานเชื่อมต่อจากโมเดลขนาดใหญ่ทั่วไปไปยังโมเดลขนาดใหญ่เฉพาะด้านด้วยงบประมาณเพียงไม่กี่ร้อยดอลลาร์
ประสิทธิภาพ
โมเดลของ Colossal-AI ไม่เพียงแต่เสริมสร้างความสามารถทางภาษาจีน แต่ยังปรับปรุงความชํานาญทางภาษาอังกฤษอีกด้วย น่าประหลาดใจที่มันแสดงระดับประสิทธิภาพที่เทียบเท่าโมเดลสุดล้ํา (SOTA) ที่มีขนาดคล้ายกันในชุมชนโอเพ่นซอร์ส
ควบคู่ไปกับนี้ Colossal-AI ยังมอบกรอบการประเมิน ColossalEval ที่ครอบคลุมเพื่ออํานวยความสะดวกในการทดสอบซ้ําได้อย่างประหยัด
นอกจากนี้ การปรับแต่งละเอียดผ่านวิธีการเช่น SFT และ LoRA มีข้อจํากัดในการถ่ายโอนความรู้และความสามารถจากโมเดลฐานอย่างมีประสิทธิภาพ มันไม่สามารถตอบสนองความต้องการในการสร้างความรู้เฉพาะด้านที่มีคุณภาพสูงหรือแอปพลิเคชันโมเดลเฉพาะด้านได้อย่างพอเพียง
การสร้างสะพานเชื่อมต่อจากโมเดลขนาดใหญ่ทั่วไปไปยังโมเดลขนาดใหญ่เฉพาะด้าน
สิ่งที่สําคัญที่สุด การสร้าง เวอร์ชันภาษาจีน ไม่เพียงแต่มอบความได้เปรียบในการนํากลับมาใช้ใหม่ แต่ยังมีความสําคัญอย่างมากในการประยุกต์ใช้จริง
เป็นที่ยอมรับอย่างกว้างขวางว่าค่าใช้จ่ายในการฝึกอบรมโมเดล AI ขนาดใหญ่จากศูนย์นั้นสูงเกินไป บ่อยครั้งที่มักจะถูกเรียกขานอย่างขบขันว่าเป็นด้านที่เข้าถึงได้เฉพาะสําหรับผู้ที่มี “50 ล้านดอลลาร์” สํารองไว้
บริษัทไอทียักษ์ใหญ่และสตาร์ทอัพ AI หลายแห่งกําลังตื่นตัวที่จะลงทุนอย่างหนักในการสร้างโมเดลทั่วไปขนาดใหญ่ อย่างไรก็ตาม เบื้องหลังความทั่วไปของโมเดลขนาดใหญ่เหล่านี้มักจะขาดความรู้เฉพาะด้าน ดังนั้นปัญหาการประยุกต์ใช้งานจริงจึงกลายเป็นเรื่องร้ายแรงเป็นพิเศษ
หากโมเดลขนาดใหญ่เฉพาะด้านสามารถสร้างขึ้นอย่างรวดเร็วและประหยัดค่าใช้จ่าย ตามด้วยการปรับแต่งละเอียดสําหรับความต้องการทางธุรกิจเฉพาะ มันจะส่งเสริมการประยุกต์ใช้แอปพลิเคชันโดยไม่ต้องสงสัย ซึ่งจะให้ความได้เปรียบทางการแข่งข