Google Research เปิดตัว Titans: โมเดลที่ใช้หน่วยความจำพร้อมรองรับโทเค็นมากกว่า 2 ล้าน

Google Research กำลังจัดการกับความท้าทายที่สำคัญในโมเดล AI สมัยใหม่: ประสิทธิภาพที่ลดลงเมื่อประมวลผลลำดับที่ยาวมาก

เปิดตัว Titans ที่ NeurIPS โมเดลที่ใช้หน่วยความจำที่ก้าวล้ำ สามารถรองรับโทเค็นได้มากกว่าสองล้านรายการโดยไม่ต้องใช้กลไกความสนใจเต็มรูปแบบ ซึ่งเป็นการกำหนดนิยามใหม่ของขีดจำกัดความเข้าใจบริบท

Titans ใช้หน่วยความจำโครงข่ายประสาทเทียมเชิงลึกแทนเวกเตอร์คงที่ ทำให้สามารถเข้ารหัสโครงสร้างที่สมบูรณ์ยิ่งขึ้นได้ นวัตกรรมที่สำคัญประกอบด้วยการอัปเดตที่ขับเคลื่อนด้วยความประหลาดใจเพื่อการปรับหน่วยความจำที่มีความหมาย, กฎโมเมนตัมเพื่อรักษาข้อมูลที่เกี่ยวข้องในช่วงเวลาที่ยาวนาน, และการลืมแบบปรับตัวเพื่อรักษาหน่วยความจำให้กะทัดรัดโดยการลบข้อมูลที่ล้าสมัย โมเดลนี้ช่วยเพิ่มประสิทธิภาพในการประมวลผลบริบทที่ยาวนานได้อย่างมาก