İçeriğe geç

Yazılım ve İnternet — Eğitimde verim sıçraması

Moonclip, Linear Tension ve Attention Residuals gibi üç temel yenilik, Kimi K3'ü açık kaynak modellerde ilk kez 3T parametre seviyesine taşıyarak kapalı kaynak rakiplerle rekabet edebilir hale getiriyor.

audio-thumbnail
Yazıyı dinle · Yapay zekâ ile seslendirilmiştir
0:00
/179

Moonclip'in arkasındaki mantık basit, küresel ölçekte kullanılabilir eğitim verisi tükenirken, aynı veri setinden iki kat fazla öğrenme çıkarmak. Kimi'nin bu ikinci derece optimizasyonu, 20T tokenlık veriyle 40T token etkisi yaratıyor. Eğitim maliyeti ve enerji tüketimi de aynı oranda düşüyor.

Linear Tension ise uzun bağlam sorununa çözüm getiriyor. Geleneksel lineer dikkat mekanizmaları uzun metinlerde performans kaybederken, Kimi'nin kendi geliştirdiği bu yapı bağlam penceresini on kat büyütüyor. Maliyet artışı da lineer kalıyor.

Harika! Başarıyla kaydoldunuz.

Tekrar hoş geldiniz! Başarıyla giriş yaptınız.

Başarıyla Dragonomi abonesi oldunuz.

Başarılı! Giriş yapmak için sihirli bağlantıyı e-postanızda kontrol edin.

Başarılı! Fatura bilgileriniz güncellendi.

Faturanız güncellenmedi.