Yandex’in geliştirdiği YaFSDP, rastgele oluşturulan tokenler kullanarak geleneksel yöntemlerin yerini almayı planlıyor. Bu sistem, LLM eğitim sürecinde önemli iyileştirmeler sunarak, daha verimli ve maliyet etkin bir çözüm sunuyor. Yandex’te kıdemli geliştirici olan Mikhail Khruschev, YaFSDP’nin çok yönlülüğünü artırmak için çeşitli model mimarileri ve parametre boyutları üzerinde deneyler yaptıklarını belirtti. Khruschev, “YaFSDP’nin küresel makine öğrenimi topluluğu için erişilebilirliğini ve verimliliğini artırmaktan heyecan duyuyoruz” dedi.
Türkiye’de çeşitli teknoloji ve finans kuruluşları, Türkçe dil modelleri geliştirerek dünya çapında önemli projelere imza atıyor. Yandex, Türkiye’de geliştirilen büyük dil modellerinin YaFSDP yöntemi ile önemli avantajlar elde edebileceğini belirtiyor. GPU tasarrufları ve eğitim hızlandırmaları sayesinde, bu projelerin daha verimli ve ekonomik hale geleceği öngörülüyor.
LLM’lerin eğitimi, zaman alıcı ve kaynak yoğun bir süreçtir. Yandex’in YaFSDP yöntemi, GPU iletişimindeki verimsizliği ortadan kaldırarak, GPU etkileşimlerini kesintisiz hale getirmeyi ve eğitimin yalnızca gerektiği kadar işlem belleği kullanmasını sağlamayı hedefliyor. Örneğin, 70 milyar parametreli bir modeli içeren ön eğitim senaryosunda, YaFSDP kullanmak yaklaşık 150 GPU kaynağına denk tasarruf sağlama potansiyeline sahip. Bu, ayda yaklaşık 500 bin ila 1,5 milyon dolar tasarruf anlamına geliyor.
YaFSDP, Yandex’in sunduğu ilk açık kaynaklı araç değil. Şirket, daha önce de makine öğrenimi topluluğu arasında popüler hale gelen birçok araç geliştirmişti. Bu araçlar arasında:
YaFSDP, özellikle 13 ila 70 milyar parametre arasında değişen modellerde etkileyici sonuçlar gösterdi. Khruschev, “YaFSDP, LLaMA mimarisine dayalı yaygın olarak kullanılan açık kaynaklı modeller arasında en uygun olanıdır” diyor. Bu yenilik, LLM eğitim sürecini daha verimli hale getirerek, dünya genelindeki araştırmacılar ve geliştiriciler için önemli avantajlar sunacak.