🏷️chap_attention
Bir primatın görme sisteminin görme siniri, beynin tam olarak işleyebildiğini aşan devasa duyusal girdi alır. Neyse ki, tüm uyaranlar eşit yaratılmaz. Odaklanma ve bilinç yoğunlaşması primatların karmaşık görsel ortamda avlar ve yırtıcı hayvanlar gibi ilgi çekici nesnelere dikkatini yönlendirmesini sağladı. Bilginin sadece küçük bir kısmına dikkat etme yeteneği evrimsel öneme sahiptir ve bu da insanların yaşamasına ve başarılı olmasına izin verir.
Bilim adamları 19. yüzyıldan beri bilişsel sinirbilim alanında dikkati çalışıyor. Bu bölümde, dikkatin görsel bir sahnede nasıl konuşlandığını açıklayan popüler bir çerçeveyi inceleyerek başlayacağız. Bu çerçevedeki dikkat işaretlerinden esinlenerek, bu tür dikkat işaretlerinden faydalanan modeller tasarlayacağız. Özellikle, 1964 yılında Nadaraya-Waston çekirdek regresyonu, makine öğrenmesinin dikkat mekanizmaları ile basit bir kanıtlamasıdır.
Ardından, derin öğrenmede dikkat modellerinin tasarımında yaygın olarak kullanılan dikkat işlevlerini tanıtmaya devam edeceğiz. Özellikle, çift yönlü hizalanabilen ve türevlenebilen derin öğrenmede çığır açıcı bir dikkat modeli olan Bahdanau dikkatini tasarlamak için bu işlevleri nasıl kullanacağımızı göstereceğiz.
Sonunda, daha yakın zaman çoklu kafalı dikkat ve özdikkat tasarımları ile donatılmış, sadece dikkat mekanizmalarına dayanan dönüştürücü mimarisini tanımlayacağız. Dönüştürücüler 2017'de önerilmelerinden bu yana dil, görme, konuşma ve pekiştirmeli öğrenme alanlarındaki modern derin öğrenme uygulamalarında yaygındır.
:maxdepth: 2
attention-cues
nadaraya-watson
attention-scoring-functions
bahdanau-attention
multihead-attention
self-attention-and-positional-encoding
transformer