Skip to content

Утилита для выбора и анализа слоев для последующей линеаризации, то есть замены исходных softmax слоев attention'a на субквадратичные варианты.

Notifications You must be signed in to change notification settings

ai-forever/attention-layer-selector

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

1 Commit
 
 

Repository files navigation

About

Утилита для выбора и анализа слоев для последующей линеаризации, то есть замены исходных softmax слоев attention'a на субквадратичные варианты.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published