Skip to content

About

A tensor mathematics, attention mechanism, and forward pass engine that implements the "Attention Is All You Need" theory and the Transformer architecture using pure code.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Latest commit

 

History

18 Commits

Folders and files

NameName
Last commit message
Last commit date
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

README.md

neural-engine

Dış API YOK.

"Attention Is All You Need" teorisini ve Transformer mimarisini saf kodla çalıştıran; tensör matematiği, attention mekanizması ve ileri yayılım (forward pass) motoru.

İşletim sisteminin ALU'su (Aritmetik Mantık Birimi) gibi çalışan düşük seviyeli bir neural engine.


Core Formula

$Attention(Q, K, V) = softmax(\frac{QK^T}{\sqrt{d_k}})V$

Transformer mimarisinin çekirdeği.

  • Q (Query): Ne arıyorum?
  • K (Key): Hangi bilgi bana uygun?
  • V (Value): Taşınacak gerçek bilgi

Sistem:

  1. Bilgiler arasındaki benzerliği hesaplar
  2. Hangi bilginin daha önemli olduğunu belirler
  3. En alakalı bilgiyi öne çıkarır

Detaylı matematik açıklaması:


Goals

  • Saf Rust implementasyonu
  • Düşük seviyeli tensör operasyonları
  • Donanıma yakın attention sistemi
  • Forward pass motoru
  • Harici ML framework bağımlılığı olmadan çalışma

Status

WIP (Work In Progress)

About

A tensor mathematics, attention mechanism, and forward pass engine that implements the "Attention Is All You Need" theory and the Transformer architecture using pure code.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages