Skip to content
kuurtaliPublic

About

MC-AWARE — Deep-learning analysis of majority-class traps and anti-predictive behavior in BIST direction forecasting

Topics

Resources

Stars

0 stars

Watchers

0 watching

Forks

Repository files navigation

MC-AWARE — Anti-Prediktif Davranışın Derin Öğrenme ile Tespiti

Portföy · Tüm projeler · Sorun bildir

Türkçe özet · English summary

Independent research project by Mehmet Ali Kurt · Hacettepe University — Actuarial Sciences

Project history: MC-AWARE originated alongside a TÜBİTAK 2209-A application attempt that was not pursued to completion. The research continued independently without TÜBİTAK funding or support. Historical application materials are preserved in Archive/TUBITAK-2209A-Application.

Live Demo

30+ Deney · 7 DL Mimarisi · 27 Varlık · 700+ Konfigürasyon · 130 CSV · Bonferroni p = 0.00012


🔬 Proje Özeti

Kapsam: Bulgular depodaki deneylerin varlıklarına, dönemlerine ve veri ayrımlarına aittir. Bu belge güncellemesinde deneyler yeniden çalıştırılmadı. Bir NASDAQ karşılaştırması, davranışın bütün gelişmekte olan piyasalara özgü olduğunu veya gelecekte işlem getirisi sağlayacağını kanıtlamaz.

BIST (Borsa İstanbul) günlük yön tahmininde 7 farklı derin öğrenme mimarisi ile 700+ konfigürasyon test edilmiştir. Tüm mimarilerde modellerin rastgeleden daha kötü tahmin yaptığı, ancak tahminlerin ters çevrilmesiyle rastgeleden daha iyi sonuç elde edildiği gözlemlenmiştir.

Bu anti-prediktif davranış, makro değişkenlerin (USD/TRY, petrol, faiz) eğitim ve test dönemleri arasındaki korelasyon kırılmasıyla ilişkilidir. 21 BIST hissesinden 7'sinde (THYAO, PGSUS, HEKTS, SASA, KRDMD, AKGRT, ANSGR) anti-prediktif davranış tespit edilmiştir. Bonferroni-düzeltilmiş p = 0.00012.


📊 Canlı Dashboard

mcaware.streamlit.app — 130 CSV dosyasından yüklenen gerçek deney sonuçları:

Tab İçerik Veri Kaynağı
📊 Ana Bulgular — Metrik kartlar, confusion matrix, fold-bazlı analiz pooled_confusion_matrix.csv
🏗️ Mimari Karşılaştırma — 7 mimari bar chart, McNemar heatmap CROSS_ARCH_SUMMARY.csv, McNEMAR.csv
📈 Walk-Forward — 7-fold çizgi grafik, fold detay tablosu walkforward_RESULTS.csv
🔬 BiLSTM Evrim — v1 → v3c → attn_v6 gelişim süreci 9 adet *_SUMMARY.csv
🔍 Tahmin Analizi — ŷ histogram, CM, kümülatif doğruluk 13 *_PREDICTIONS.csv
🧪 Ablation — Feature grup, tekli özellik, pencere boyutu 3 *_ablation_RESULTS.csv
🌍 Cross-Market — BIST vs NASDAQ, sektör analizi nasdaq_RESULTS.csv, corr_*.csv
🗳️ Ensemble & Baseline — Voting, rule-based ML, teknik indikatör ensemble_*.csv, rule_based_*.csv
📐 İstatistiksel Kanıtlar — MI, label check, YHAT istatistikleri MI_SCORES.csv, LABEL_CHECK.csv
📊 Threshold & Diagnostics — Eşik grid heatmap, seed raporu THRESHOLD_GRID.csv, YHAT_STATS.csv
⚔️ Karşılaştırma — İki konfigürasyon arasında birebir metrik karşılaştırma Tüm OPTIMAL.csv
📷 Ek Görseller — 15 yeni CSV-tabanlı analiz grafiği 130 CSV'den üretilmiş

Dashboard'da sahte veri yoktur. Tüm çıktılar Sonuclar/ klasöründeki CSV dosyalarından yüklenmektedir.


🔑 Temel Bulgular

Bulgu Detay
MC Tuzağı Çözümü 700+ konfigürasyonda MC=0 (class_weight + MC-Aware loss)
Anti-Prediktif Davranış THYAO 15/15 anti-prediktif (p < 0.0001), 7/21 BIST hissesinde tespit
21 Hisse Genellenebilirlik Havacılık + spekülatif + emtia + sigorta sektörlerinde yaygın; bankacılık/otomotiv/holdingde yok
Mimariden Bağımsız BiLSTM×2, GRU, Conv1D, TCN, Transformer, SimpleRNN — 7 mimaride aynı örüntü
Pencere Uzunluğu Etkisi IN_LEN ≤ 5 → anti-prediktif; IN_LEN = 10 → kayboluyor (temporal resolution)
Walk-Forward v2 7-fold CV × 7 mimari × 3 seed — Fold 2 (COVID) ve Fold 7 (enflasyon) dönemlerinde tetikleniyor
Mekanizma Makro korelasyon kırılması (USDTRY: train 0.91 → test 0.41)
Makro Değişken Rolü USDTRY + Oil + TCMB çıkarılınca anti-prediktif tamamen kayboluyor
Cross-Market İncelenen NASDAQ karşılaştırmasında aynı örüntü görülmedi
Klasik ML Rule-based baseline'larda anti-prediktif davranış yok — yalnızca DL'de

🧪 Deney Serileri

# Deney Açıklama Konfigürasyon
1 BiLSTM v1–v6 Model evrim süreci (6 versiyon) 9 × 15 = 135
2 Multi-Architecture 7 DL mimarisi karşılaştırma 7 × 15 = 105
3 Walk-Forward CV v2 7-fold temporal CV × 7 mimari × 3 seed (val_data düzeltilmiş) 147
4 Feature Ablation full_13 vs no_ext_10 + tekli çıkarma 5 grup × 3 seed
5 IN_LEN Ablation v2 Pencere boyutu (2, 5, 10 gün) — OUT_LEN=3, gerçek TCMB 3 × 15 = 45
6 Cross-Market BIST THYAO vs NASDAQ AAPL 4
7 Multi-Stock BIST-3 (banka) + BIST-5 (holding) + BIST-5 (sigorta) + BIST-11 (makro) 204
8 Ensemble Hard + Soft Voting (7 mimari) 8
9 Rule-Based Baseline DecisionTree, RF, LR, OneR × 3 varlık 12
10 Teknik İndikatörler SMA, EMA, RSI, MACD, BBand, Stoch, CCI, WilliamsR, ADX, ROC 11
11 Threshold Grid Olasılık eşik optimizasyonu (0.30–0.70) 135

🏛️ Test Edilen Varlıklar (27)

Grup Varlıklar Anti-Prediktif?
BIST — Havacılık THYAO, PGSUS ✅ TAM (15/15)
BIST — Spekülatif SASA, HEKTS ✅ TAM (15/15)
BIST — Emtia/Demir-Çelik KRDMD ✅ GÜÇLÜ (13/15)
BIST — Otomotiv/Ticaret FROTO, DOAS ❌ Normal
BIST — Bankacılık YKBNK, ISCTR, AKBNK, GARAN ❌ Normal (Naive üstü)
BIST — Çeşitli TAVHL, KOZAL ➖ Nötr
BIST — Sigorta AGESA, AKGRT, ANSGR, RAYSG, TURSG (Sektörel test)
BIST — Holding ALARK, DOHOL, ENKAI, KCHOL, SAHOL (Sektörel test)
NASDAQ AAPL ❌ Normal
BES Fonları ALZ, AZS, AMZ (Fon testi)

📁 Proje Yapısı

MCAware/
├── app.py                  # Streamlit dashboard (12 tab, TR/EN)
├── requirements.txt        # Python bağımlılıkları
├── Dockerfile              # Docker container
├── README.md               # Bu dosya
├── Kodlar/                 # 61 aktif kod dosyası (R + Python + PowerShell)
│   ├── 01_prototypes/      # BiLSTM v1-v6 ve multi-architecture deneyleri
│   ├── 02_ablation/        # Feature, IN_LEN ve korelasyon analizleri
│   ├── 03_validation/      # Walk-forward, NASDAQ ve multi-stock doğrulaması
│   ├── 04_baseline/        # Klasik ML ve ensemble karşılaştırmaları
│   ├── 05_diagnostic/      # MI ve tanı testleri
│   ├── 06_ek_deneyler/     # Sektörel karşılaştırmalar
│   └── 07_araclar/         # Analiz ve raporlama araçları
├── Sonuclar/               # 130 CSV dosyası
│   ├── summaries/   (71)   # Deney özet tabloları
│   ├── predictions/ (19)   # Ham tahmin serileri
│   ├── diagnostics/ (26)   # İstatistiksel tanı verileri
│   └── thresholds/  (14)   # Eşik grid sonuçları
├── Gorseller/              # Makale kalitesinde grafikler (PNG)
├── Docs/                   # Dashboard ve kişisel araştırma raporu
└── Archive/                # Tarihsel başvuru materyalleri

🔧 Kurulum ve Çalıştırma

Dashboard (Streamlit)

git clone https://github.com/kuurtali/MCAware.git
cd MCAware
pip install -r requirements.txt
streamlit run app.py

Docker

docker build -t mcaware .
docker run -p 8501:8501 mcaware

Deneyleri Yeniden Üretme (R)

Rscript Kodlar/01_prototypes/mcaware_prototype_BiLSTM_v3_THYAO.R

Model eğitimi donanıma bağlı olarak 45-60 dakika sürebilir.

Not: R deneyleri ALZ_AZS_AMZ_Haftalik.xlsx veri dosyasını gerektirir. Bu dosya gizlilik nedeniyle repoya dahil edilmemiştir.


🇬🇧 English Summary

This project investigates the Majority Class (MC) trap in deep learning models for daily stock direction prediction on BIST (Borsa Istanbul).

After solving the MC trap with class_weight=balanced, we discovered that DL models exhibit anti-predictive behavior — systematically predicting the opposite direction — associated with macroeconomic correlation changes between training and test periods.

Finding Detail
MC Trap Solved 700+ configs achieve MC=0
Anti-Predictive 7/21 BIST stocks anti-predictive; THYAO 15/15 (p < 0.0001)
Architecture-Independent 7 DL architectures — all show same pattern in walk-forward
Window Length IN_LEN ≤ 5 → anti-predictive; IN_LEN = 10 → normal
Mechanism Macro-variable correlation breakdown (USDTRY: train 0.91 → test 0.41)
Cross-Market The tested NASDAQ comparison did not show the same pattern
Feature Ablation Removing macro variables completely eliminates anti-predictive behavior

Live Dashboard: mcaware.streamlit.app — 12 tabs, 130 CSV sources, 62 visuals, no mock data.


🔗 İlgili Projeler

Proje Açıklama
Direction Forecasting BIST-BES ARIMA vs LSTM vs 1D-CNN — majority class illüzyonu
VOL1 — ADAS Pricing Paradox 100K poliçe, Poisson + Gamma GLM
VOL2 — ADAS Pricing Paradox 200K poliçe, interaction terms, Gini Index
Actuarial Shiny Dashboard Logistic GLM + R Shiny risk skorlama

Tüm sonuçlar gerçek deneylerden elde edilmiştir. Yatırım tavsiyesi değildir.
MC-AWARE · Independent Research · 2026

About

MC-AWARE — Deep-learning analysis of majority-class traps and anti-predictive behavior in BIST direction forecasting

Topics

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages