Attention Visualization

Attention Visualization adalah teknik Explainable AI yang sangat powerful untuk model berbasis Transformer (seperti Vision Transformer di Muse Spark atau model di SITS).

Teknik ini menunjukkan bagian mana yang paling “diperhatikan” oleh AI ketika membuat keputusan.

Cara Kerja Attention Visualization

1. Model Transformer memiliki Attention Heads di setiap layer.
2. Setiap attention head menghitung bobot (attention weight) antar bagian input (misalnya antar patch gambar atau antar token).
3. Kita mengekstrak attention weights tersebut dan memvisualisasikannya sebagai heatmap.

Kelebihan:

• Sangat intuitif untuk data visual (gambar dari drone atau kacamata).
• Membantu memahami fokus AI (apakah AI benar-benar melihat senjata atau hanya warga sipil?).

Kekurangan:

• Sulit diinterpretasi pada model sangat kompleks.
• Bisa misleading jika tidak dikombinasikan dengan teknik lain.

---

Contoh Simulasi Code Python (Attention Visualization)

import torch
import matplotlib.pyplot as plt
import seaborn as sns
import numpy as np

# Contoh sederhana: Attention weights dari model Transformer
# Misalnya untuk analisis gambar dari drone SITS

# Simulasi attention weights (8x8 patches)
attention_weights = np.random.rand(8, 8)  # 8x8 grid patches
attention_weights = attention_weights / attention_weights.sum()  # normalize

# Visualisasi Heatmap
plt.figure(figsize=(10, 8))
sns.heatmap(attention_weights, 
            annot=True, 
            cmap='viridis', 
            cbar=True,
            xticklabels=[f'Patch {i}' for i in range(8)],
            yticklabels=[f'Patch {i}' for i in range(8)])

plt.title('Attention Visualization - SITS Drone Vision')
plt.xlabel('Input Patches (Target Area)')
plt.ylabel('Attention Focus')
plt.tight_layout()
plt.show()

# Contoh interpretasi untuk kasus nyata:
print("Contoh Interpretasi:")
print("- Patch 3,4 memiliki attention weight tertinggi (0.28)")
print("- AI paling fokus pada area tengah gambar (kemungkinan warga sipil)")
print("- Patch pinggir hampir diabaikan (mungkin bukan target utama)")

Penerapan pada Militer AI Israel

• SITS (Server in the Sky):
  Attention map menunjukkan bagian mana dari gambar drone yang paling memengaruhi keputusan targeting. Bisa membuktikan AI lebih fokus pada kerumunan warga daripada keberadaan senjata.

• Lavender:
  Untuk data tabular, attention visualization bisa menunjukkan fitur mana (lokasi HP, pola komunikasi) yang paling “diperhatikan” saat menentukan skor ancaman.

• NameTag (Meta Glasses):
  Attention map pada pengenalan wajah bisa menunjukkan apakah AI terlalu fokus pada atribut etnis atau pakaian tertentu.

Manfaat Forensik

• Membuktikan bahwa AI tidak melihat konteks secara adil.
• Menunjukkan bias visual (contoh: area Gaza lebih sering dianggap ancaman).
• Memberikan bukti visual yang kuat untuk laporan investigasi atau pengadilan.

Kesimpulan Tajam:

Attention Visualization memungkinkan kita “melihat seperti yang dilihat AI”.
Ini sangat berbahaya karena bisa membongkar bahwa keputusan mematikan sering didasarkan pada pola yang salah, bias, atau tidak manusiawi.

Di tangan aktivis, teknik ini menjadi alat untuk membuktikan bahwa mesin Israel bukan hanya membunuh — tapi juga membunuh secara buta dan tidak adil.

---

Partial Dependence Plot