Home

Language / Dil   EN English  ·  TR Türkçe

TC-SGB-API-to-List — Home

Overview

TC-SGB-API-to-List is an automated threat intelligence pipeline that ingests Indicator of Compromise (IoC) data from the T.C. Siber Güvenlik Başkanlığı (Cyber Security Presidency) public API, processes it through validation, normalization, deduplication, and quality control stages, and outputs structured threat intelligence in 16 interoperable formats.

---

Quick Facts

Property	Value
API Source	TC SGB Threat Intelligence API (https://siberguvenlik.gov.tr)
Auth Required	None (public API)
Pipeline Stages	Fetch → Validate → Normalize → Score → Dedup → Output
Output Formats	16 (JSON, CSV, NextDNS, AdGuard, Pi-hole, dnsmasq, Unbound, RPZ, Technitium, MikroTik, nftables, ipset, Suricata, CrowdSec, YAML, SQLite)
Python Version	3.11+
License	MIT
Test Suite	487 tests, 99% coverage

---

Architecture at a Glance

TC SGB API ──► Fetch ──► Validate ──► Normalize ──► Score ──► Dedup ──► Output (16 formats)

---

Key Features

• Async HTTP fetching with httpx, retry logic, and rate limiting
• Pydantic data models with strict validation
• Cross-type deduplication with metadata merging
• Quality scoring with false-positive risk detection
• 16 output formats including NextDNS, AdGuard, Pi-hole, dnsmasq, Unbound, RPZ, Technitium, MikroTik, nftables, ipset, Suricata, CrowdSec, CSV, JSON, YAML, SQLite
• CI/CD via GitHub Actions (lint, type check, test, security scan)
• Dual-language documentation (English / Turkish)

---

Getting Started

git clone https://github.com/bayraktarozcan/TC-SGB-API-to-List.git
cd TC-SGB-API-to-List
pip install -e .

# Fetch all IoC data
tc-sgb fetch

# Generate all output formats
tc-sgb generate -i Output/raw_records.json

---

Wiki Pages

• Architecture — System design and component overview
• Data Flow — End-to-end data pipeline walkthrough
• Module Architecture — Module responsibilities and interfaces
• Repository Structure — Directory layout and file purposes
• API Analysis — TC SGB API specification and behavior
• Data Model — Pydantic models and enums
• Threat Model — STRIDE threat analysis
• Security Analysis — Security posture and hardening
• License Analysis — Legal and licensing considerations
• Test Strategy — Test suite architecture and coverage
• Regression Strategy — Regression testing methodology
• Performance Strategy — Performance benchmarks and optimization
• Versioning Strategy — Semantic versioning approach
• Publishing Strategy — Distribution and publishing
• Maintenance Plan — Ongoing maintenance procedures
• Risk Analysis — Risk assessment and mitigation
• Roadmap — Future plans and milestones
• Legal Notices — Legal and compliance notices
• Troubleshooting — Fixes for common failures

---

TC-SGB-API-to-List — Ana Sayfa

Genel Bakış

TC-SGB-API-to-List, T.C. Siber Güvenlik Başkanlığı (TC SGB) kamu API'sinden İhlal Göstergesi (IoC) verilerini otomatik olarak çekip doğrulama, normalleştirme, tekilleştirme ve kalite kontrol aşamalarından geçiren, 16 uyumlu biçimde yapılandırılmış tehdit istihbaratı üreten bir otomatik tehdit istihbaratı hattıdır.

---

Temel Bilgiler

Özellik	Değer
API Kaynağı	TC SGB Tehdit İstihbaratı API'si (https://siberguvenlik.gov.tr)
Kimlik Doğrulama	Gerekli değil (kamu API'si)
Hat Aşamaları	Çekme → Doğrulama → Normalleştirme → Puanlama → Yineleme Kaldırma → Çıktı
Çıktı Formatları	16 (JSON, CSV, NextDNS, AdGuard, Pi-hole, dnsmasq, Unbound, RPZ, Technitium, MikroTik, nftables, ipset, Suricata, CrowdSec, YAML, SQLite)
Python Sürümü	3.11+
Lisans	MIT
Test Takımı	487 test, %99 kapsama

---

Mimari Özet

TC SGB API ──► Çekme ──► Doğrulama ──► Normalleştirme ──► Puanlama ──► Tekilleştirme ──► Çıktı (16 biçim)

---

Temel Özellikler

• Asenkron HTTP çekme httpx ile, yeniden deneme mantığı ve hız sınırlama ile
• Pydantic veri modelleri sıkı doğrulama ile
• Çapraz tür yineleme kaldırma meta veri birleştirme ile
• Kalite puanlama sahte pozitif risk tespiti ile
• 16 çıktı biçimi NextDNS, AdGuard, Pi-hole, dnsmasq, Unbound, RPZ, Technitium, MikroTik, nftables, ipset, Suricata, CrowdSec, CSV, JSON, YAML, SQLite dahil
• CI/CD GitHub Actions üzerinden (lint, tip kontrolü, test, güvenlik taraması)
• Çift dilli dokümantasyon (İngilizce / Türkçe)

---

Hızlı Başlangıç

git clone https://github.com/bayraktarozcan/TC-SGB-API-to-List.git
cd TC-SGB-API-to-List
pip install -e .

# Tüm IoC verilerini çek
tc-sgb fetch

# Tüm çıktı biçimlerini üret
tc-sgb generate -i Output/raw_records.json

---

Wiki Sayfaları

• Mimari — Sistem tasarımı ve bileşen genel bakışı
• Veri Akışı — Uçtan uca veri hattı yürüyüşü
• Modül Mimarisi — Modül sorumlulukları ve arayüzleri
• Depo Yapısı — Dizin yerleşimi ve dosya amaçları
• API Analizi — TC SGB API spesifikasyonu ve davranışı
• Veri Modeli — Pydantic modelleri ve numaralandırmalar
• Tehdit Modeli — STRIDE tehdit analizi
• Güvenlik Analizi — Güvenlik duruşu ve sertleştirme
• Lisans Analizi — Hukuki ve lisanslama hususları
• Test Stratejisi — Test takımı mimarisi ve kapsamı
• Regresyon Stratejisi — Regresyon test metodolojisi
• Performans Stratejisi — Performans karşılaştırmaları ve optimizasyon
• Sürüm Stratejisi — Semantik sürümleme yaklaşımı
• Yayın Stratejisi — Dağıtım ve yayınlanma
• Bakım Planı — Sürekli bakım prosedürleri
• Risk Analizi — Risk değerlendirmesi ve azaltma
• Yol Haritası — Gelecek planları ve dönüm noktaları
• Yasal Bildirimler — Hukuki ve uyum bildirimleri
• Sorun Giderme — Sık arızaların düzeltmeleri