Adding a News Source

Adding a News Source

새로운 뉴스 소스를 추가하는 방법을 안내합니다.

개요

HackDigest의 뉴스 소스는 토픽 기반으로 구성됩니다. 새 토픽을 추가하거나, 기존 토픽에 소스를 추가할 수 있습니다.

1. 새 토픽 추가

Step 1: Topic Enum 추가

src/models.py에 새 토픽을 추가합니다:

class Topic(str, Enum):
    TECH = "tech"
    STOCKS = "stocks"
    REALESTATE = "realestate"
    CRYPTO = "crypto"  # 새 토픽

Step 2: Fetcher 구현

src/fetchers/ 디렉토리에 새 fetcher 파일을 생성합니다:

# src/fetchers/crypto.py

"""Fetch cryptocurrency news from RSS sources."""

import logging
import re
import feedparser
from src.models import Article, Language, Topic

logger = logging.getLogger(__name__)

# 영어 소스
EN_FEEDS = [
    ("CoinDesk", "https://www.coindesk.com/arc/outboundfeeds/rss/"),
]

# 한국어 소스
KR_FEEDS = [
    ("Google 코인", "https://news.google.com/rss/search?q=비트코인+코인+가상화폐&hl=ko&gl=KR&ceid=KR:ko"),
]

# 키워드 필터
KEYWORDS = re.compile(
    r"\b(bitcoin|crypto|ethereum|blockchain|defi|nft|token|altcoin)\b",
    re.IGNORECASE,
)


def fetch(language: Language = Language.EN) -> list[Article]:
    """Fetch crypto news articles."""
    feeds = KR_FEEDS if language == Language.KO else EN_FEEDS
    articles = []
    
    for source_name, url in feeds:
        feed = feedparser.parse(url)
        for entry in feed.entries[:20]:
            title = entry.get("title", "")
            link = entry.get("link", "")
            
            if not title or not link:
                continue
            
            # 키워드 필터링 (영어 소스만)
            if language == Language.EN and not KEYWORDS.search(title):
                continue
            
            articles.append(Article(
                title=title,
                url=link,
                hn_url="",
                score=0,
                comment_count=0,
                topic=Topic.CRYPTO,
            ))
    
    # 중복 제거 (URL 기준)
    seen = set()
    unique = []
    for a in articles:
        if a.url not in seen:
            seen.add(a.url)
            unique.append(a)
    
    return unique[:5]  # 상위 5개

Step 3: Fetcher 등록

src/fetchers/__init__.py에 새 fetcher를 등록합니다:

from src.fetchers.crypto import fetch as fetch_crypto

FETCHER_MAP = {
    Topic.TECH: fetch_tech,
    Topic.STOCKS: fetch_stocks,
    Topic.REALESTATE: fetch_realestate,
    Topic.CRYPTO: fetch_crypto,  # 새 추가
}

# 언어 의존적 토픽 목록에 추가 (언어별 다른 소스를 사용하는 경우)
LANGUAGE_DEPENDENT_TOPICS = {Topic.STOCKS, Topic.REALESTATE, Topic.CRYPTO}

Step 4: 구독 페이지 업데이트

docs/index.html과 Cloudflare Worker의 ALLOWED_TOPICS에 새 토픽을 추가합니다:

// worker/src/index.js
const ALLOWED_TOPICS = ['tech', 'stocks', 'realestate', 'crypto'];

Step 5: Workflow 업데이트

subscribers.yml의 토픽 체크박스에 새 항목을 추가합니다.

2. 기존 토픽에 소스 추가

기존 fetcher에 RSS 피드를 추가하는 것은 간단합니다.

예를 들어, 한국어 주식 뉴스에 네이버 금융 RSS를 추가하려면:

# src/fetchers/stocks.py

KR_STOCK_FEEDS = [
    ("Google 주식+코스피", "https://news.google.com/rss/search?q=..."),
    ("Google 증시+주가", "https://news.google.com/rss/search?q=..."),
    ("네이버 금융", "https://rss.news.naver.com/..."),  # 새 추가
]

3. Fetcher 구현 가이드라인

필수 인터페이스

def fetch(language: Language = Language.EN) -> list[Article]:
    """
    Args:
        language: 구독자 언어 (Language.KO 또는 Language.EN)
    
    Returns:
        list[Article]: 최대 5개의 기사 목록
    """

Article 데이터 모델

@dataclass
class Article:
    title: str           # 기사 제목
    url: str             # 원본 기사 URL
    hn_url: str          # Hacker News URL (HN이 아닌 경우 빈 문자열)
    score: int           # 점수/인기도 (없으면 0)
    comment_count: int   # 댓글 수 (없으면 0)
    topic: Topic         # 토픽
    summary: str = ""    # 요약 (summarizer가 채움)

베스트 프랙티스

1. Rate Limiting — API 호출에 적절한 딜레이/재시도 로직 추가
2. 키워드 필터링 — 관련 없는 기사 필터링으로 품질 유지
3. 에러 핸들링 — 소스 불가 시 빈 리스트 반환 (전체 파이프라인 중단 방지)
4. 중복 제거 — URL 기준으로 중복 기사 제거
5. 결과 제한 — 최대 5~10개로 제한 (이메일 길이 관리)
6. 로깅 — logger.info/warning/error로 적절한 로깅

테스트 방법

# 특정 fetcher만 테스트
python -c "
from src.fetchers.crypto import fetch
from src.models import Language
articles = fetch(Language.KO)
for a in articles:
    print(f'{a.title} — {a.url}')
"