Investing Dragon - Market Data Intelligence Layer

DragonQuant 플랫폼의 데이터 인텔리전스 계층입니다. 20+ 소스에서 시장 데이터를 자동 수집하고, 구조화하여 퀀트 트레이딩 엔진(crypto)에 시그널 원천 데이터를 공급합니다.

Platform Position

DragonQuant Platform
┌─────────────────────────────────────────────────────────────────────┐
│                                                                     │
│  ┌─────────────────────────┐      ┌─────────────────────────────┐  │
│  │  investing (이 저장소)    │      │  crypto                     │  │
│  │  Data Intelligence       │─────▶│  Quant Trading Engine        │  │
│  │                          │      │                              │  │
│  │  20+ 소스 자동 수집       │      │  14-Component MI Signal     │  │
│  │  Collectors              │      │  6 Technical Indicators     │  │
│  │  중복 제거 + 감성 분석    │      │  Kelly + CVaR 리스크 제어    │  │
│  │  Jekyll 사이트 발행       │      │  Upbit/Bithumb 자동매매     │  │
│  └─────────────────────────┘      └─────────────────────────────┘  │
│                                                                     │
│  연동: _posts/*.md → StructuredPostParser → Market Intelligence     │
└─────────────────────────────────────────────────────────────────────┘

전체 플랫폼 아키텍처: docs/platform-architecture.md

Features

데이터 수집 (13 Collectors)

수집기	주기	주요 소스	카테고리
collect_crypto_news	6h	CryptoPanic, Google News, 거래소 공지, Rekt News	crypto-news
collect_stock_news	6h	Google News, Yahoo Finance, yfinance, KRX, Alpha Vantage	stock-news
collect_coinmarketcap	6h	CoinMarketCap API, CoinGecko API (fallback)	crypto-news
collect_defi_llama	6h	DeFi Llama API (프로토콜/체인 TVL)	crypto-news
collect_social_media	12h	Telegram 채널, Twitter/X API v2	social-media
collect_regulatory	12h	SEC, CFTC, Fed, FSC, FSA, MAS, ESMA, FCA (RSS)	regulation
collect_political_trades	일간	의회 거래공시, SEC EDGAR, 한국 정치인 자산	political-trades
collect_worldmonitor_news	일간	WorldMonitor RSS (지정학, 에너지)	world-monitor
collect_fmp_calendar	12h	FMP 경제 캘린더/실적 일정, 섹터 퍼포먼스	market-analysis
collect_market_indicators	평일 2회	CNN Fear & Greed, VIX/DXY/원자재, 시장 폭/마진 뉴스	market-analysis
collect_geopolitical	12h	Polymarket 지정학 리스크 시장 데이터	geopolitical-risk
collect_defi_yields	6h	DeFi Llama Yields API (이자율)	crypto-news

콘텐츠 생성 (6 Generators)

생성기	스케줄	출력
generate_market_summary	매일	시장 분석 + 시각화 이미지 (히트맵, 게이지, 카드)
generate_daily_summary	매일	우선순위별 종합 뉴스 요약 (P0/P1/P2)
generate_weekly_digest	매주 일	주간 다이제스트 (카테고리별 분석)
generate_weekly_report	매주 월 09:00 KST	주간 운영·수집 지표 리포트
generate_ops_10am_digest	매일 10:00 KST	오전 운영 다이제스트 (Slack)
generate_og_images	push 트리거	포스트 OG/소셜 카드 이미지

crypto repo 연동

이 저장소의 _posts/*.md는 crypto 저장소의 StructuredPostParser가 파싱하여 매매 시그널에 반영합니다:

추출 데이터	시그널 가중치	파싱 소스
Fear & Greed Index	0.17	market-analysis 포스트
소셜 감성	0.12	social-media 포스트 (VADER + 한국어 키워드)
정치 리스크	0.08	political-trades 포스트
VIX 변동성	0.08	stock-news 포스트
보안 이벤트	0.07	crypto-news (해킹 금액 추출)
한국 시장	0.07	stock-news (KOSPI/KOSDAQ/USD-KRW)
BTC 도미넌스	0.06	crypto-news 포스트
규제 시그널	0.04	regulatory 포스트

Architecture

┌─────────────────────────────────────────────────────────────────┐
│                    GitHub Actions (Cron + Push)                  │
│  Concurrency Group: collect-data  │  Cron Schedule  │  Deploy   │
└────────┬────────────────────┬──────────────────────┬────────────┘
         │                    │                      │
         ▼                    ▼                      ▼
┌─────────────────┐  ┌─────────────────┐  ┌──────────────────┐
│   Collection    │  │   Processing    │  │   Presentation   │
│                 │  │                 │  │                  │
│   Collectors    │─▶│   Generators    │─▶│  Jekyll Site     │
│  20+ Sources    │  │  Image Gen      │  │  GitHub Pages    │
│  Dedup Engine   │  │  Summarizer     │  │  OG/SNS 최적화   │
│  Enrichment     │  │  OG Image Gen   │  │  Categories      │
└────────┬────────┘  └────────┬────────┘  └──────────────────┘
         │                    │
         ▼                    ▼
┌─────────────────────────────────────────┐
│  _state/*.json  │  _posts/*.md          │
│  SHA256 + Fuzzy │  → crypto repo 소비    │
└─────────────────────────────────────────┘

Quick Start

1. Clone & Local Dev

git clone https://github.com/Twodragon0/investing.git
cd investing
bundle install
bundle exec jekyll serve    # http://localhost:4000

2. Python 수집기 실행

pip install -r scripts/requirements.txt

# 수집기 (API 키 없어도 동작, Graceful degradation)
python scripts/collect_crypto_news.py
python scripts/collect_stock_news.py

# 생성기
python scripts/generate_market_summary.py
python scripts/generate_daily_summary.py

2.1 Pre-commit 훅 설치 (권장)

저장소는 gitleaks(시크릿 탐지)와 scripts/common/ 상대 임포트 강제(#773 회귀 방지) 훅을 .pre-commit-config.yaml 에 등록해 두었습니다. 로컬에서 실제 동작하려면 최초 1회 설치가 필요합니다.

pip install pre-commit       # 또는 brew install pre-commit
pre-commit install           # .git/hooks/pre-commit 에 자동 연결

# (선택) 전체 파일에 한 번 돌려 상태 확인
pre-commit run --all-files

설치하지 않으면 CI에서만 검증되고 로컬 커밋 시에는 차단되지 않으므로, 클론 직후 바로 실행해 두는 것을 권장합니다.

This is the beginning of the README. Read the rest at the original. Read the full README ↗