1. 30초 요약

2. 5분 요약

무엇을 하는 시스템인가

비트코인(BTC) 1시간봉 가격을 입력받아, 현재 가격 위·아래로 몇 개의 매수/매도 주문을 얼마나 떨어진 위치에 깔아둘지를 매 시간 결정하는 자동 매매 시스템입니다. 가격이 그 주문에 닿으면 자동 체결되어 작은 차익을 누적합니다. 이것이 "그리드 트레이딩"입니다.

가격 차트:        AI 가 매 시간 매수/매도 그리드 폭을 결정:

  ┃                    sell_mkt  ━━ (윗쪽 매도, 시장가 기반)
  ┃ ╱╲                 sell_cost ━━ (윗쪽 매도, 원가 회복 기반)
  ┃╱  ╲    ← 현재가
  ┃    ╲   buy_hi   ━━ (아래쪽 매수, 가까이)
  ┃     ╲╱ buy_lo   ━━ (아래쪽 매수, 멀리)

가격 방향 예측을 하지 않습니다. 변동성 자체에서 수익을 추구합니다.

왜 강화학습인가

"그리드 폭을 얼마로 할지"는 시장 변동성에 따라 달라져야 합니다. 단순히 고정된 규칙(ATR 비례, 본 논문의 baseline) 으로 결정할 수도 있지만, 상태에 따라 동적으로 폭을 조정하면 더 나은 성능이 가능할 거라는 가설로 강화학습(PPO) 정책에게 그리드 폭 결정을 맡깁니다.

왜 "보상 함수"가 핵심인가

강화학습은 "보상이 높은 행동을 더 많이 하자"라는 단순한 알고리즘입니다. 따라서 보상이 무엇이냐가 정책의 성격을 직접 결정합니다.

• 그냥 수익률을 보상으로 주면 → "위험하든 말든 일단 수익을 많이 내자"
• 손실에 더 큰 패널티를 주면 → "위험을 회피하자"
• 위험 조정 수익(샤프)을 보상으로 주면 → "수익은 적어도 변동성을 줄이자"
• 인간의 손실 회피 심리를 보상으로 주면 → "이익은 빨리 실현, 손실은 절대 피하자"

본 논문은 이 네 가지를 같은 환경에서 비교합니다.

핵심 발견 4가지

학술적 기여 (왜 이 논문이 의미 있는가)

1. Reward 변형 효과의 통계적 비교 프레임워크: 4 reward × 10 시드 × 1M step, Cohen's d / 부트스트랩 / IQM / CVaR 등 신뢰성 확보.
2. 시나리오 D 발견: 사전 등록한 시나리오 A/B/C 어디에도 들지 않는 새로운 결과 형태 (Pareto frontier).
3. Reward → 행동 → 결과의 인과 사슬 정량화: trajectory 1.04M step 분석.
4. Prospect theory가 RL trading 정책에 부여하는 OOS 안전성의 첫 정량 확인 (본 논문이 알기로는).

3. 배경 지식 — 전문지식 없이 따라오기

논문의 abstract만 봐도 "PPO", "ATR", "DSR", "CPCV" 등 약어가 잔뜩입니다. 이 절은 모든 약어를 풀이합니다. 이미 익숙하다면 건너뛰어도 좋습니다.

     현재가 100,000원

매도 호가 ─────  101,500원  ← sell_market (시장가에서 1.5% 위)
매도 호가 ─────  102,800원  ← sell_cost   (원가에서 2.8% 위)

   현재가  ▼

매수 호가 ─────   99,200원  ← buy_hi (현재가에서 0.8% 아래)
매수 호가 ─────   98,000원  ← buy_lo (현재가에서 2% 아래)

4. 이 연구가 답하려는 질문

4.1 한 줄 RQ

BTC 그리드 트레이딩에서 reward 함수의 설계가 RL 정책의 행동 패턴과 일반화 성능에 어떤 영향을 미치는가? 특히, 어떤 reward 함수 하에서 RL이 ATR 규칙 기반을 초과하며 (혹은 초과하지 못하며), 그 메커니즘은 무엇인가?

4.2 왜 이 질문이 의미 있는가

기존 강화학습 트레이딩 연구의 대부분은 알고리즘 비교, 입력 데이터 변경, state 설계 비교에 집중되어 있고, 보상 함수 자체를 바꿔가며 통제 비교한 연구는 드뭅니다.

본 논문이 다루는 4가지 보상은 강화학습/행동경제학의 서로 다른 이론적 계보에서 나옵니다:

• sym = 표준 PnL (기본형)
• asym = 위험 회피 효용의 1차 근사
• dsr = Moody(2001)의 differential Sharpe — 위험 조정 수익 직접 최적화
• pt = Kahneman & Tversky(1979)의 prospect theory — 행동경제학

같은 환경 위에서 이 네 가지의 효과를 분리 측정하는 것이 학술적 기여 포인트입니다.

4.3 5가지 가설과 결과

5. 연구 전체 흐름 한눈에 보기

5.1 마스터 흐름도

5.2 왜 그 순서인가

6. 핵심 도구 ① — 4가지 보상 함수

6.1 직관적 설명

각 보상 함수는 AI에게 "잘했다/못했다"를 알려주는 점수표입니다. 모두 같은 입력(1시간 동안 자산이 얼마나 늘었나 = x)을 받아 점수를 출력합니다.

6.2 함수 모양 비교 그림

6.3 왜 dsr이 특별한가

다른 세 함수(sym, asym, pt)는 "1시간 PnL만 입력하면 보상이 나옴"입니다. dsr만 "1시간 PnL + 과거 윈도우의 평균/분산"이 입력입니다. 이 메모리 구조가 정책에게 "긴 holding을 선호하라"를 학습시키는 직접적 원인입니다 (논문 §6.2).

sym(x), asym(x), pt(x)    → 입력: x 한 개
dsr(x | A_prev, B_prev)   → 입력: x + 과거 평균 A_prev + 과거 분산 B_prev
                                       ↑
                                 EWMA로 1.2일 윈도우 유지

이 차이가 본 논문 후반의 DSR 양면성(in-sample 우위 + OOS 실패)의 근원입니다.

6.4 하이퍼파라미터는 어떻게 정했나

각 변형의 하이퍼파라미터(β, η, α, λ)는 Optuna로 30 trials × 200k steps 자동 탐색해서 검증셋 Sharpe를 최대화하는 값을 골랐습니다:

7. 핵심 도구 ② — 환경 설계 (MDP)

7.1 한눈에 보기

7.2 State (7개 숫자) — 정책이 매 시간 보는 정보

7.3 Action (2개 숫자)

• aggressiveness ∈ [0, 1] → 매수 호가 2개의 위치 결정
• profit_target ∈ [0, 1] → 매도 호가 2개의 위치 결정

이 두 숫자가 다음 공식에 들어가서 4개의 호가 가격이 결정됩니다:

buy_hi 가격     = 현재가 × (1 − ATR/현재가 × (A_b + B_b × aggressiveness))
buy_lo 가격     = 현재가 × (1 − ATR/현재가 × (C_b + D_b × aggressiveness))
sell_mkt 가격   = 현재가 × (1 + ATR/현재가 × (A_s + B_s × profit_target))
sell_cost 가격  = 평단가 × (1 + ATR/현재가 × (C_s + D_s × profit_target))

핵심: ATR이 자동으로 변동성을 흡수하고, 정책의 action은 그 위에서 "추가로 얼마나 좁게/넓게"를 결정합니다.

7.4 ATR 베이스라인 — 비교 대상

본 논문의 모든 RL 결과는 "ATR 베이스라인"(=강화학습 없이 같은 공식, action=[0,0] 고정) 과 비교됩니다.

• Val Sharpe: 1.378 (no slippage), 0.835 (with slippage 0.02%)
• Test Sharpe: -0.055

ATR 베이스라인은 단순 규칙이지만 변동성 자체에 적응하는 합리적 정책이므로, RL이 이를 초과해야 "강화학습의 의미"가 있다는 기준선입니다.

7.5 사이클 정의

• 사이클 시작: 보유량 0 → 첫 매수 체결
• 사이클 종료: 보유량이 다시 0으로 회복 (전량 매도)
• 사이클 시작 시 자본을 n_splits=2로 나누어 본 사이클에 절반 투입
• 그 절반을 다시 n_buy_orders=2로 나누어 매수 호가 2개에 분배

8. 실험 단계별 흐름

8.1 각 실험의 한 줄 의미

8.2 데이터 분할

2017-08-17 ────── Train ────── 2020-12-31  (~30,000 봉, 학습 데이터)
2021-01-01 ─── Validation ──── 2023-12-31  (~26,000 봉, 모델 선택)
2024-01-01 ──── Test (봉인) ── 2026-04     (~20,000 봉, 마지막에만 1회 열람)

9. 4가지 핵심 발견

9.1 발견 1 — 시나리오 D (Pareto 프론티어)

한 줄: 4 reward 변형이 단일 winner가 아니라 두 그룹으로 갈라지며, Sharpe-MDD 평면에서 trade-off frontier를 형성한다.

사전에 등록한 시나리오

논문은 결과를 받기 전에 3가지 시나리오를 등록했습니다 (사후 합리화 방지):

실제 결과는 A/B/C 어디에도 들지 않았습니다. → 사후 시나리오 D를 정의:

시나리오 D: 4 변형 모두 ATR을 초과하지만 단일 winner는 없으며, Sharpe-MDD 평면에서 두 클러스터의 Pareto-유사 frontier를 형성한다.

통계적 분리

같은 클러스터의 정책들이 다른 클러스터보다 2.22배 더 행동이 비슷합니다.

9.2 발견 2 — Winner Reversal (세 환경 세 우승자)

한 줄: 평가 환경이 바뀌면 우승자도 매번 바뀐다.

9.3 발견 3 — Prospect Theory의 OOS 강건성 (H5, 본 논문 핵심)

한 줄: 인간의 손실 회피 심리를 reward로 쓰면 AI가 "짧게 잡고 빠지는" 정책을 학습해서 미공개 강세장에서도 안정적이다.

Test (2024+) 결과

ATR baseline Test Sharpe = -0.055.

왜 pt가 살아남는가? — 메커니즘

대조적으로:

Hold duration 분포 (Phase 16d)

9.4 발견 4 — DSR의 양면성

같은 reward formulation의 같은 행동 효과 (긴 holding) 가 평가 환경에 따라 반대 부호로 작동한다.

Val ↔ Test generalization gap

9.5 보너스 — 시장 분포 이동이 진짜 원인

"Val→Test gap이 정책이 변한 탓인가, 시장이 변한 탓인가?"를 정직하게 확인했습니다.

→ 정책은 robust하게 같은 행동을 출력하지만, 그 행동이 다른 시장에서 다른 결과를 낳습니다. OOS 성능 차이의 원인은 정책의 변화가 아니라 시장의 distribution shift입니다.

10. 본 논문 그림 한 장씩 읽기

논문 PDF를 펼쳐서 도식이 나올 때 이 절을 옆에 두고 보면 됩니다.

10.1 exp032b — 4 reward 메인 비교

Fig: Boxplot of Sharpe (4 variants)

Fig: Cohen's d Heatmap

10.2 exp032c — 메커니즘 분석

Fig: Pareto scatter (가장 중요한 한 장)

Fig: Action distribution (3 regime × 4 variant)

Fig: Behavior per regime (trade/hold rate)

Fig: Policy distance matrix

10.3 exp033 — Slippage 강건성

10.4 exp034 — CPCV 다중 분할

Fig: CPCV Sharpe Boxplot

Fig: CPCV Heatmap (variant × path)

10.5 exp035 — Test 봉인 해제

Fig: Test Sharpe Boxplot

Fig: Val vs Test 비교

10.6 Phase 15 — 분포 이동 분석

Fig: Val vs Test 시장 분포

Fig: 세 환경 winner 비교

10.7 Phase 16d — Test 행동 분석

Fig: Hold duration 분포

Fig: Val/Test 정책 행동 안정성

11. 인과 사슬 — 한 줄 정리

12. 자주 묻는 질문 (FAQ)

13. 한계와 다음 단계

13.1 정직하게 인정한 한계

13.2 정직하게 인정한 추가 사실

• exp027_rl 사전 증거의 환경 의존성: Phase 2 후기 (Env-v3) 에서 asym이 Test Sharpe 1.955로 매우 강했으나, 본 논문 canonical Env-v4 에서 재실행하니 sym (1.871) 보다 낮음. 환경 변경 효과 > reward variant 효과라는 사실을 §8.2에서 정직 인정.
• B&H baseline의 강세장 우위: 2024+ BTC가 +78% 상승하는 환경에서 buy-and-hold Sharpe 0.757은 모든 RL을 초과. 단, MDD 50% vs pt MDD 2.3% → risk-adjusted (Calmar) 로는 pt 약 10배 우위. 본 논문의 "pt OOS robust" 주장은 risk-adjusted return의 의미에서 성립.

13.3 Defense 우선순위가 높은 future work 3개

1. Multi-asset 검증 — pt OOS robust를 주식 ETF, FX 등에서 검증. 짧은-hold 메커니즘의 일반화 정량.
2. Meta-RL adaptive reward parameter — (α, λ) 를 시변으로 online 적응하는 meta-RL.
3. Domain Randomization 통합 — DR로 dsr의 OOS 실패가 회복되는지 정량.

14. 용어집

15. 더 자세히 읽고 싶다면

15.1 본 논문 직접 읽기

• 한글: main_ko.pdf
• 영문: main.pdf
• 추천 순서 (비전문가): Abstract → §1 Introduction → §4 Phase 1 negative finding → §5 Pareto frontier → §6 메커니즘 → §7.3 OOS → §9 Conclusion

15.2 프로젝트 부속 문서

15.3 학습 자료 (이 분야를 더 공부하고 싶다면)

15.4 코드 / 데이터 접근

GitHub: github.com/cosmicpotato2047/capstone-rl-trading

주요 디렉토리:

• src/ — 환경, 정책, 학습 로직
• scripts/ — 실험 실행 진입점
• config/experiment_config.yaml — 모든 수치 파라미터
• data/processed/ — 전처리된 BTC 1시간봉 (test는 봉인)
• reports/expXXX/ — 실험별 결과 figure + csv