QuantaAlpha: LLM이 진화 알고리즘으로 주식 알파 팩터를 발굴하는 방법

📄 논문: QuantaAlpha: An Evolutionary Framework for LLM-Driven Alpha Mining (Jun Han, Shuo Zhang, Wei Li 외 24인 - 상하이재경대(SUFE), QuantaAlpha社, Stanford, 북경대(PKU), 2026.02)

1. 배경: 알파 팩터란 무엇인가?

퀀트 투자의 핵심 목표는 알파(Alpha), 즉 시장 전체 수익률(베타)을 초과하는 초과 수익을 만드는 것입니다. 이를 위해 알파 팩터(Alpha Factor) 를 발굴합니다.

알파 팩터란 주식의 미래 수익률을 예측하는 수식입니다. 예를 들어:

• 모멘텀 팩터: 최근 6개월간 수익률이 높은 종목은 향후에도 오를 가능성이 높다
• 평균회귀 팩터: 단기 급락한 종목은 다시 올라올 가능성이 높다
• 거래량 팩터: 비정상적으로 거래량이 늘어난 종목에는 정보가 있다

수학적으로는 N개 종목, T개 시점, D개 특성값을 담은 시장 데이터 행렬 X ∈ R^(N×T×D) 에서, 다음 시점의 횡단면 수익률 y(t+1) 을 예측하는 함수 f를 찾는 문제입니다.

f(X_t) → y(t+1)

목표는 예측력(IC)을 극대화하면서도 불필요하게 복잡하지 않은 팩터를 찾는 것입니다.

왜 어려운가?

주식 시장은 매우 다루기 어려운 환경입니다:

1. 신호 대 잡음 비율이 극도로 낮다: 의미 있는 패턴이 시장 노이즈에 묻혀있음
2. 비정상성(Non-stationarity): 시장 체제가 계속 변함 (ex: 대형주 장세 → 소형주 테마주 장세)
3. 알파 붕괴(Alpha Decay): 좋은 팩터가 알려지면 많은 투자자가 따라하고, 팩터의 효과가 사라짐
4. 고차원성: 가격, 거래량, 재무 데이터 등 수백 개의 변수 조합이 가능

2. 기존 방법들과 그 한계

전통적 머신러닝/딥러닝

XGBoost, LSTM, Transformer 등의 딥러닝 모델을 이용한 수익률 예측은 이미 많이 연구됐습니다. 하지만 이들은 블랙박스이며 “왜 이 종목이 오르는가”를 설명할 수 없습니다.

LLM 기반 에이전트 프레임워크 (1세대)

최근에는 LLM을 활용해 “퀀트 연구원의 작업 흐름”을 자동화하려는 시도들이 나왔습니다:

• RD-Agent: 연구(Research) 에이전트와 개발(Development) 에이전트를 분리해 팩터+모델을 공동 최적화
• AlphaAgent: 팩터 생성 단계에서 정규화를 적용해 알파 붕괴 억제

일반적인 작업 흐름:

① 가설 생성 (Hypothesis Generation)
    ↓
② 팩터 구현 (Factor Construction)
    ↓
③ 백테스트 평가 (Backtesting)
    ↓
④ 결과를 바탕으로 가설 수정 → ①로 반복

그러나 이 방식에는 세 가지 핵심 한계가 있습니다:

3. QuantaAlpha의 핵심 아이디어

“각각의 알파 발굴 실행(run) 전체를 하나의 궤적(Trajectory)으로 보고, 궤적 자체를 진화시키자”

기존 방법이 개별 단계의 결과물(팩터 코드, 가설 문장)을 수정하는 데 집중했다면, QuantaAlpha는 가설 생성부터 백테스트 평가까지의 전체 과정을 하나의 단위로 취급합니다.

궤적(Trajectory)이란?

하나의 알파 발굴 실행은 다음과 같은 순서열로 표현됩니다:

τ = (s0, a0, s1, a1, ..., sn)

• s0: 초기 컨텍스트 (시장 상황, 사용자가 준 시드 팩터)
• ai: i번째 단계에서 에이전트가 취한 행동
• sn: 최종 상태 (백테스트 결과)

궤적의 품질은 최종 보상으로 측정합니다:

R(τ) = L(f_τ(X), y) - λR(f_τ)
       ^^^^^^^^^^^^^^^^^^^^^^^^^^
       예측력           복잡도 페널티

목표: 이 보상을 최대화하는 궤적 생성 정책 π*를 찾는 것.

4. QuantaAlpha의 4가지 핵심 구성요소

구성요소 A: 다양화된 초기 계획 (Diversified Planning Initialization)

초기화 에이전트가 서로 보완적인 다양한 가설들을 동시에 만들어냅니다.

다양성 확보 기준:

• 신호 출처: 가격 신호 vs 거래량 신호 vs 재무 지표
• 시간 스케일: 단기(5일) vs 중기(20일) vs 장기(60일)
• 메커니즘 유형: 모멘텀 vs 평균 회귀 vs 레짐 조건부 신호

💡 “씨앗을 한 곳에만 뿌리지 않고 밭 전체에 고르게 뿌린다”는 원칙입니다. 좁은 지역 최적에 일찍 수렴하는 위험을 줄입니다.

구성요소 B: 제어 가능한 팩터 구성 (Controllable Factor Construction)

팩터를 바로 Python 코드로 생성하면 세 가지 문제가 생깁니다: 문법 오류, 의존성 불일치, 의미 표류. QuantaAlpha는 중간 표현으로 추상 구문 트리(AST) 를 도입합니다.

가설 h (자연어)
    "10일 저점 대비 현재 가격의 편차를 거래량 가중치로 조정"
    ↓ [아이디어 에이전트]
의미적 설명 d
    "TS_MIN(close, 10)에서의 편차 / 거래량 정규화"
    ↓ [팩터 에이전트]
심볼릭 표현 f (AST)
    RANK(DIV(SUB(close, TS_MIN(close, 10)), SMA(volume, 10)))
    ↓ [컴파일러]
실행 가능 코드 c (Python)

AST(추상 구문 트리)의 구조:

• 잎 노드(Leaf Nodes): 원시 특성값 (예: $close, $volume, $high)
• 내부 노드(Internal Nodes): 연산자 인스턴스 (예: TS_MIN(), SMA(), RANK())

이를 통해 계산 의존성과 데이터 흐름이 완전히 투명하게 됩니다.

일관성 검증 (Consistency Verification)

LLM 검증기가 두 가지를 확인합니다:

1. 가설 h ↔ 의미적 설명 d ↔ 심볼릭 표현 f 간의 의미적 정렬
2. 심볼릭 표현 f ↔ 생성된 코드 c 간의 충실도

검증 실패 시 문제가 있는 단계만 재생성합니다.

복잡도 & 중복성 제어

복잡도 측정:

C(f) = α₁·SL(f) + α₂·PC(f) + α₃·log(1+|F_f|)

• SL(f): 심볼릭 길이 (표현식의 길이)
• PC(f): 자유 파라미터 수 (윈도우 크기 등)
• F_f: 사용된 원시 특성의 집합

중복성 측정: 두 팩터의 AST에서 동일한 부분 트리의 최대 크기로 구조적 유사도를 계산합니다. 기존 팩터 풀(alpha zoo)과의 유사도가 임계값을 넘으면 거절하고 재생성합니다.

구성요소 C: 자기 진화 (Self-Evolution)

이것이 QuantaAlpha의 핵심입니다. 생물의 진화(Mutation + Crossover) 에서 착안했습니다.

🧬 변이 (Mutation) — 탐색의 핵심

낮은 보상의 궤적에서 가장 문제가 되는 단계만 찾아 수정합니다. 나머지 단계는 동결(freeze).

기존 궤적:
  [가설A 생성] → [심볼릭 표현α] → [코드 생성] → [백테스트: IC=0.05]
                                                          ↑ 낮은 보상

자기 반성(Self-Reflection):
  "심볼릭 표현α에서 시간 스케일이 너무 짧아 노이즈에 취약함"

변이 후:
  [가설A 생성] → [심볼릭 표현α' (10일→20일로 수정)] → [코드 재생성] → [IC=0.12]
  ^^^^^^^^^^^       ↑                                   ^^^^^^^^^^^
  동결             수정된 부분                           자동 재생성

변이는 다음과 같은 메커니즘 수준 변화를 포함할 수 있습니다:

• 시간 스케일 변경 (5일 → 20일)
• 레짐 조건 추가 (무조건 모멘텀 → 저변동성 시기에만 모멘텀)
• 신호 채널 교체 (가격 기반 → 거래량 기반)

🔀 교차 (Crossover) — 검증된 패턴의 재활용

성능이 높은 여러 궤적에서 강점이 되는 구간만 선택해 조합합니다.

부모 궤적 1 (IC=0.12):  [좋은 가설 구조] → [평범한 구현] → [평범한 수정]
부모 궤적 2 (IC=0.11):  [평범한 가설]   → [좋은 구현 방식] → [효과적인 오류 수정]

↓ 교차

자식 궤적:             [좋은 가설 구조] → [좋은 구현 방식] → [효과적인 오류 수정]
                        ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
                        각 부모의 강점을 물려받아 결합

이는 인간 퀀트 연구원들이 서로 다른 전략의 장점을 결합해 새로운 전략을 만드는 방식을 모방한 것입니다.

구성요소 D: 최종 팩터 풀 (Final Factor Pool)

진화 과정에서 검증된 팩터들을 축적·관리합니다.

팩터 추가 규칙 (탐욕적 RankIC 기반):

1. 모든 후보 팩터를 RankIC 내림차순으로 정렬
2. 이미 풀에 있는 팩터와의 절대 상관계수가 0.7 미만인 경우에만 추가
3. 풀 크기는 전체 발굴 팩터의 50%로 제한

→ 다양성을 유지하면서 알파 붕괴(factor crowding)를 방지

5. 실험 결과

5.1 실험 설정

• 데이터셋: CSI 300 (중국 대형주 300개 A주)
• 학습 기간: 2016.01 ~ 2020.12
• 검증 기간: 2021.01 ~ 2021.12
• 테스트 기간: 2022.01 ~ 2025.12 (4년간)
• 주요 지표: IC, ICIR, Rank IC, Rank ICIR, ARR, MDD, IR (SHR), CR

5.2 전체 비교 결과 (CSI 300)

핵심 성과 (GPT-5.2 기준):

• RD-Agent 대비: IC +0.0970 ↑, ARR +17.84%p ↑, MDD -6.84%p ↓
• AlphaAgent 대비: IC +0.0535 ↑, ARR +12.21%p ↑, MDD -4.91%p ↓

어떤 백본 LLM을 써도 (Qwen, DeepSeek, Gemini, Claude, GPT 모두) QuantaAlpha가 일관되게 상위 성능을 보여 모델 의존성이 낮다는 것도 중요한 결과입니다.

5.3 시장 전이(Cross-Market Transfer) 성능

CSI 300에서 발굴한 팩터를 재최적화 없이 다른 시장에 그대로 적용:

특히 2023년 12월경부터 경쟁 방법들이 시장 국면 전환에 따라 성과가 정체되는 반면, QuantaAlpha는 안정적인 상승 궤적을 유지합니다.

6. 절제 연구 (Ablation Study)

6.1 진화 구성요소별 기여도

각 구성요소를 하나씩 제거했을 때의 영향:

해석:

• 변이(Mutation): 예측력(IC)과 수익률(ARR) 모두에 가장 큰 영향. “좋은 탐색”의 핵심
• 다양화 초기화: IC보다 수익률/리스크에 큰 영향. 안정적인 진화를 위한 기반
• 교차(Crossover): 상대적으로 작은 기여지만, 검증된 패턴 재활용으로 안정성 향상

6.2 팩터 생성 제어의 기여도

세 가지 제약(일관성 검증, 복잡도 제어, 중복성 필터) 중 어떤 하나만 제거해도 성능이 하락합니다. 특히 복잡도 제어 제거 시 연간 초과 수익 -8.44%, MDD +2.57%로 전략 수준에서 가장 큰 타격을 받습니다.

7. 알파 붕괴 분석: 2023년 중국 시장 국면 전환

이 섹션은 논문에서 가장 실전적이고 흥미로운 부분입니다.

7.1 2023년 무슨 일이 있었나?

중국 A주 시장은 2023년에 뚜렷한 스타일 전환을 겪었습니다:

• 전환 전 (2016~2022): 기관 주도 대형주 장세. 안정적인 추세, 규칙적인 평균회귀
• 전환 후 (2023~): 소형주·테마주 중심. 높은 일중 노이즈, 잦은 오버나이트 갭, 빠른 섹터 로테이션

이 전환으로 인해 기존 팩터들이 2023년에 대거 효력을 잃었습니다.

7.2 QuantaAlpha vs AlphaAgent: 2023년 팩터 성능 비교

QuantaAlpha의 강세 팩터들:

AlphaAgent의 강세 팩터들:

7.3 왜 QuantaAlpha 팩터들이 더 강건한가?

2023년 소형주 테마 장세에서:

1. 오버나이트 갭 신호: 장 마감 이후 공시·뉴스 등 비거래시간 정보가 집적됨. 일중 예측력이 떨어질 때 오히려 이 채널의 중요성이 커짐
2. 변동성 구조 신호: 변동성 클러스터링은 시장 스타일이 바뀌어도 지속되는 마이크로구조적 특성
3. 추세 품질 조건부 신호: 낮은 잔차 변동성 + 유동성 확인 시에만 추세 지속을 추종 → 소형주의 노이즈성 가짜 추세에 덜 속음

요약 통계 비교 (2023년):

QuantaAlpha는 변이(Mutation) 메커니즘을 통해 다양한 정보 채널에 걸친 팩터 집단을 유지하기 때문에, 시장 스타일이 전환되어도 그 중 일부 팩터가 여전히 유효하게 작동합니다.

8. 반복적 발전 분석 (Iteration Analysis)

8.1 진화 효율성

5번의 iteration에 걸쳐 IC 분포를 추적한 결과:

• QuantaAlpha: 초반에 빠르게 IC가 올라가고 높은 수준에서 안정
• AlphaAgent: QuantaAlpha보다 낮은 수준에서 수렴
• RD-Agent: 가장 낮고 동질적인 IC 분포 (다양성 부족)

8.2 수렴 분석 (Case Study: DeepSeek-V3.2, 15 iterations)

1~5 iteration 동안의 팩터 진화 과정:

• 1차 iteration: 단기 반전 팩터 (해석 가능하고 간단한 수식)
• 2차 iteration: 변동성 가중 모멘텀으로 메커니즘 확장. 하지만 복잡도 증가로 일반화 약화
• 3~4차 iteration: 선형 가산 형태로 단순화. MDD 개선 및 성능 안정화
• 5차 iteration: 시장 참여자 행동 구분 신호 추가. 상호보완적 정보로 예측력 향상

최적 iteration 수: 성능은 iteration 11~12번째에서 최고 균형점(수익률 vs 낙폭 최적화)에 도달하며, 이 시점에서 약 350개의 팩터가 풀에 축적됩니다. 이후에는 중복 정보가 늘어나 오히려 전략 강건성이 떨어집니다.

9. 왜 이것이 중요한가?

9.1 퀀트 투자의 새로운 패러다임

9.2 해석 가능한 AI

딥러닝 기반 블랙박스 모델과 달리, QuantaAlpha는:

• 자연어 가설 → 수식 → 코드의 전 과정을 추적 가능
• 어떤 시장 메커니즘을 믿고 투자하는지 설명 가능
• 규제 기관에 전략 근거 제시 가능 (금융 규제 중요)

10. 한계와 주의사항

1. 백테스트 과적합 위험: 아무리 좋은 방법론도 과거 데이터 기반 최적화는 항상 과적합 위험 존재
2. 거래비용 미반영: 실제 투자에서는 슬리피지, 수수료, 시장 충격 비용이 수익률을 크게 깎음
3. LLM 운영비용: GPT-5.2로 15 iteration을 돌리면 상당한 API 비용 발생. 소규모 투자자에게는 진입 장벽
4. 한국 시장 미검증: 논문은 CSI 300/500(중국)과 S&P 500(미국)만 검증. 코스피/코스닥의 고유한 특성(결제일, 외국인 수급, 공매도 제한 등)에서의 성능은 별도 검증 필요
5. 데이터 접근성: 고품질 tick 데이터, 오버나이트 갭 데이터 등은 기관 투자자에 비해 개인 투자자가 구하기 어려울 수 있음

결론

QuantaAlpha는 LLM과 진화 알고리즘의 결합을 통해 알파 팩터 발굴 분야에 새로운 기준을 세웠습니다.

핵심 기여를 한 줄로 요약하면: “좋은 알파 발굴 과정(궤적) 자체를 유전자처럼 물려주고 교배시켜, 점점 더 좋은 팩터를 찾는다.”

특히 2023년 중국 시장의 국면 전환을 돌파한 사례는, 이 시스템이 단순히 과거 데이터를 외운 것이 아니라 진정한 의미의 구조적 팩터를 발굴한다는 것을 보여줍니다.

AI가 퀀트 투자의 알파를 스스로 찾는 시대, 빠르게 다가오고 있습니다.

📌 참고 논문: arXiv:2602.07085

본 포스팅은 논문의 내용을 정리·해석한 것이며, 투자 조언이 아닙니다. 실제 투자는 항상 신중하게 판단하시기 바랍니다.