모델 검증

성능은 올렸고,
한계는 규명했습니다

레나에이아이는 자체 방법론으로 대체데이터를 만들어 금융시장에 연결합니다. 이 페이지는 그 사이의 「검증」 단계로, 상권 대체데이터로 만든 소상공인 신용평가 모델 SBCR의 세대별 검증 결과입니다.

같은 표본·같은 분할에서 세 설계를 비교했고, 무엇이 통했는지보다 무엇이 통하지 않았고 그 이유가 무엇인지를 더 길게 기록했습니다. 검증 보고 전문은 평가사·여신기관·투자기관에 개별 제공합니다.

검증 요약

대상: SBCR 소상공인 신용평가 모델
비교 방식: 동일 표본 · 동일 분할 · 표본외
표본외 AUC: 0.7470 → 0.7847 → 0.8325
방법론 출처: NUS Risk Management Institute 계보의 forward intensity
전문: 평가사 · 여신기관 · 투자기관에 개별 제공

세대별 성능

세 세대, 같은 자로 잰 결과

표본외(out-of-sample) 판별력입니다. 모형 학습에 쓰지 않은 기간으로 채점했습니다.

v1기존 설계

0.7470

표본외 AUC

상권 집적도·매출 변동·동조 수준을 로지스틱으로 결합한 1세대 설계입니다.

v2Forward Intensity 이식

0.7847

표본외 AUC+0.0377

NUS Risk Management Institute 계보의 forward intensity 구조를 이식해 1·2·4분기 부도확률의 기간구조를 산출합니다. v1 변수를 다시 더하면 오히려 0.0058 떨어졌습니다.

v3시간축 평탄화 MLP

0.8325

표본외 AUC+0.0242

분기 시계열을 고정 요약으로 뭉개던 층을 평탄화 MLP 로 바꿨습니다. 고정 요약 0.8083 대비 0.0242 상승했습니다.

AUC는 무엇을 재는가

실제로 문제가 생긴 사업자 한 곳과 그렇지 않은 사업자 한 곳을 무작위로 뽑았을 때, 모형이 문제가 생긴 쪽에 더 높은 위험 점수를 준 비율입니다. 0.5는 동전 던지기와 같고 1에 가까울수록 잘 가려냅니다. 수십 년 결제이력을 쓰는 카드사 소매평가가 0.70~0.80 구간입니다. 신용거래 이력을 한 줄도 쓰지 않고 0.83을 확인했습니다.

방법론 출처

방법론의 출처를 밝힙니다

v2의 성능 상승은 새로 지어낸 구조에서 나오지 않았습니다. 신용위험 학계에서 검증된 forward intensity 모형을 상권 데이터에 이식한 결과입니다.

NUS Risk Management Institute 계보

2006RMI 설립. 싱가포르국립대(NUS) 연구소이며, 설립을 싱가포르 통화청(MAS)이 지원했습니다.
2009신용평가 연구 조직 CRI(Credit Research Initiative)가 RMI에서 출범했습니다.
2021NUS AIDF 출범. MAS · NRF · NUS가 공동 설립한 대학 내 연구소입니다.
현재CRI는 AIDF의 Deep Credit Analytics Lab으로 편입되어 운영되고 있습니다.

AIDF 공식 소개

“The Asian Institute of Digital Finance (AIDF) is a university-level institute in the National University of Singapore (NUS), jointly founded by The Monetary Authority of Singapore (MAS), the National Research Foundation (NRF) and NUS.”

aidf.nus.edu.sg nuscri.org · Credit Research Initiative AIDF · Deep Credit Analytics Lab rmi.nus.edu.sg

RMI와 CRI는 대학 연구기관입니다. 감독기관의 산하 조직이 아니며, MAS는 설립·공동설립 주체로 참여했습니다.

이 계보가 만든 것을 누가 쓰는가

NUS-CRI의 신용위험 데이터와 툴킷은 학계·기업·규제기관이 전 세계에서 사용합니다. 그중 BuDA(Bottom-up Default Analysis)는 CRI와 IMF가 공동 개발한 신용 스트레스 테스트 툴킷으로, 거시 시나리오 아래 개별 기업의 부도확률을 평가하는 틀입니다.

International Monetary Fund (IMF)World BankMonetary Authority of Singapore (MAS)ASEAN+3 Macroeconomic Research OfficeEuropean Systemic Risk Board (ESRB)American Academy of Actuaries

최병근 대표는 이 BuDA 툴킷의 Product Manager로 참여했습니다. SBCR v2가 이식한 forward intensity 구조는 여기서 다룬 방법론과 같은 계보입니다.

위 기관 목록은 NUS-CRI의 데이터·툴킷 사용처이며, 특정 개인의 고객 명단이 아닙니다.

이 계보를 공유하는 연구진

박세영

Seyoung Park

공동연구 · University of Nottingham

노팅엄대 부교수
자산가격·가계금융 이론
NUS AIDF 계열 연구 이력

이현탁

Hyuntak Lee

공동연구 · 가천대학교

가천대 조교수
신용위험·계량모형
NUS AIDF 계열 연구 이력

최병근

Byung-Geun Choi

모델 설계·구현 · 주식회사 레나에이아이

NUS Risk Management Institute 연구원 (2017–2019)
IMF 공동개발 BuDA 툴킷 Product Manager
삼성자산운용 · NH아문디 · 한국투자신탁운용
Operations Research Letters (2016) 외

세 사람은 Finance Research Letters(SSCI) 투고 논문 「Credit Expansion Opportunities and Inclusive Household Finance」의 공저자입니다. 이현탁·최병근은 여신금융협회 「여신금융」 제86호(2026년 여름호) 논단 「소상공인 신용평가와 상권 정보의 활용」을 함께 썼습니다.

기각한 가설

기각한 것을 함께 적습니다

통과한 설계만 보여 주면 검증을 판단하기 어렵습니다. 세워 보고 접은 가설도 남깁니다.

1
공간 네트워크를 예측에 쓰는 것
매출 공행 네트워크는 실재합니다. 표본 밖 지속성이 z≈116 으로 확인됐습니다. 그러나 이웃 40개를 자유 변수로 주어도 판별력 증분은 0.0051 하락이었습니다.
2
어텐션 구조
어텐션(0.8373)이 평탄화 MLP(0.8325)를 0.0048 앞섰지만 PR-AUC 는 MLP 가 높았습니다(0.4376 대 0.4263). 복잡도를 감당할 이득이 아니라고 판단해 채택하지 않았습니다.
3
매출 감소 라벨을 폐업의 대리변수로 쓰는 것
「분기 매출 30% 감소」 셀의 실제 폐업률은 그 외 셀과 다르지 않았습니다(음식점 0.99배·의료 1.05배). 결함이 아니라 지표의 성격이므로, PD 를 Probability of Distress 로 재정의했습니다.

그리고 하나는 데이터의 한계였습니다

상권 사이의 폐업 전파는 분기 자료에서 거의 잡히지 않았습니다(위험비 1.036). 그것이 현상이 없어서인지 자료가 거칠어서인지 가르기 위해, 같은 현상을 일 단위 폐업일로 다시 쟀습니다. 서울 일반음식점 폐업 135,639건 기준입니다.

업태를 가린다는 점이 핵심입니다. 철거나 건물주 사정이라면 업태를 가리지 않을 것입니다. 그리고 같은 자료를 분기로 뭉개면 1.845가 1.585로 떨어집니다. 분기 집계가 신호의 3분의 1을 지웁니다.

같은 건물 · 같은 업태

1.85배 z=49.9

같은 건물 · 다른 업태

1.24배 z=16.2

그래서 정확한 진술은 “전파가 없다”가 아니라 “이 해상도에서 그 층위에는 없다”입니다. 공간 전파는 실재하며, 일·월 단위 자료가 확보되면 모형이 다시 쓸 수 있는 신호입니다.

검증 보고 전문

검증 보고 전문은 개별 제공합니다

표본 구성, 분할 방식, 층별 기여 분해, 재보정 절차와 조정 이력을 담은 전문은 평가사 · 여신기관 · 투자기관에 개별적으로 제공해 드립니다. 펀드매니저 출신 최병근 대표가 직접 설명합니다.

검증 보고 요청하기