Transaction Foundation Model은 금융 거래 데이터를 자연어 문장처럼 순서가 있는 토큰 시퀀스로 보고 사전학습하는 모델 접근법이다. 카드 결제, 급여 입금, 구독 결제, 식료품 구매 같은 이벤트의 순서와 맥락을 학습해 사기 탐지, 신용 평가, 고객 생애 가치 예측, 세분화, 추천 등에 재사용 가능한 행동 임베딩을 만든다.
왜 거래 데이터에 파운데이션 모델을 쓰는가
기존 금융 리스크 모델은 수작업 피처와 규칙에 크게 의존한다. 예를 들어 “최근 7일 해외 결제 횟수”, “30일 평균 결제액” 같은 윈도우와 집계를 사람이 설계한다. 이 방식은 운영 경험이 축적될수록 강력하지만, 긴 거래 이력의 순서와 멀리 떨어진 이벤트 간 관계를 직접 학습하기 어렵다.
트랜스포머 기반 거래 모델은 거래 이력을 토큰화한 뒤 다음 이벤트 예측이나 마스킹 목표로 사전학습한다. 이렇게 얻은 임베딩은 downstream 모델에 붙여 다양한 금융 태스크에 전이할 수 있다.
NVIDIA 예제 워크플로
NVIDIA의 개발자 예제는 IBM TabFormer 사기 데이터셋을 사용해 거래 파운데이션 모델을 구축하는 5단계 흐름을 제시한다.
- cuDF 기반 GPU 가속 데이터 처리
- 거래 도메인 전용 토크나이저 구성
- NeMo AutoModel로 decoder-only 모델 사전학습
- 학습된 임베딩 추출
- XGBoost 사기 분류기에 임베딩 추가
예제 모델은 약 29M 파라미터의 소형 Llama 계열 decoder이며, 8,192 토큰 RoPE 컨텍스트와 6,251개 도메인 토큰 vocabulary를 사용한다. NVIDIA는 이 접근으로 IBM TabFormer fraud 데이터셋에서 강한 XGBoost baseline 대비 Average Precision을 약 50% 개선하는 결과를 재현한다고 설명한다.
핵심은 도메인 토크나이저
일반 BPE 토크나이저는 거래 CSV의 쉼표, 달러 기호, 숫자 조각에 토큰을 낭비한다. NVIDIA 예제의 도메인 토크나이저는 금액 구간, merchant hash, 시간대, 요일, 월, 카드 ID, chip type, ZIP3, state, customer ID 등을 의미 단위 토큰으로 바꾼다.
이렇게 하면 거래 한 건당 토큰 수가 크게 줄고, 같은 컨텍스트 예산으로 더 긴 고객 거래 이력을 넣을 수 있다. 사기 탐지처럼 장기 패턴이 중요한 태스크에서는 이 차이가 모델 품질과 비용을 동시에 좌우한다.
적용 대상
- 사기 탐지 모델이 이미 있지만, 규칙·피처 엔지니어링 유지 비용이 커진 금융사
- 카드·송금·결제 이력을 다양한 downstream 태스크에 재사용하려는 데이터 과학 팀
- foundation-model-infrastructure 위에 도메인 특화 파운데이션 모델을 얹으려는 기업
관련 문서
- dexter — 복잡한 금융 질문을 해결하는 딥 파이낸셜 리서치 에이전트
- foundation-model-infrastructure — 파운데이션 모델 학습·추론 인프라
- llm-fine-tuning — SFT·PEFT·RAG 비교 포함 파인튜닝 가이드
- autodata — 고품질 학습 데이터 자동 생성
참고 자료
- Build Your Own Transaction Foundation Model for Financial Intelligence — NVIDIA Technical Blog (2026-06-16)