BigSet은 “이런 데이터셋을 만들어줘”라는 자연어 설명에서 schema를 추론하고, 에이전트가 웹에서 정보를 찾아 검증한 뒤 구조화 데이터로 내보내는 도구다. 일회성 스크래핑보다 정기적으로 갱신되는 verified dataset에 초점을 둔다.
동작 방식
- 사용자가 원하는 데이터셋을 자연어로 설명한다.
- BigSet이 schema를 추론한다.
- orchestrator agent가 웹 검색으로 entity를 찾는다.
- sub-agent들이 병렬로 각 entity를 조사하고 출처를 확인한다.
- 중복 제거와 검증을 거쳐 row를 만든다.
- 30분, 6시간, 12시간, daily, weekly 같은 refresh cadence로 다시 실행한다.
결과는 UI에서 확인하고 CSV 또는 XLSX로 다운로드할 수 있다. 현재는 dataset export에 초점이 있고 SQL 질의는 roadmap으로 설명된다.
어디에 적합한가
- 시장·채용·가격·제품 목록처럼 웹에 흩어진 최신 데이터를 테이블로 만들 때
- 내부 에이전트가 reasoning에 쓸 live dataset을 주기적으로 갱신해야 할 때
- 검색, 추출, deduplication, 출처 검증, cron을 직접 묶는 비용을 줄이고 싶을 때
관련 문서
- agentic-search — AI 에이전트가 직접 검색·비교·결정하는 패러다임
- agentic-cdp — AI 에이전트 시대의 실시간 고객 데이터 플랫폼
- zvec — 앱 안에 직접 넣는 초경량 인프로세스 벡터 데이터베이스
참고 자료
- tinyfish-io/bigset — GitHub 공식 저장소