🚀 Karpathy-style Retrieval AutoResearch

Top-1 Accuracy 66.7% → 100%

사람이 튜닝한 게 아니라, 에이전트가 실험 → 평가 → 코드 수정까지 자동 수행

💡 핵심

단순 성능 개선이 아니라,

좋은 retrieval 전략을 "지속적으로 발견하는 시스템"을 만들었다.

🔥 문제 상황

❗ 왜 어려운 문제였나

• retrieval 품질은 단일 파라미터 문제가 아니다
• 아래 요소들이 강하게 얽혀 있음

dense/sparse ratio
+ recall depth
+ BM25 depth
+ keyword rescoring
+ cutoff 전략

👉 사람이 감으로 튜닝하면

"무엇이 효과 있었는지 분리 불가능"

❗ 기존 방식의 한계

• 파라미터 바꾸고 → 결과 보고 → 유지/폐기

하지만 답 못하는 질문들:

• 왜 이 설정이 좋은가?
• 이미 실패한 조합은?
• 현재 baseline은 무엇인가?