[Feat] 동적 Few-shot 선택 임계값 및 후보 수 튜닝

[whc9999]

✨ 어떤 이유로 PR를 하셨나요?

• feature 병합
• 버그 수정(아래에 issue #를 남겨주세요)
• 코드 개선
• 코드 수정
• 배포
• 기타(아래에 자세한 내용 기입해주세요)

📋 세부 내용 - 왜 해당 PR이 필요한지 작업 내용을 자세하게 설명해주세요

• Few-shot similarity 분포와 후보 선택 개수 분석
• top-k 및 min-similarity 조합별 품질·비용 평가
• minimum-selected-count fallback 품질 비교
• 권장값을 top-k 5, min-similarity 0.40, minimum-selected-count 2로 확정
• dev, prod, evaluation 프로필에 권장 설정 반영
• feature flag 기본 비활성 상태 유지
• 튜닝 결과와 결정 근거 문서화

📸 작업 화면 스크린샷

⚠️ PR하기 전에 확인해주세요

• 로컬테스트를 진행하셨나요?
• 머지할 브랜치를 확인하셨나요?
• 관련 label을 선택하셨나요?

🚨 관련 이슈 번호 [#294 ]

Summary by CodeRabbit

• 변경 사항

  • Few-shot 검색의 기본 유사도 기준을 0.40으로 조정했습니다.
  • 최소 선택 후보 수를 2개로 늘려, 조건을 충족하는 후보가 부족할 경우 로컬 대체 방식이 사용됩니다.
  • 관련 환경에 동적 선택 권장 설정(상위 5개, 유사도 0.40)을 적용했습니다.
  • 동적 few-shot 선택 기능은 현재 비활성 상태로 유지됩니다.

• 문서

  • 권장 설정, 평가 결과 및 향후 재평가 기준을 설명하는 튜닝 평가 보고서를 추가했습니다.

[coderabbitai]

No actionable comments were generated in the recent review. 🎉

ℹ️ Recent review info

⚙️ Run configuration

Configuration used: Path: .coderabbit.yaml

Review profile: ASSERTIVE

Plan: Advanced

Run ID: d1d52f1f-2425-42f6-8797-11d905621f75

📥 Commits

Reviewing files that changed from the base of the PR and between 4568a2a and 481c740.

📒 Files selected for processing (5)

• docs/evaluation/fewshot-tuning-20260916.md
• src/main/resources/application-analysis-eval.yaml
• src/main/resources/application-dev.yaml
• src/main/resources/application-fewshot-pm-eval.yaml
• src/main/resources/application-prod.yaml

Included review availability: Your plan provides up to 1 included review per hour; 0 remain after this review.

---

📝 Walkthrough

Walkthrough

Few-shot 검색 튜닝 평가 문서를 추가했습니다. 평가 결과에 따라 여러 환경의 기본 min-similarity를 0.40, minimum-selected-count를 2로 변경했습니다. PM 평가 환경에는 top-k: 5를 포함한 검색 설정을 추가했습니다.

Changes

Few-shot 검색 튜닝

Layer / File(s)	Summary
튜닝 평가와 결정 docs/evaluation/fewshot-tuning-20260916.md	평가 조건, 유사도 분포, 설정별 결과와 권장 설정을 기록했습니다. 동적 선택 feature flag는 비활성 상태로 유지한다고 명시했습니다.
환경별 기본값 변경 src/main/resources/application-analysis-eval.yaml, src/main/resources/application-dev.yaml, src/main/resources/application-prod.yaml	min-similarity 기본값을 -1.0에서 0.40으로 변경했습니다. minimum-selected-count 기본값을 1에서 2로 변경했습니다.
PM 평가 환경 검색 설정 src/main/resources/application-fewshot-pm-eval.yaml	top-k: 5, min-similarity: 0.40, minimum-selected-count: 2를 추가했습니다.

Priority: ⬇️ Low

Estimated code review effort: 1 (Trivial) | ~10 minutes

Change: Other

Merge Risk: ⚪ Minimal · up to 481c7

The few-shot settings are bound and consumed as intended, with no established production or evaluation failure blocking merge.

🚥 Pre-merge checks | ✅ 5

✅ Passed checks (5 passed)

Check name	Status	Explanation
Docstring Coverage	✅ Passed	No functions found in the changed files to evaluate docstring coverage. Skipping docstring coverage check. Docstring coverage is scoped to functions touched by this diff. Analyzed 0 functions across 0…
Linked Issues check	✅ Passed	Check skipped because no linked issues were found for this pull request.
Out of Scope Changes check	✅ Passed	Check skipped because no linked issues were found for this pull request.
Title check	✅ Passed	PR 제목은 동적 Few-shot 선택의 임계값과 후보 수를 튜닝하는 주요 변경 사항을 명확하게 요약합니다.
Description check	✅ Passed	PR 설명은 변경 이유, 세부 작업, 권장 설정, 적용 프로필, feature flag 상태, 관련 이슈를 포함합니다. 스크린샷 항목은 비어 있지만 이 변경은 설정 및 문서 중심이므로 설명은 대부분 완전합니다.

✨ Finishing Touches

🧪 Generate unit tests (beta)

• Create PR with unit tests
• Commit unit tests in branch feat/fewshot-selection-threshold-tuning

---

Thanks for using CodeRabbit! It's free for OSS, and your support helps us grow. If you like it, consider giving us a shout-out.

❤️ Share

• X
• Mastodon
• Reddit
• LinkedIn

_{Comment @coderabbitai help to get the list of available commands.}