Skip to content

[Feat] 평가 실행별 Few-shot 선택 메타데이터 기록 - #316

Merged
whc9999 merged 1 commit into
devfrom
feat/fewshot-evaluation-metadata
Sep 15, 2026
Merged

whc9999 merged 1 commit into
devfrom
feat/fewshot-evaluation-metadata

Conversation

@whc9999

@whc9999 whc9999 commented Sep 15, 2026

Copy link
Copy Markdown
Collaborator

✨ 어떤 이유로 PR를 하셨나요?

  • feature 병합
  • 버그 수정(아래에 issue #를 남겨주세요)
  • 코드 개선
  • 코드 수정
  • 배포
  • 기타(아래에 자세한 내용 기입해주세요)

📋 세부 내용 - 왜 해당 PR이 필요한지 작업 내용을 자세하게 설명해주세요

  • 프롬프트 조립 시 선택 후보와 모드·점수·설정 스냅샷 수집
  • 정적 사용·임베딩·로컬/정적 fallback·미적용 구분
  • 실행별 JSONL 파일에 성공 및 실패 행의 선택 이력 저장
  • 중복 caseId를 실행 ID와 입력 행 번호로 구분
  • 기존 운영 응답과 평가 CSV 형식 유지
  • 관련 테스트 192개 통과 및 사용 문서 추가

📸 작업 화면 스크린샷

⚠️ PR하기 전에 확인해주세요

  • 로컬테스트를 진행하셨나요?
  • 머지할 브랜치를 확인하셨나요?
  • 관련 label을 선택하셨나요?

🚨 관련 이슈 번호 [#292 ]

- 프롬프트 조립 시 선택 후보와 모드·점수·설정 스냅샷 수집
- 정적 사용·임베딩·로컬/정적 fallback·미적용 구분
- 실행별 JSONL 파일에 성공 및 실패 행의 선택 이력 저장
- 중복 caseId를 실행 ID와 입력 행 번호로 구분
- 기존 운영 응답과 평가 CSV 형식 유지
- 관련 테스트 192개 통과 및 사용 문서 추가
@whc9999 whc9999 self-assigned this Sep 15, 2026
@whc9999 whc9999 added the ✨ feat New feature or request label Sep 15, 2026
@coderabbitai

coderabbitai Bot commented Sep 15, 2026

Copy link
Copy Markdown

Warning

Review limit reached

Next included review available in 22 minutes.

Check out review usage here.

View limit details

Limit details: You’ve used the included review currently available.

You've used all free OSS reviews for now. Wait for the free limit to reset to keep reviewing this public repository.

Learn how review limits work.

Review configuration:

⚙️ Run configuration

Configuration used: Path: .coderabbit.yaml

Review profile: ASSERTIVE

Plan: Advanced

Run ID: d76441b9-777c-4985-a306-114126d7a276

📥 Commits

Reviewing files that changed from the base of the PR and between 29b90f6 and e956c63.

📒 Files selected for processing (11)
  • docs/fewshot-evaluation-metadata.md
  • src/main/java/com/jobdri/jobdri_api/domain/analysis/service/ai/AnalysisAiClient.java
  • src/main/java/com/jobdri/jobdri_api/domain/analysis/service/ai/AnalysisPromptBuilder.java
  • src/main/java/com/jobdri/jobdri_api/domain/analysis/service/ai/fewshot/FewShotSelectionMetadata.java
  • src/main/java/com/jobdri/jobdri_api/domain/evaluation/analysis/EvaluationAnalysisBatchService.java
  • src/main/java/com/jobdri/jobdri_api/domain/evaluation/analysis/EvaluationFewShotSidecar.java
  • src/main/java/com/jobdri/jobdri_api/domain/evaluation/analysis/model/EvaluationAnalysisCommand.java
  • src/main/java/com/jobdri/jobdri_api/domain/evaluation/infrastructure/analysis/AnalysisAiEvaluationAnalysisGenerator.java
  • src/test/java/com/jobdri/jobdri_api/domain/analysis/service/ai/AnalysisAiClientTest.java
  • src/test/java/com/jobdri/jobdri_api/domain/analysis/service/ai/FewShotMetadataPromptTest.java
  • src/test/java/com/jobdri/jobdri_api/domain/evaluation/analysis/EvaluationAnalysisBatchServiceTest.java

Thanks for using CodeRabbit! It's free for OSS, and your support helps us grow. If you like it, consider giving us a shout-out.

❤️ Share

Comment @coderabbitai help to get the list of available commands.

@whc9999
whc9999 merged commit fe5b622 into dev Sep 15, 2026
3 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

✨ feat New feature or request

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant