Skip to content

[Feat] 동적 Few-shot 운영 모니터링 지표 추가 - #321

Merged
whc9999 merged 1 commit into
devfrom
feat/fewshot-operation-monitoring
Sep 16, 2026
Merged

whc9999 merged 1 commit into
devfrom
feat/fewshot-operation-monitoring

Conversation

@whc9999

@whc9999 whc9999 commented Sep 16, 2026

Copy link
Copy Markdown
Collaborator

✨ 어떤 이유로 PR를 하셨나요?

  • feature 병합
  • 버그 수정(아래에 issue #를 남겨주세요)
  • 코드 개선
  • 코드 수정
  • 배포
  • 기타(아래에 자세한 내용 기입해주세요)

📋 세부 내용 - 왜 해당 PR이 필요한지 작업 내용을 자세하게 설명해주세요

  • Few-shot 선택 모드별 실행 횟수 기록
  • embedding 및 fallback 선택 비율 관측 지원
  • 검색 지연 histogram과 선택 후보 수 분포 추가
  • Few-shot 전용 Cohere 논리 호출량 및 실패 유형 기록
  • 메트릭 태그 cardinality 제한
  • 단계적 운영 활성화와 중단 판단 기준 문서화
  • feature flag 기반 즉시 정적 Few-shot 복귀 절차 추가
  • fallback 및 Cohere 실패 메트릭 회귀 테스트 추가

📸 작업 화면 스크린샷

⚠️ PR하기 전에 확인해주세요

  • 로컬테스트를 진행하셨나요?
  • 머지할 브랜치를 확인하셨나요?
  • 관련 label을 선택하셨나요?

🚨 관련 이슈 번호 [#296 ]

- Few-shot 선택 모드별 실행 횟수 기록
- embedding 및 fallback 선택 비율 관측 지원
- 검색 지연 histogram과 선택 후보 수 분포 추가
- Few-shot 전용 Cohere 논리 호출량 및 실패 유형 기록
- 메트릭 태그 cardinality 제한
- 단계적 운영 활성화와 중단 판단 기준 문서화
- feature flag 기반 즉시 정적 Few-shot 복귀 절차 추가
- fallback 및 Cohere 실패 메트릭 회귀 테스트 추가
@whc9999 whc9999 self-assigned this Sep 16, 2026
@whc9999 whc9999 added the ✨ feat New feature or request label Sep 16, 2026
@coderabbitai

coderabbitai Bot commented Sep 16, 2026

Copy link
Copy Markdown

Warning

Review limit reached

Next included review available in 13 minutes.

Check out review usage here.

View limit details

Limit details: You’ve used the included review currently available.

You've used all free OSS reviews for now. Wait for the free limit to reset to keep reviewing this public repository.

Learn how review limits work.

Review configuration:

⚙️ Run configuration

Configuration used: Path: .coderabbit.yaml

Review profile: ASSERTIVE

Plan: Advanced

Run ID: 721c2dd5-ec14-4aa1-97a7-d5c0c9b7382a

📥 Commits

Reviewing files that changed from the base of the PR and between 56d7f2f and b4778b0.

📒 Files selected for processing (6)
  • docs/fewshot-operations.md
  • src/main/java/com/jobdri/jobdri_api/domain/analysis/service/ai/fewshot/DefaultFewShotSearchService.java
  • src/main/java/com/jobdri/jobdri_api/domain/analysis/service/ai/fewshot/FewShotMetricsRecorder.java
  • src/test/java/com/jobdri/jobdri_api/domain/analysis/service/ai/fewshot/DefaultFewShotSearchServiceTest.java
  • src/test/java/com/jobdri/jobdri_api/domain/analysis/service/ai/fewshot/FewShotMetricsRecorderTest.java
  • src/test/java/com/jobdri/jobdri_api/domain/analysis/service/ai/fewshot/ReviewedFewShotDatasetTest.java

Thanks for using CodeRabbit! It's free for OSS, and your support helps us grow. If you like it, consider giving us a shout-out.

❤️ Share

Comment @coderabbitai help to get the list of available commands.

@whc9999
whc9999 merged commit 4fe9cbf into dev Sep 16, 2026
3 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

✨ feat New feature or request

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant