Skip to content
Open
Show file tree
Hide file tree
Changes from all commits
Commits
Show all changes
20 commits
Select commit Hold shift + click to select a range
f47ffe5
chore: lombook 의존 추가
chxghee May 7, 2026
3ef11dd
chore: ai chatClient 설정 추가
chxghee May 7, 2026
b94022d
feat: chatbot API 기본 구현 (open AI API 연결)
chxghee May 7, 2026
9ce59fa
chore: vectorStore 의존 설정 추가
chxghee May 11, 2026
1f52109
feat: v1 파일 단위 임베딩 구현 및 평가
chxghee May 11, 2026
7d12914
test: 평가 스크립트에 토큰 사용량 집계 추가
chxghee May 11, 2026
ff47bdf
feat: v2 300사이즈 청킹 구현 및 평가
chxghee May 14, 2026
eb5799b
refactor: 평가 병렬 실행 기능 추가
chxghee May 14, 2026
6ef60bd
feat: v3 markdown 헤더 별 청킹 전략 구현 및 평가
chxghee May 14, 2026
7bf00bc
feat: v4 청킹 단위별 카테고리(제목) 추가 및 평가
chxghee May 14, 2026
f6ee715
feat; v5 시스템 프롬프트 수정 및 topk 조정
chxghee May 17, 2026
69227c2
feat: v6 프롬프트 압축 및 과도한 답변 거절 프롬프트 개선
chxghee May 17, 2026
6028a9c
feat: 평가 스크립트 새로운 KPI 기준 반영
chxghee May 20, 2026
858504f
feat: v7 채팅 로그 문서 추가
chxghee May 20, 2026
28e0cf0
refactor: 파싱 로직 패키지 이동
chxghee May 20, 2026
b0f6328
feat: v8 레이어별 top-k 도입 및 프롬프트 수정
chxghee May 20, 2026
37e8548
test: KPI 수정에 따른 테스트 프롬프 수정
chxghee May 23, 2026
ad9803d
feat: v9 top-k 수정 및 고객 개인 정보 조회 관련 프롬프트 추가
chxghee May 23, 2026
7203434
test: 사실성 지표 채점 기준 수정
chxghee May 23, 2026
52e85f9
docs: 벽 리포트 작성
chxghee May 23, 2026
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
4 changes: 4 additions & 0 deletions build.gradle
Original file line number Diff line number Diff line change
Expand Up @@ -26,8 +26,12 @@ dependencyManagement {
dependencies {
implementation 'org.springframework.boot:spring-boot-starter-web'
implementation 'org.springframework.ai:spring-ai-starter-model-openai'
implementation 'org.springframework.ai:spring-ai-vector-store'

testImplementation 'org.springframework.boot:spring-boot-starter-test'

compileOnly 'org.projectlombok:lombok'
annotationProcessor 'org.projectlombok:lombok'
}

tasks.named('test') {
Expand Down
68 changes: 68 additions & 0 deletions data/eval_result.json
Original file line number Diff line number Diff line change
@@ -0,0 +1,68 @@
{
"total": 150,
"correct": 140,
"incorrect": 10,
"error": 0,
"accuracy": 0.9333,
"kpi": {
"refusal_quality": {
"score_0": 4,
"score_1": 0,
"score_2": 146,
"total": 150
},
"core_response": {
"score_0": 6,
"score_1": 2,
"score_2": 142,
"total": 150
},
"factuality": {
"score_0": 2,
"score_1": 5,
"score_2": 143,
"total": 150
},
"front_loaded": {
"score_0": 7,
"score_1": 143,
"total": 150
},
"restraint": {
"score_0": 4,
"score_1": 146,
"total": 150
},
"conciseness": {
"score_0": 1,
"score_1": 149,
"total": 150
},
"final_pass": {
"score_0": 10,
"score_1": 140,
"total": 150
}
},
"tier_results": {
"easy": {
"correct": 29,
"total": 30
},
"medium": {
"correct": 87,
"total": 94
},
"hard": {
"correct": 24,
"total": 26
}
},
"elapsed_seconds": 70.1703679561615,
"avg_response_seconds": 4.527638580004374,
"chatbot_token_usage": {
"prompt_tokens": 278086,
"completion_tokens": 7064,
"total_tokens": 285150
}
}
Loading