레슨런 기본 양식

1) 배경 / 문제

• 기존 홈에서 사용자가 뭘 못 했는지
• 공고문 자동작성에서 어떤 불편/리스크가 있었는지
• 근거: VOC, 사용 로그, CS, 내부 운영 이슈 등

2) 목표(Outcomes) & 가설

• “이 기능을 넣으면 무슨 행동이 늘어나야 성공인지”
• 예: 인기질문은 “첫 답변 도달 시간을 줄이고”, AI 리포트는 “재방문/활용도를 올린다”

3) 성공지표(KPI) + 가드레일

KPI는 ‘행동’ 지표로, 가드레일은 “부작용 방지”로

홈화면(인기질문/AI 리포트) 예시 지표

• KPI
  • 홈 → 인기질문 클릭률(CTR)
  • 홈 → 첫 질문/첫 답변까지 시간(Time to first value)
  • DAU/WAU 중 “챗 사용 전환율”(홈 방문 대비)
  • AI 리포트 진입률, 리포트 생성 완료율
• 가드레일
  • 이탈률/세션 길이 과도 증가(헤매는 신호)
  • CS 증가, 오류율/응답 지연, 비용(토큰) 급증

공고문 자동작성 고도화 예시 지표

• KPI
  • “초안 생성 성공률”(에러 없이 초안 생성)
  • “다운로드/복사 완료율”
  • 수정 횟수/재생성 비율(낮을수록 좋지만, 맥락 필요)
  • 작성 소요시간 절감(셀프 리포트든 로그든)
• 가드레일
  • 잘못된 문구로 인한 클레임/수정 요청 증가
  • 특정 유형에서 품질 급락(아파트 단지/상황별)

4) 측정 설계(이게 제일 중요)

• 이벤트/로그 정의: 어떤 버튼 클릭을 “전환”으로 볼지
• 비교 기준: 개편 전 2주 vs 개편 후 2주 / 혹은 A/B가 가능하면 A/B
• 분석 단위: 전체 vs 신규/기존 vs 단지별(고객군별)

5) 결과 & 해석

• 목표 대비 결과(수치/그래프가 있으면 베스트)
• 왜 그렇게 나왔는지(원인)
• 예상과 달랐다면 어떤 가정이 틀렸는지

6) 레슨런(재사용 형태로)

• “다음부터 홈 개편할 땐 KPI를 XX로 잡는다”
• “콘텐츠/리포트 류는 진입률보다 완료율이 본질이다”
• “자동작성은 품질 지표 + 운영 리스크 지표를 같이 본다” 같은 룰

7) 다음 액션

• 유지/개선/롤백 판단
• 후속 실험 1~2개