ISTQB 기반 테스트 조직 역량 평가 시트 공개
테스트 조직의 역량을 어떻게 평가할 수 있을까요? 단순히 “결함 잘 찾으면 된다”는 시대는 지났습니다. ISTQB(International Software Testing Qualifications Board)는 전 세계적으로 공인된 테스트 역량 기준을 제시하고 있으며, 이를 기반으로 조직의 테스트 수준을 체계적으로 진단할 수 있습니다. 저도 여러 금융 및 공공 프로젝트에서 이 기준을 활용하여 테스트 조직의 성숙도를 측정하고 개선 전략을 설계한 경험이 있습니다. 오늘은 그 경험을 바탕으로 실무에서 바로 활용 가능한 평가 시트를 공개합니다.
목차
ISTQB란 무엇인가?
ISTQB는 소프트웨어 테스팅 분야의 국제 인증 기구로, ‘공통 언어’와 ‘공통 역량 기준’을 제공합니다. 테스트 기초 이론부터 리스크 기반 접근, 도구 활용, 테스트 관리까지 계층별로 인증을 제공합니다. 특히 조직 차원에서 ISTQB 기준을 적용하면, 개인이 아닌 '팀 전체'의 역량을 구조화할 수 있다는 장점이 있습니다.
평가 항목 구성과 기준
저희가 개발한 평가지표는 ISTQB Advanced Test Manager 기준과 TMMi 모델 일부 항목을 통합해 구성되었습니다. 총 5개 영역, 20개 세부 항목으로 조직의 테스트 성숙도를 진단할 수 있습니다.
| 평가 영역 | 주요 평가 항목 |
|---|---|
| 테스트 전략 | 리스크 기반 전략, 정적 테스트 계획 포함 여부 |
| 테스트 설계 | 명세 기반, 구조 기반, 경험 기반 기법 적용 여부 |
| 도구 및 환경 | 테스트 관리 도구, 결함 추적 시스템, 자동화 도구 활용 |
| 테스트 관리 | 테스트 일정, 자원 계획, 진척률 추적 체계 |
| 지속적 개선 | 테스트 리뷰 회고, 메트릭 분석 기반 개선 활동 |
조직 역량 평가 시트 구성
시트는 총 20문항, 각 항목별 0~4점 척도로 구성되어 있으며, 담당자와 관리자 관점 모두에서 점수를 입력하도록 설계했습니다.
- 0점: 미적용 / 1점: 의사결정 없음 / 2점: 부분 적용 / 3점: 전사 적용 / 4점: KPI 기반 최적화
- 평가 결과는 자동 그래프화 → 영역별 레이더 차트로 시각화 가능
점수 해석과 성숙도 등급
점수는 총점 기준으로 5단계 성숙도(Maturity Level)로 분류됩니다. 이는 TMMi 모델과 연계되며, 조직의 현재 상태와 개선 우선순위를 파악할 수 있는 기준점이 됩니다.
| 점수 범위 | 성숙도 레벨 | 해석 |
|---|---|---|
| 0~20점 | Level 1 - 초기(Ad-hoc) | 체계 없음, 개인 중심 테스트 운영 |
| 21~40점 | Level 2 - 관리(Managed) | 기초 프로세스 존재, 일부 영역만 실행됨 |
| 41~60점 | Level 3 - 정의(Defined) | 전사적 프로세스 정의, 문서화 및 교육 시행 |
| 61~80점 | Level 4 - 정량적 관리 | QA Metrics 기반 실행, 지속적 개선체계 보유 |
| 81~100점 | Level 5 - 최적화 | AI/자동화 기반 운영, 품질이 조직 KPI로 연계됨 |
실제 현장 적용 사례
A은행 모바일 시스템 QA팀은 2023년 해당 시트를 기반으로 내부 역량을 진단했고, 42점을 기록하며 ‘Level 3 - 정의’에 도달했습니다. 이후 연간 QA 목표에 ‘테스트 프로세스 정량화’를 추가해 결함 분석 대시보드와 커버리지 자동 측정 시스템을 도입했으며, 1년 후 평가에서 63점으로 도약했습니다. 이처럼 조직의 ‘현재 위치’를 수치화하면 개선이 구체화됩니다.
개인 역량은 팀의 일관된 품질로 이어지지 않기 때문입니다.
기초 수준부터 적용 가능하며, 점진적 확장이 가능합니다.
항목별 점수를 기준으로 개선 우선순위를 설정합니다.
반기 1회 또는 연 1회를 권장합니다.
레이더 차트나 막대 그래프로 영역별 격차를 시각화합니다.
테스트 역량은 이제 더 이상 개인의 직관에만 의존해선 안 됩니다. 국제적 기준인 ISTQB 기반으로 진단하고 수치화하면, 조직의 품질 수준을 객관적으로 보여줄 수 있습니다. 오늘 소개한 평가 시트를 기반으로, 여러분 조직의 테스트 성숙도를 점검해보세요. 어디서부터 개선해야 할지 명확해지고, 그 과정을 통해 궁극적으로는 고객 신뢰와 프로젝트 성공률을 함께 끌어올릴 수 있습니다.
ISTQB, 테스트 조직, QA 역량 진단, 성숙도 평가, TMMi, 테스트 전략, 품질 지표, 조직 점검 시트, 소프트웨어 테스팅, 품질관리