개발된 응용 애플리케이션이나 시스템이 사용자가 요구하는 기능,성능,사용성,안정성등을
만족하는지 확인하고, 노출되지 않은 숨어있는 결함이 있는지 찾아내는 활동
- 오류 발견 관점
잠재된 오류를 발견하고 이를 수정하여 개발하기 위해 필요 - 오류 예방 관점
프로그램 실행 전에 동료 검토, 워크스루, 인스펙션 등을 통해 오류를 사전에 발견 - 품질 향상 관점
사용자의 요구사항 및 기대수준을 만족하도록 반복적인 테스트를 거쳐 신뢰도를 향상하는 품질 보증을 위해 필요
- 테스팅은 결함이 존재함을 밝히는 것
결함이 없다는 것을 증명할 수는 없음
결함이 존재함을 밝히는 활동 - 완벽한 테스팅은 불가능
완벽하게 테스팅하려는 시도는 불필요한 시간과 자원낭비 - 개발 초기에 테스팅 시작
테스팅 결과를 단시간에 알 수 있고, 테스팅 기간 단축, 재작업을 줄여 개발 기간 단축 및 결함 예방 - 결함집중
적은 수의 모듈에서 대다수의 결함이 발견됨
오류의 80%는 전체 모듈의 20%에서 발견 - 살충제 패러독스
동일한 테스트케이스에 의한 반복적 테스트는 새로운 버그를 찾지 못함 - 테스팅은 정황에 의존적
소프트웨어의 성격에 맞게 테스트 실시, 정황과 비즈니스 도메인에 따라 테스트를 다르게 수행 - 오류-부재의 궤변
요구사항을 충족시키지 못한다면, 결함이 없다고해도 품질이 높다고 볼 수 없다.
- 테스트 계획서
목적과 범위 정의 등 수행을 계획한 문서 - 테스트 베이시스
분석, 설계 단계의 논리적인 케이스로 설계를 위한 기준 - 테스트 케이스
테스트를 위한 설계 산출물 - 테스트 슈트
테스트 케이스의 집합 - 테스트 시나리오
테스트가 필요한 상황을 작성한 문서 - 테스트 스크립트
테스트 케이스의 실행 순서를 작성한 문서 - 테스트 결과서
테스트 결과를 정리한 문서
<프로그램 실행 여부에 따른 분류>
정적테스트와 동적테스트로 나눌수 있다.
정적 테스트 = 대상을 실행하지 않고 구조를 분석하여 논리성을 검증하는 테스트
ex) 리뷰,정적 분석
동적 테스트 = 소프트웨어를 실행하는 방식으로 테스트를 수행하여 결함을 검출
ex) 화이트박스 테스트, 블랙박스 테스트, 경험기반 테스트
<테스트 기법에 따른 분류>
각 응용 프로그램의 내부 구조와 동작을 검사하는 소프트웨어 테스트
소스코드 모든 문장을 한번 이상 수행
- 구문 커버리지
프로그램 내의 모든 명령문을 적어도 한번 수행 - 결정 커버리지
결정 포인트 내의 전체 조건식이 적어도 한번은 T, F의 결과를 수행 - 조건 커버리지
결정 포인트 내의 각 개별 조건식이 적어도 한번은 T, F의 결과를 수행하는 테스트 커버리지 - 조건/결정 커버리지
전체 조건식 뿐만 아니라 개별 조건식도 T, F한번 결과가 되도록 수행 - 변경 조건/결정 커버리지
개별 조건식이 다른 개별 조건식에 영향을 받지 않고 독립적으로 영향을 주도록 함으로써 조건/결정 커버리지를 향상시킨 커버리지 - 다중 조건 커버리지
결정 조건 내 모든 개별 조건식의 모든 가능한 조합을 100% 보장하는 커버리지 - 기본 경로 커버리지
수행 가능한 모든 경로를 테스트하는 기법 - 제어 흐름 테스트
제어구조를 그래프 형태로 나타내어 내부 로직을 테스트하는 기법 - 데이터 흐름 테스트
제어 흐름 그래프에 데이터 사용현황을 추가한 그래프를 통해 테스트하는 기법
프로그램 외부 사용자와 요구사항 명세를 보면서 수행하는 테스트
기능 및 동작 위주의 테스트를 진행하기 때문에 내부 구조나 작동 원리를 알지 못해도 가능하다.
- 동등분할 테스트
입력 데이터의 영역을 유사항 도메인별로 유효값/무효값을 그루핑하여 도출 - 경곗값 분석 테스트
등가 분할 후 경곗값 부분에서 오류 발생 확률이 높기 때문에 경곗값을 포함하여 테스트설계 - 결정 테이블 테스트
요구사항의 논리와 발생조건을 테이블 형태로 나열하여, 조건과 행위 모두 조합하여 테스트 - 상태 전이 테스트
테스트 대상,시스템이나 객체의 상태를 구분하고 이벤트에 의해 어느 상태에서 다른 상태로 전이되는 경우의 수를 수행 - 유스케이스 테스트
시스템이 실제 사용되는 유스케이스로 모델링 되어 있을 때 명세화 하여 수행 - 분류 트리 테스트
SW의 일부 또는 전체를 트리 구조로 분석 및 표현하여 테스트 - 페어와이즈 테스트
테스트, 데이터값들 간에 최소한 한번 씩을 조합하는 방식 - 원인-결과 그래프 테스트
그래프를 활용하여 입력 데이터 간의 관계 및 출력에 미치는 여향을 분석하여 효용성 높은 테스트케이스를 선정하여 테스트 - 비교 테스트
여러 버전의 프로그램에 같은 입력값을 넣어서 동일한 결과가 나오는지 비교
<테스트 시각에 따른 분류>
검증과 확인이 있다.
검증(Verification)
소프트웨어 개발 과정을 테스트
올바른 제품을 생산하고 있는지를 검증
확인(Validation)
소프트웨어 결과를 테스트
만들어진 제품이 제대로 동작하는지 확인
최종 사용자 요구 또는 소프트웨어 요구에 적합한지 판단
<테스트 목적에 따른 분류>
- 회복테스트
시스템에 고의로 실패를 유도하고 시스템의 정상적 복귀여부를 테스트 - 안전 테스트
불법적인 소프트웨어가 접근하여 시스템을 파괴하지 못하도록 미리 점검 - 성능 테스트
사용자의 이벤트에 시스템이 응답하는 시간, 특정 시간 내에 처리하는 업무량 등을 테스트 - 구조 테스트
소스 코드의 복잡도를 평가하는 테스트 - 회귀 테스트
오류를 제거하거나 수정한 시스템에서 오류 제거와 수정에 의해 새로이 유입된 오류가 없는지 확인하는 반복 테스트 - 병행 테스트
변경된 시스템과 기존 시스템에 동일한 데이터를 입력 후 결과를 비교
- 부하테스트
시스템에 부하를 계속 증가시키면서 시스템의 임계점을 찾는 테스트 - 스트레스 테스트
임계점 이상의 부하를 가하여 비정상적인 상황에서의 처리를 테스트 - 스파이크 테스트
짧은 시간에 사용자가 몰릴 때 시스템의 반응 측정 테스트 - 내구성 테스트
오랜 시간 동안 시스템에 높은 부하를 가하여 시스템의 반응 테스트
<테스트 종류에 따른 분류>
- 명세 기반 테스트(블랙박스 테스트)
요구사항 명세서를 기반으로 테스트 케이스를 선정하여 테스트 - 구조 기반 테스트(화이트박스 테스트)
내부 논리 흐름에 따라 테스트 케이스를 작성하고 확인 - 경험 기반 테스트(블랙박스 테스트)
유사 소프트웨어나 유사 기술 평가에서 테스터의 경험을 토대로 한 테스트
위에서 테스트는 크게 정적 테스트와 동적 테스트로 나눌수 있다고 했고,
정적 테스트는 대상을 실행하지 않고 구조를 분석하여 논리성을 검증하는 테스트이다.
그리고 예로는 리뷰와 정적 분석이 있다.
다양한 산출물에 존재하는 결함을 검출하거나 프로젝트의 진행 상황을 점검하기 위한 활동으로 전문가가 수행
- 관리 리뷰
전반적인 검토를 바탕으로 범위,일정,인력 등에 대한 통제 및 의사 결정을 지원하는 리뷰 - 기술 리뷰
계획 및 명세를 준수하고 있는지에 대한 검토를 수행하는 리뷰
대표 엔지니어가 주재, 여러 대안을 추천하거나 대안을 검토 - 인스펙션
저작자 외의 다른 전문가 또는 팀이 검사하여 문제를 식별하고 올바른 해결을 찾아내는 검토 기법 - 워크스루
검토 자료를 회의 전에 배포하여 사전 검토한 후 짧은 시간 동안 회의를 진행하는 형태 - 감사
제품 및 프로세스가 규제,표준,가이드라인 등을 준수하고 있는지를 독립적으로 평가하는 기법
저작자 외의 다른 전문가 또는 팀이 검사하여 문제를 식별하고 문제에 대한 올바른 해결을 찾아내는 검토 기법
동료 검토라고도 할 수 있다.
인스펙션 프로세스
계획 수립 - 절차 및 작업물의 개요 설명 - 준비 - 검토 회의 - 재작업 - 후속작업
인스펙션 참가자 구성
주재자, 작성자, 낭독자, 기록자, 검토자
리뷰는 사람이 직접 수행하는 수작업 중심의 방법이지만, 정적 분석은 도구의 지원을 받아 정적테스트 수행
자동화된 도구를 이용하여 산출물의 결함을 검출하거나 복잡도 측정
ex) 코딩 표준 부합, 코드 복잡도 계산, 자료 흐름 분석 등이 있다.
각 응용프로그램의 내부 구조와 동작을 검사하는 소프트웨어 테스트이다.
위에서 썼다시피 구결조 조변다 기제데 커버리지가 있다.
프로그램의 테스트 수행 정도를 나타내는 값으로 테스트 수행의 완벽성을 측정
테스트 케이스에 의해 수행되는 소프트웨어의 테스트 범위를 측정하는 테스트 품질 측정 기준
시스템 또는 컴포넌트에서 테스트가 수행된 정도를 나타낸다.
- 기능 기반 커버리지
전체 기능을 모수로 설정하고, 실제 테스트가 수행된 기능을 측정 - 라인 커버리지
전체 소스 코드의 라인수를 모수로 테스트 시나리오가 수행한 소스코드의 라인 수를 측정 - 코드 커버리지
소프트웨어 테스트 충분성 지표 중 하나, 얼마나 테스트되었는지를 측정
프로그램 외부 사용자의 요구사항 명세를 보면서 수행하는 테스트
위에서 썼다시피 동경결상 유분페원비 테스트가 있다.
마지막 동적 테스트로서 테스터의 경험을 토대로 한, 직관과 기술 능력을 기반으로 수행하는 테스트
- 탐색적 테스트
문서로 작성하지 않고 경험에 바탕을 두고 탐색적으로 기능을 수행해 보면서 테스트하는 기법 - 오류 추정
개발자가 범할 수 있는 실수를 측정하고 이에 따른 결함이 검출되도록 테스트케이스를 설계하여 테스트 - 체크리스트
테스트하고 평가해야 할 내용과 경험을 분류하여 나열한 이후 하나씩 확인하는 테스트 기법 - 특성테스트
품질모델에 있는 품직 특성을 염두에 두고 이를 근간으로 경험적으로 테스트케이스를 설계하고 테스트
요구사항에 준수하는 지를 확인하기 위해 개발된 입력값, 실행 조건, 예상된 결과의 집합이다.
테스트 케이스 작성 절차
테스트 계획 검토 및 자료 확보 - 위험 평가 및 우선순위 결정 - 테스트 요구사항 정의 - 테스트 구조 설게 및 테스트 방법 결정 -
테스트 케이스 정의 - 테스트 케이스 타당성 확인 및 유지보수
테스트 케이스 구성요소
식별자, 테스트 항목, 입력 명세, 출력 명세, 환경 설정, 특수절차요구, 의존성 기술
테스트 결과가 참인지 거짓인지를 판단하기 위해 사전에 정의된 참값을 입력하여 비교하는 기법이다.
- 참 오라클
모든 입력값에 대하여 기대하는 결과를 생성함으로써 발생된 오류를 모두 검출 - 샘플링 오라클
특정한 몇 개의 입력값에 대해서만 기대하는 결과를 제공 - 휴리스틱 오라클
샘플링 오라클을 개선한 오라클로, 입력값에 대해 올바른 결과를 제공, 나머지 값들에 대해서는 추정(휴리스틱)으로 처리 - 일관성 검사 오라클
애플리케이션 변경이 있을 때, 수행 전과 후의 결괏값이 동일한지 확인
함께 편성되고 관리되는 테스트 활동의 그룹이다.
테스트 레벨은 프로젝트에서 책임과 연관되어 있다.
- 단위 테스트
사용자 요구사항에 대한 단위 모듈, 서브루틴 등을 테스트
소프트웨어 설계의 최소 단위인 모듈이나 컴포넌트에 초점을 맞춘 테스트 - 통합 테스트
단위 테스트를 통과한 모듈사이의 인터페이스, 통합된 컴포넌트 간의 상호작용을 검증 - 시스템 테스트
통합된 단위시스템의 기능이 시스템에서 정상적으로 수행되는지를 검증 - 인수 테스트
계약상의 요구사항이 만족되었는지 확인하기 위한 테스트 단계
단위(컴포넌트) 테스트는 개별적 모듈을 테스트 한다.
구현 단계에서 각 모듈을 구현한 후 수행한다.
객체지향 프로그램에서는 컴포넌트(단위) 테스트 수행시 테스트 되는 메서드는 다른 클래스의 객체에 의존한다.
독립적인 컴포넌트 테스트를 위해서는 스텁의 객체지향 버전인 목 객체가 필요하다.
- 더미 객체
테스트할때 객체만 필요하고 해당 객체의 기능까지는 필요하지 않는 경우에 사용
정상 동작은 수행하지 않고 예외 수행 - 테스트 스텁
제어 모듈이 호출하는 타 모듈의 기능을 단순히 수행하는 도구로 단순 기능에 특정 상태를 가정해서 특정한 값을 리턴하거나 특정 메시지 출력 - 테스트 드라이버
테스트 대상 하위 모듈을 호출하고 파라미터를 전달하고 테스트 수행 후의 결과를 도출 - 테스트 스파이
테스트 대상 클래스와 협력하는 클래스로 가는 출력을 검증하는데 사용 - 가짜 객체
실제 협력 클래스의 기능을 대체해야 할 경우 사용
소프트웨어 각 모듈 간의 인터페이스 관련 오류 및 결함을 찾아내기 위한 테스트 기법
단위 테스트가 끝난 프로그램이 설계 단계에서 제시한 애플리케이션과 동일한 구조와 기능으로 구현됐는지 확인
비점증적인 방식 = 빅뱅 방식, 모든 컴포넌트를 사전에 통합하여 한꺼번에 테스트
점증적인 방식 = 상향식 통합, 하향식 통합
메인모듈로부터 아래 방향으로 제어의 경로를 따라 이동하면서 하향식으로 통합하면서 테스트를 진행
깊이-우선 or 너비-우선 방식으로 통합
더미 모듈 = 스텁
애플리케이션 구조에서 최하위 레벨의 모듈 또는 컴포넌트로부터 위쪽 방향으로 제어의 경로를 따라 이동하면서 테스트 수행
더미 모듈 = 드라이버
상향식 통합 테스트 + 하향식 통합 테스트
병렬 테스트가 가능하고 시간 절약
스텁과 드라이버의 필요성이 매우 높은 방식, 비용이 많이 소요
테스트 도구를 활용하여 반복적인 테스트 작업을 스크립트 형태로 구현하여 테스트 시간 단축과 인력 투입 비용의 최소화
쉽고 효율적인 테스트를 수행하는 방법
- 정적 분석 도구
애플리케이션을 실행하지 않고 분석하는 도구
테스트 수행하는 사람이 작성된 소스 코드에 대한 이해를 바탕으로 도구를 이용하여 분석 - 테스트 실행 도구
작성된 스크립트를 실행하고, 작성된 스크립트는 각 스크립트마다 특정 데이터와 테스트 수행 방법을 포함 - 성능 테스트 도구
애플리케이션의 처리량, 응답 시간, 경과 시간, 자원 사용률에 대해 가상의 사용자를 생성하고 테스트를 수행 - 테스트 통제 도구
테스트 계획 및 관리를 위한 테스트 관리 도구, 테스트 수행에 필요한 데이터와 도구를 관리하는 형상 관리 도구등이 있다.
컴포넌트 및 모듈을 테스트하는 환경의 일부분, 테스트를 지원하기 위한 코드와 데이터를 말한다.
단위 또는 모듈 테스트에 사용하기 위해 코드 개발자가 작성한다.
- 테스트 드라이버
하위 모듈을 호출하고, 파라미터를 전달하고 상향식 테스트에 필요 - 테스트 스텁
제어 모듈이 호출하는 타 모듈의 기능을 단순히 수행하는 도구로 하향식 테스트에 필요 - 테스트 슈트
테스트 대상 컴포넌트나 모듈, 시스템에 사용되는 테스트 케이스의 집합 - 테스트 케이스
입력값, 실행조건, 기대 결과 등의 집합 - 테스트 스크립트
자동화된 테스트 실행 절차에 대한 명세 - 목 오브젝트
사용자의 행위를 조건부로 사전에 입력해 두면, 그 상황에 예정된 행위를 수행하는 객체
에러/오류
에러는 결함의 원인, 일반적으로 사람에 의해 생성된 실수
결함/결점/버그
에러 또는 오류가 원인, 소프트웨어 제품에 포함되어 있는 결함
이를 제거하지 않으면 소프트웨어 제품이 실패됨
실패/문제
소프트웨어 제품에 포함된 결함이 실행될때 발생되는 현상
테스트 결과 정리
테스트 계획과 테스트 케이스 설계부터 단계별 테스트 시나리오, 테스트 결과까지 모두 포함된 문서 작성
테스트 요약문서
소프트웨어의 품질 상태를 포함한 문서 작성
품질 상태
정량화된 품질 지표(테스트 성공률, 발생한 결함의 수) 등을 작성
테스트 결과서
결함과 관련한 사항을 중점적으로 기록, 결함의 재현순서 등을 상세하게 기록
테스트 실행 절차 리뷰 및 평가
단계별 테스트 종료 시 테스트 실행 절차를 리뷰, 결과에 대한 평가 수행
결함의 재발 방지와 유사 결함 발견 시 처리 시간 단축을 위해
결함 관리 계획 - 결함 기록 - 결함 검토 - 결함 수정 - 결함 재확인 - 결함상태추적 및 모니터링활동 - 최종결함분석 및 보고서 작성
구체화
결함의 원인을 찾기 위해 결함을 발생시킨 입력값 등을 명확히 파악
고립화
입력값, 테스트 절차, 테스트 환경 중 어떤 요소가 결함 발생에 영향을 미치는지 파악
일반화
결함 발생에 영향을 주는 요소를 최대한 일반화
주어진 테스트 케이스에 의해 수행되는 소프트웨어의 테스트 범위를 측정하는 테스트 품질 측정 기준이다.
테스트의 정확성과 신뢰성을 향상시키는 역할 수행
- 기능 기반 커버리지
애플리케이션의 전체 기능을 모수로 설정, 실제 테스트가 수행된 기능의 수를 측정 - 라인 커버리지
소스 코드의 라인 수를 모수로 테스트 시나리오가 수행한 소스코드의 라인 수를 측정 - 코드 커버리지
구조 코드 자체가 얼마나 테스트되었는지를 측정
- 시스템 결함
애플리케이션 환경과 데이터베이스 처리에서 발생하는 결함 - 기능 결함
기획,설계,업무 시나리오 단계에서 발생한 결함 - GUI결함
화면 설계에서 발생한 결함 - 문서 결함
의사소통과 기록이 원할하지 않은 경우 발생하는 결함
처리량
주어진 시간에 처리할 수 있는 트랜잭션의 수
응답 시간
사용자 입력이 끝난후, 애플리케이션의 응답 출력이 개시될때 까지의 시간
경과 시간
사용자가 요구를 입력한 시점부터 트랜잭션을 처리 후 그 결과의 출력이 완료할 때까지 걸리는 시간
자원 사용률
사용하는 CPU 사용량, 메모리 사용량, 네트워크 사용량
일반적으로 DB에 연결하기 위해 Connection 객체를 생성하거나 쿼리를 실행하는 애플리케이션 로직에서 성능저하, 장애 발생
- 데이터 베이스 락
대량의 데이터 조회, 과도한 업데이트, 인덱스 생성시 발생하는 현상 - 불필요한 데이터베이스 패치
실제 필요한 데이터보다 많은 대량의 데이터 요청이 들어올 경우 응답 시간 저하 현상 발생 - 연결 누수
JDBC 객체를 사용한 후 종료하지 않을 경우 발생 - 부적절한 커넥션 풀 크기
너무 작거나 크게 설정한 경우 성능 저하 현상이 발생할 가능성 존재 - 확정 관련
트랜잭션이 확정되지 않고 커넥션 풀에 반환될 때 성능 정하 가능성 존재
- 성능 테스트 도구 설치
대상 시스템에 선정된 테스트 도구 설치 - 테스트 환경 설정
운영체제, DBMS버전, 네트워크 상태 등에 대한 설정 - 시나리오 생성
테스트 목적에 맞는 부하형태, 파라미터, 수행시간 등의 정보 설정 - 성능 테스트 실행 및 모니터링
테스트를 수행하면서 테스트 상황을 도구를 통해 모니터링
읽기 쉽고 변경 및 추가가 쉬운 클린 코드를 작성
다른 개발자가 로직을 이해하기 어렵게 작성된 코드
- 외계인 코드
아주 오래되거나 참고문서 또는 개발자가 없어서 유지보수 작업이 매우 어려움 - 스파게티 코드
소스코드가 복잡하게 얽힌 모습을 스파게티의 면발에 비유
작동은 정상적으로 하지만, 사람이 코드를 읽으면서 코드의 작동을 파악하기 어려운 코드 - 알 수 없는 변수명
변수나 메서드에 대한 이름 정의를 알 수 없는 코드 - 로직 중복
동일한 처리 로직이 중복되게 작성된 코드
- 오염
기능을 수행하지 못하는 많은 컴포넌트들이 존재 - 문서 부족
현재 코드와 문서가 일치하지 않고 수정과 변경을 위한 도메인 지식은 크게 증가 하지만 개발자의 지식부족 초래 - 의미 없는 이름
함수, 클래스 등의 이름들이 명확한 의미를 갖지 못하거나 실제 작동과 불일치 - 높은 결합도
클래스와 컴포넌트 간에 데이터와 컨트롤 흐름이 네트워크로 복잡하게 연결 - 아키텍처 침식
아키텍처가 여러 솔류션으로 이루어져 구별되지않고, 시스템 품질이 떨어짐
잘 작성되어 가독성이 높고, 단순하며, 의존성을 줄이고, 중복을 최소화
- 가독성
이해하기 쉬운 용어 사용 - 단순성
한번에 한 가지만 처리를 수행 - 의존성 최소
영향도를 최소화, 코드의 변경이 다른 부분에 영향이 없게 작성 - 중복성 제거
중복된 코드를 제거, 공통된 코드를 사용 - 추상화
동일한 수준의 추상화 구현, 상세 내용은 하위/클래스/메서드/함수에서 구현
유지보수 생산성 향상을 목적으로 기능을 변경하지 않고, 복잡한 소스 코드를 수정, 보완하여 가용성 및 가독성을 높이는 기법
외부적 기능은 수정하지 않고 내부적으로 구조, 관계 등을 단순화하여 유지보수성을 향상