이 가이드를 통해 학습할 수 있는 내용•
종합 점수 조정 그룹이 무엇이고, 어떻게 묶어야 하는지
•
실무에서 자주 쓰는 그룹화 예시 4가지
•
3가지 조정 방식(평균/표준편차 일치법, 평균 일치법, 최대/최소 점수 제외법)의 차이와 선택 기준
•
실제 적용된 조정 결과를 어디서 확인하는지
종합 점수 조정이란?평가자마다 채점 성향에 차이가 있을 수 있습니다.
전반적인 점수 수준이 높거나 낮은 경우도 있고, 점수 분포의 폭이 넓거나 좁은 경우도 있습니다.
이런 차이를 그대로 두면 같은 실력의 구성원이라도 어떤 평가자에게 평가받았느냐에 따라 결과가 달라질 수 있습니다.
종합 점수 조정은 이런 평가자 간 차이를 통계적으로 보정해 주는 기능이며,
3가지 방식 중 하나를 선택해 "종합 점수 조정 그룹" 단위로 적용됩니다.
종합 점수 조정 그룹 만들기
종합 점수 조정 그룹은 최소 1개 이상 반드시 설정해야 합니다.
조정 공식을 하위 리뷰별로 다르게 적용할 필요가 없다면, 하나의 그룹에 모든 하위 리뷰를 묶어도 충분합니다.
(1) 그룹명을 입력합니다.
(2) 그룹에 적용할 조정 공식을 설정합니다. (조정 공식별 상세 설명은 하단에 이어집니다)
(3) 해당 그룹에 묶을 하위 리뷰는 [추가] 버튼을 눌러 추가합니다.
검수중 단계로 진입하면 조정 방식은 더 이상 변경할 수 없고,
그룹명 수정과 결과 확인만 가능해집니다. 조정 방식은 검수중 진입 전에 확정해주세요.
그룹은 어떤 기준으로 묶으면 좋을까요?•
한 그룹에 묶인 하위 리뷰들은 "같은 기준으로 점수가 보정되어도 괜찮은가?"가 핵심이에요.
•
점수 분포 특성이나 평가 목적이 비슷한 리뷰끼리 묶을 때 가장 효과적입니다.
그룹화 핵심 원칙•
점수 분포 특성이 비슷한 리뷰끼리 묶으세요.
•
평가 목적이 다른 리뷰는 분리하는 것이 좋습니다.
•
그룹이 너무 잘게 쪼개지면 각 그룹의 데이터 수가 적어져 보정이 불안정해질 수 있어요.
•
그룹별로 서로 다른 조정 방식을 선택할 수 있으니, 그룹 특성에 맞춰 자유롭게 조합하세요.
아래는 실무에서 자주 쓰는 그룹화 예시입니다.예시 1
예시 2
예시 3
예시 4
가장 단순하게, 전체를 하나의 그룹으로 묶는 경우조직 규모가 작거나, 모든 하위 리뷰가 비슷한 특성을 가질 때 가장 간단한 방식이에요.
•
이렇게 묶어요
◦
그룹 A : 모든 하위 리뷰
•
왜 좋은가요?
◦
운영이 단순하고, 평가자 간 채점 성향만 보정하면 충분한 경우라면 가장 빠르게 적용할 수 있어요.
점수 조정 공통사항
•
조정한 점수가 100점을 초과하면 100점으로 처리합니다.
•
조정한 점수가 0점 미만이면 0점으로 처리합니다.
•
조정은 종합 점수 조정 그룹 단위로 이뤄집니다. 같은 그룹에 묶인 하위 리뷰 점수는 한 묶음으로 함께 조정됩니다.
방식1. 평균/표준편차 일치법
평균/표준편차 일치법이란?평가자 간 평균 점수와 점수 분포의 폭(표준편차)을 '표준정규분포'를 이용해 일정하게 맞춰주는 조정 방식입니다.
[평균/표준편차 일치법] 언제 사용하면 좋은가요?
•
평가자가 여러 명이고, 평가자별 채점 스타일(평균 및 점수 분포)의 차이가 큰 경우
•
예) 평가자 A는 60~100점 범위에 넓게 분포시켜 점수를 부여하고, 평가자 B는 75~85점 범위에 점수가 몰려 있는 경우
•
평균만 일치시키는 것으로는 부족하여, 점수 분포의 폭까지 동일하게 보정하고자 하는 경우
•
평가자별 관대화·가혹화의 영향을 가장 완전하게 제거하고자 하는 경우
[평균/표준편차 일치법] 유의사항
•
평가자가 담당하는 구성원 수가 매우 적은 경우(2~3명)에는 표준편차가 불안정해져 조정 결과가 왜곡될 수 있습니다.
•
피평가자에게 배정된 평가자가 1명일 경우, 기본 공식 대신 별도의 '1:1 평가자 예외 공식'이 자동 적용됩니다. (아래 [ 1:1 평가자 예외 조정법 ] 참고)
조정 평균, 조정표준편차 설정 방식화면에서 아래 두 가지 방식 중 하나를 선택할 수 있습니다.
(1) ‘평가자전체평균, 평가자전체표준편차로 계산’을 선택한 경우
•
시스템이 자동으로 조정평균과 조정표준편차를 계산하여 적용합니다.
•
별도 입력 없이 가장 보편적인 기준으로 점수를 조정하고 싶을 때 권장합니다.
(2) ‘사용자 맞춤’을 선택한 경우
•
운영자가 회사의 평가 정책에 따라 원하는 조정평균과 조정표준편차를 직접 입력합니다.
•
예를 들어 "이번 평가는 평균 80점, 표준편차 10으로 맞추겠다"는 정책이 있는 경우, 조직의 평가 기준에 따라 평균/표준편차를 의도적으로 설정하고 싶을 때 사용합니다.
•
조정평균 : 기준이 될 평균 점수 (기본 80점, 0 초과 ~ 100 미만, 소수점 둘째 자리까지 입력 가능)
•
조정표준편차 : 기준이 될 표준편차 (기본 10, 0 초과 ~ 100 미만, 소수점 둘째 자리까지 입력 가능)
[ 계산 공식 ]
조정점수 = 조정평균 + 편차비율 × 조정표준편차
편차비율 = (평가자원평가점수 − 평가자평균) / 평가자표준편차
•
평가자원평가점수 : 평가자가 하위 리뷰에서 각 피평가자에게 부여한 점수 (조정 전)
•
평가자평균 : 그 평가자가 매긴 모든 점수의 평균값
•
평가자표준편차 : 그 평가자가 매긴 모든 점수의 표준편차
•
조정평균 : 점수 조정 시 기준이 되는 평균값. '조정 평균, 조정표준편차 설정 방식'에서 선택한 옵션에 따라, 시스템이 자동 계산한 값 또는 운영자가 입력한 값이 적용됩니다.
•
조정표준편차 : 점수 조정 시 기준이 되는 표준편차 값. 위 '조정 평균, 조정표준편차 설정 방식'에서 선택한 옵션에 따라, 시스템이 자동 계산한 값 또는 운영자가 입력한 값이 적용됩니다.
1:1 평가자 예외 조정법•
피평가자에게 배정된 평가자가 1명뿐일 때는 표준편차 계산이 불안정해지기 때문에, 기본 공식 대신 아래 예외 공식을 적용합니다.
(1) ‘평가자전체평균으로 계산’을 선택한 경우
•
평가자원평가점수 : 평가자가 하위 리뷰에서 각 피평가자에게 부여한 점수
•
조정평균 : 모든 평가자의 평균 점수를 더한 뒤 평가자 수로 나눈 값이 자동으로 반영됨
•
전체그룹평균 : 피평가자의 평균 점수를 모두 더한 뒤 피평가자 수로 나눈 값
(2) ‘사용자 맞춤’을 선택한 경우
•
평가자원평가점수 : 평가자가 하위 리뷰에서 각 피평가자에게 부여한 점수
•
조정평균 : 운영자가 '조정 공식' 화면에 직접 입력한 평균 값
•
전체그룹평균 : 피평가자의 평균 점수를 모두 더한 뒤 피평가자 수로 나눈 값
[ 계산 공식 ]
조정점수 = 평가자원평가점수 × (조정평균 / 전체그룹평균)
[평균/표준편차 일치법] 예시
방식2. 평균 일치법
평균 일치법이란?•
평가자 간 평균 점수를 동일하게 맞춰 주는 조정 방식입니다.
•
평가자별 점수 평균 차이를 보정하여 평가 기준을 일정하게 맞추는 방식입니다.
[평균 일치법] 언제 사용하면 좋은가요?
•
평가자별 관대화·가혹화 경향에 따른 평균 점수 차이를 보정하고자 할 때
•
평가자별 채점 순위(피평가자 간 상대적 평가 결과)는 그대로 유지하면서 평균만 맞추고자 할 때
[평균 일치법] 유의사항
•
평가자가 점수를 좁은 범위에 몰아 부여한 경우와 넓은 범위에 분포시킨 경우의 차이는 보정되지 않습니다.
•
예) 평가자 A가 78~82점 범위에 모든 점수를 부여하고, 평가자 B가 60~100점 범위에 넓게 부여한 경우, 평균을 일치시키더라도 평가자 A의 피평가자들 간의 점수 차이는 평가자 B 대비 작게 유지됩니다.
•
피평가자에게 배정된 평가자가 1명일 경우, 기본 공식 대신 별도의 '1:1 평가자 예외 공식'이 자동 적용됩니다.
조정 평균 설정 방식‘조정 공식’ 화면에서 아래 두 가지 방식 중 하나를 선택할 수 있습니다.
(1) ‘평가자전체평균으로 계산’을 선택한 경우
•
시스템이 자동으로 전체 평가자의 평균 점수를 계산해 조정평균으로 사용합니다.
(2) ‘사용자 맞춤’을 선택한 경우
•
운영자가 회사의 평가 정책에 따라 원하는 조정평균을 직접 입력합니다.
[ 계산 공식 ]
평가자원평가점수 × (조정평균 / 평가자평균)
•
조정평균 : 점수 조정 시 기준이 되는 평균값. 위 '조정 평균 설정 방식'에서 선택한 옵션에 따라, 시스템이 자동 계산한 값 또는 운영자가 입력한 값이 적용됩니다.
•
평가자원평가점수 : 평가자가 하위 리뷰에서 각 피평가자에게 부여한 점수
•
평가자평균 : 평가자가 하위 리뷰에서 각 피평가자에게 부여한 점수의 평균 값
1:1 평가자 예외 조정법피평가자에게 배정된 평가자가 1명뿐일 때는 평가자평균 = 평가자원평가점수가 되어 조정 효과가 사라지기 때문에,
기본 공식 대신 아래 예외 공식을 적용합니다.
(1) ‘평가자전체평균으로 계산’을 선택한 경우
•
평가자원평가점수 : 평가자가 하위 리뷰에서 각 피평가자에게 부여한 점수
•
조정평균 : 모든 평가자의 평균 점수를 더한 뒤 평가자 수로 나눈 값이 자동으로 반영됨
•
전체그룹평균 : 피평가자의 평균 점수를 모두 더한 뒤 피평가자 수로 나눈 값
(2) ‘사용자 맞춤’을 선택한 경우
•
평가자원평가점수 : 평가자가 하위 리뷰에서 각 피평가자에게 부여한 점수
•
조정평균 : 운영자가 '조정 공식' 화면에 직접 입력한 평균 값
•
전체그룹평균 : 피평가자의 평균 점수를 모두 더한 뒤 피평가자 수로 나눈 값
[ 계산 공식 ]
평가자원평가점수 × (조정평균 / 전체그룹평균)
방식3. 최대/최소 점수 제외법
최대/최소 점수 제외법이란?•
피평가자가 받은 여러 점수 중 가장 높은 점수와 가장 낮은 점수를 제외한 나머지 점수의 평균으로 조정점수를 산출하는 방식입니다.
•
특정 평가자의 극단적인 채점이 전체 결과에 미치는 영향을 줄이기 위해, 양 극단의 점수를 제외하고 나머지 점수만으로 평균을 산출합니다.
[최대/최소 점수 제외법] 언제 사용하면 좋은가요?
•
특정 평가자의 극단적으로 높거나 낮은 점수가 결과에 미치는 영향을 완화하고자 하는 경우
•
다수의 평가자에게 평가받는 환경에서, 중간값 중심의 안정적인 평가 결과를 산출하고자 하는 경우
•
예) 5명의 평가자에게 평가받은 피평가자에 대해 1명이 유독 높거나 낮은 점수를 부여한 경우, 해당 평가를 제외한 4명의 평가만으로 점수가 산출됩니다.
[최대/최소 점수 제외법] 유의사항
•
피평가자가 받은 평가가 3개 이상인 경우에만 적용됩니다.
•
평가자 간 채점 성향 차이를 본격적으로 보정하고자 하는 경우에는 평균/표준편차 일치법 또는 평균 일치법이 적합합니다.
최대/최소 점수 제외법 계산 공식
•
피평가자가 받은 점수 중 최소값과 최대값을 제외한 나머지 점수의 평균을 조정점수로 사용합니다.
•
피평가자가 받은 평가가 3개 미만이면 이 방식은 적용되지 않습니다.
조정 결과 확인하기
•
종합 점수 조정은 검수중 단계로 진입하면 시스템이 자동으로 조정을 완료합니다.
•
검수중 단계에서는 조정 방식의 변경이 불가하며, 그룹명 수정 및 엑셀 파일 다운로드를 통한 조정 결과 확인만 가능합니다.
•
자동 계산된 조정평균·조정표준편차 등 실제 적용된 기준값과 구성원별 조정 내역은 엑셀 파일을 통해 상세히 확인할 수 있습니다.
(1) 그룹명 수정 : 종합 점수 조정 그룹명을 수정할 수 있어요.
(2) 종합 점수 조정 - 엑셀 파일로 보기 : 원점수와 조정 결과, 조정에 사용된 계산 과정이 모두 담긴 엑셀을 받을 수 있어요.
시트 첫 부분에 이 그룹에 적용된 기준값들이 표시되어, 조정이 어떤 값으로 이뤄졌는지 검수할 수 있어요.
항목 | 표시 내용 |
종합 점수 조정 그룹 | 해당 그룹명 |
조정 방식 | 평균/표준편차 일치법 / 평균 일치법 등 |
조정평균 | 자동 계산된 값 또는 운영자가 입력한 값 |
조정표준편차(평균/표준편차 일치법 전용) | 자동 계산된 값 또는 운영자가 입력한 값 |
1:1예외 조정평균 | 1:1 예외 공식에 사용된 조정평균 값 |
전체그룹평균 | 피평가자의 평균 점수를 모두 평균낸 값 |
<엑셀 다운로드 예시>
(3) 리뷰 결과 - 엑셀 파일로 보기
•
종합 점수/등급 결과 : 종합 점수/등급 결과와 하위 리뷰 점수를 원점수 기준과 조정 결과 기준으로 구분해 확인할 수 있어요.
•
종합 점수 조정 결과 : 원점수와 조정 결과, 조정에 사용된 계산 과정이 모두 담긴 엑셀을 받을 수 있어요. (2번 파일과 동일)
