갈림길이 기록을 어떻게 판정하고, 점수와 지수를 어떻게 계산하는지 전부 적었습니다.
숨겨 둔 가중치나 보정은 없습니다. 점수를 믿으려면 계산을 볼 수 있어야 하기 때문입니다.
세 줄로 줄이면
점수는 봉인한 최종 입장에만 매깁니다. 첫 의견, 가족이 택한 결론, 중간 기록에는 매기지 않습니다.
확신을 크게 걸수록 예상대로면 조금 오르고, 빗나가면 크게 내려갑니다.
기록이 적을 때는 숫자를 보여 주지 않습니다. 두세 건으로 사람을 판단하지 않기 위해서입니다.
1. 무엇이 채점되나
함께 정할 일은 세 단계를 지나갑니다. 각자 첫 의견을 남기고, 얼굴을 보고 이야기를 나눈 뒤,
각자 최종 입장을 봉인합니다. 점수는 이 최종 입장에만 매깁니다.
최종 입장에는 고른 선택지, 이유, 예상, 빗나갔다고 볼 조건, 확신도를 적습니다.
확신도는 50%에서 100% 사이에서 5% 단위로 고릅니다. 선택을 한 이상 50%보다 낮을 수는 없습니다.
봉인하면 원문은 고칠 수 없습니다. 봉인한 뒤에 알게 된 것은 아래에 덧붙일 수 있고, 덧붙인 글에는 점수를 매기지 않습니다.
첫 의견은 이야기 전의 생각을 남기는 자리라 점수를 매기지 않습니다. 대신 「이야기를 나눈 뒤」 지표에 쓰입니다.
2. 돌아보기 판정
미리 정해 둔 돌아볼 날이 되면 실제로 어떻게 됐는지를 먼저 적고, 그다음에 사람마다
예상이 어땠는지 판정합니다. 순서를 바꾸면 결론에 맞춰 사실을 고르게 되기 때문입니다.
판정
계산에 쓰는 값
예상대로
1
절반쯤
0.5
예상과 달랐어요
0
함께 정한 기록은 참여한 사람 모두가 동의해야 판정이 확정됩니다. 한 사람이 남의 예상을 채점하지 않습니다.
의견이 갈리거나 결과를 알기에 아직 이르면 판정 보류를 할 수 있습니다. 보류한 기록은 어떤 점수에도 들어가지 않습니다.
돌아볼 날을 옮기는 것도 참여한 사람 모두가 동의해야 성립합니다. 한 사람이 혼자 미룰 수 있으면, 결과가 불리하게 흘러가는 기록을 영영 닫지 않을 수 있기 때문입니다.
3. 한 건의 점수
한 사람의 한 기록은 아래 식으로 점수가 됩니다. 예보의 정확도를 재는 Brier 점수를 50% 확신이 0이 되도록 옮긴 것입니다.
점수 = ( (0.5 − 판정값)² − (확신도 − 판정값)² ) × 100
확신도
예상대로
절반쯤
예상과 달랐어요
50%
0
0
0
60%
+9
−1
−11
70%
+16
−4
−24
80%
+21
−9
−39
90%
+24
−16
−56
100%
+25
−25
−75
50%는 결과와 상관없이 늘 0점입니다. 확신을 걸지 않으면 얻는 것도 잃는 것도 없습니다.
가장 크게 잃는 폭(−75)이 가장 크게 얻는 폭(+25)의 세 배입니다. 근거 없이 100%를 부르는 습관에 실제 비용을 매기려는 것이고, 의도한 설계입니다.
절반쯤은 50%보다 크게 걸었다면 조금씩 내려갑니다. 반만 맞은 예상에 확신을 크게 건 만큼입니다.
최종 입장을 쓸 때 확신도 옆에 「맞으면 몇 점, 달랐으면 몇 점」이 실시간으로 보입니다. 이 표를 외울 필요가 없게 하려는 것입니다.
4. 판단력 지수와 분야별 지수
판단력 지수 = 50 + (돌아보기를 마친 기록들의 점수 평균)
50이 기준선입니다. 늘 50%로만 걸면 50에 머뭅니다.
0에서 100 사이로 표시하지만, 한 건에서 얻을 수 있는 최대가 +25라 지수는 75를 넘지 않습니다. 모든 기록을 100%로 걸어 모두 예상대로였을 때가 75입니다.
기록이 하나도 없으면 0이 아니라 아무 숫자도 보이지 않습니다. 기록이 없는 사람과 판단이 약한 사람은 다릅니다.
함께 정한 기록만 셉니다. 혼자 기록은 스스로 판정한 것이라 따로 쌓습니다(10번).
분야별 지수도 같은 계산을 분야마다 합니다. 한 분야에 5건이 모이기 전에는 숫자 대신 건수만 보여 줍니다.
5. 확신 그래프
「내가 90%라고 말할 때 실제로는 얼마나 그랬나」를 보여 주는 그림입니다.
확신도를 50·60·70·80·90%대 다섯 구간으로 나누고, 구간마다 말한 확신도의 평균과 실제로 그랬던 정도(판정값의 평균, 절반쯤은 0.5)를 견줍니다.
둘의 차이가 15%p 안이면 「확신이 정확했어요」, 실제가 더 낮으면 「확신이 과했어요」, 더 높으면 「좀더 확신했어도 됐어요」입니다.
기록이 없는 구간은 그리지 않습니다. 기록이 10건 모이기 전에는 점이 크게 흔들린다고 함께 적습니다.
전체로도, 한 분야로 좁혀서도 볼 수 있습니다.
6. 지수가 어떻게 움직였나
돌아보기를 마친 순서대로 그때까지의 지수를 선으로 이어 보여 줍니다.
10건이 모이면 앞 절반과 뒤 절반의 지수를 따로 계산해 견줍니다. 뒤가 3 이상 높으면 「요즘 기록이 더 잘 들어맞고 있어요」, 3 이상 낮으면 「예전 기록이 더 잘 들어맞았어요」입니다.
10건 전에는 선만 보여 주고 해석하지 않습니다. 몇 건으로 그린 선은 추세가 아니라 우연입니다.
7. 이야기를 나눈 뒤
첫 의견과 최종 입장을 견줘서 나오는 값들입니다. 정확도가 「누가 옳았나」를 말한다면, 여기는 「이야기가 판단을 어떻게 바꿨나」를 말합니다. 첫 의견을 남기지 않은 기록은 빠집니다.
지표
계산
읽는 법
의견 변경률
이야기 뒤 선택을 바꾼 비율
높고 낮음에 좋고 나쁨이 없습니다
경청 이득
바꾼 기록의 평균 점수 − 지킨 기록의 평균 점수
+3 이상이면 이야기 뒤에 더 정확해지는 편, −3 이하면 첫 생각이 더 정확한 편. 둘 다 있어야 계산합니다
확신 변화 본인만
최종 확신도 − 첫 확신도의 평균
+5%p 이상 오르기만 하면 반대 근거를 한 번 더 보라고 권합니다
나만 보는 신호 — 최근 6건 가운데 3건 이상에서
「첫 의견을 끝까지 지켰고, 최종 확신도가 85% 이상이었고, 예상과 달랐던」 일이 반복되면
확신도를 조금 낮춰 잡아 보자고 권합니다. 이 신호는 본인 화면에만 나옵니다.
예상은 지키고 결정에는 양보한 기록은 세지 않습니다.
8. 소신/고집 본인만
가족이 택한 결론은 판단력 지수에 들어가지 않습니다. 그 대신 결론이 누구 뜻이었고 그 결정이 어땠는지를
「소신/고집」 탭에 따로 모읍니다. 새 판정을 받지 않고 이미 봉인된 입장과 결론, 돌아보기 판정만으로 계산합니다.
결정의 성격
성격
언제
뜻을 모은 결정
봉인한 사람 모두가 택한 길을 골랐을 때
누군가의 뜻을 따른 결정
택한 길을 봉인한 사람(이끈 사람)과 다른 길을 봉인한 사람(양보한 사람)이 함께 있을 때. 셋 중 둘도 여기에 듭니다
절충한 결정
택한 길을 아무도 봉인하지 않았을 때. 그 길에 대한 예상이 없어 점수에 넣지 않습니다
그래서 결정에는 동의하더라도 최종 입장은 자기 예상대로 봉인해야 합니다.
봉인 화면에 「결정 확정에는 동의해도 내 예상은 유지해요」라고 적어 둔 이유입니다.
그 결정이 옳았나
누군가의 뜻을 따른 결정에서, 이끈 사람들과 양보한 사람들의 판정값 평균을 견줍니다.
이끈 쪽이 높으면 결정이 옳았고, 양보한 쪽이 높으면 양보가 아까웠던 것입니다.
둘이 같으면(둘 다 빗나갔거나 둘 다 예상대로였을 때) 판명이 안 난 것이라 점수에 넣지 않고 건수만 적습니다.
점수
이끈 사람 — 그 기록의 자기 점수를 그대로 씁니다. 예상대로였으면 소신이, 빗나갔으면 밀고 간 값이 쌓입니다.
양보한 사람 — 그 기록의 자기 점수 부호를 뒤집어 씁니다. 내 생각대로 했다면 가족이 잃었을(얻었을) 만큼입니다.
뜻을 모은 결정 — 참여한 사람들 점수의 평균이 「우리가 뜻을 모았을 때」에 쌓입니다.
지수는 판단력 지수와 같은 식(50 + 평균)이고, 5건이 모이기 전에는 건수만 보여 줍니다.
고집 정도 — 내가 이끈 결정 가운데 내 예상이 빗나간 비율입니다. 절반쯤은 반만 셉니다. 판명이 안 난 결정도 셉니다. 다른 쪽도 빗나갔더라도 내가 밀고 간 예상이 빗나간 것은 사실이기 때문입니다. 역시 5건부터 보여 줍니다.
예 — 올해 아파트를 살까?
아빠는 값이 내린다며 「안 산다」를 80%로, 엄마는 오른다며 「산다」를 70%로 봉인했습니다.
엄마는 예상은 그대로 두고 결정에만 동의해서, 결론은 「안 산다」가 됐습니다. 이듬해 값이 내렸습니다.
판단력 지수에
소신/고집에
아빠 · 이끈 사람
+21
+21
엄마 · 양보한 사람
−24
+24
엄마의 예상은 빗나갔지만(−24), 고집하지 않고 양보한 것은 옳았습니다(+24). 두 기록은 따로 쌓입니다.
9. 우리 가족 규칙
새 갈림길을 만들 때, 가족이 미리 정해 둔 규칙에 따라
「이 분야에서는 ○○ 쪽 판단이 더 자주 맞았어요」라는 알림을 띄울 수 있습니다.
앱이 누구 편을 드는 것이 아니라, 가족이 합의해 둔 규칙을 꺼내 보이는 것입니다.
그 분야에서 기록이 기준 건수(기본 5건, 3~15건) 이상인 사람이 둘 이상이고,
그중 가장 높은 사람과 가장 낮은 사람의 분야별 지수 차이가 기준 차이(기본 15, 5~40) 이상일 때만 나옵니다.
규칙을 함께 정한 날짜가 있을 때만 「이렇게 정했어요」라며 규칙 문장을 함께 보여 줍니다. 정한 적 없는 약속을 앱이 지어내지 않기 위해서입니다.
설정의 「우리 가족 규칙」에서 끄거나 기준을 바꿀 수 있고, 지금 설정이면 어느 분야에서 알림이 나오는지 미리 볼 수 있습니다.
10. 혼자한 기록
혼자 정할 일은 본인이 스스로 판정합니다. 참여자 모두의 동의로 판정한 가족 기록과 검증의 강도가 다르므로
같은 장부에 섞지 않고, 판단력 지수라는 말도 쓰지 않습니다. 이 폰의 주인에게만 보입니다.
기한 안에 정한 비율 — 정할 날을 정해 둔 기록 가운데 그날 안에 정한 비율. 3건부터 보여 줍니다.
정하기까지 평균 며칠과 기한이 지났는데 아직 못 정한 건수.
확신 그래프 — 가족 장부와 같은 방식으로, 혼자 기록만 따로 셉니다.
11. 결론과 갈림이 결정되는 날
「무엇을 하기로 했나요?」에서 적는 결론은 판단력 지수에 들어가지 않습니다. 소신/고집(8번)에만 쓰입니다.
함께 정할 일은 만들 때 갈림이 결정되는 날(예: 계약일)을 정합니다. 결론은 그날 하루가 끝날 때까지 고칠 수 있고, 그 뒤로는 그대로 남습니다.
돌아볼 날은 오늘이 아니라 갈림이 결정되는 날부터 셉니다. 계약을 1년 뒤에 돌아본다면 그 1년은 계약일부터입니다.
「결정을 좀더 미룰게요」로 결론을 미룬 기록은 소신/고집에 들어가지 않습니다. 나중에 정하면 그때부터 들어갑니다.