Vomberg & Klarmann은 도구 만드는 법을 가르치고, Hohenberg & Taylor는 그 도구로 무엇을 측정할 것인가를 보여준다. 핵심 메시지는 하나: 측정 오류는 전파된다.
그래서 서베이 설계(V&K)와 구성개념 측정(H&T)은 따로 배우는 게 아니라, 하나의 측정 파이프라인으로 이해해야 한다.
"고객 만족" 같은 추상적 개념은 눈에 보이지 않는다. 이걸 실제로 물어볼 수 있는 설문 문항으로 번역하는 과정이 조작화다.
Reliability = 같은 걸 반복 측정했을 때 일관성이 있는가?
Validity = 실제로 측정하려는 것을 측정하고 있는가?
기준치: Cronbach's α ≥ 0.7, Composite Reliability ≥ 0.7, AVE ≥ 0.5
AVE(Average Variance Extracted)는 "construct가 측정 오차보다 더 많은 분산을 설명하는가?"를 본다. 0.5 미만이면 noise가 signal을 이긴다는 뜻.
같은 서베이에서, 같은 시점에, 같은 사람에게 원인(IV)과 결과(DV)를 모두 물으면 → 응답자가 무의식적으로 답을 맞춰버린다 → 두 변수의 관계가 실제보다 부풀려진다.
진단법: Harman's single-factor test, marker variable technique
대응: 시점 분리(temporal separation), 방법 분리(다른 소스 데이터 병행), 통계적 보정
설문의 사소한 디테일이 데이터 품질을 결정한다:
순서 효과(order effects) — 앞에서 물은 질문이 뒤의 답에 영향. 만족도를 먼저 물은 후 재구매 의향을 물으면, 응답자가 일관성을 유지하려 한다.
사회적 바람직성(social desirability) — "당신은 환경을 생각하는 소비를 하십니까?" 같은 질문에는 다들 "예"라고 답하고 싶어한다.
이중 질문(double-barreled) — "이 제품은 품질이 좋고 가격이 합리적입니까?" → 품질은 좋은데 비싸면 어떻게 답하지?
누가 응답하고 누가 안 하는가가 결과를 결정한다. 불만족한 고객이 설문을 무시하면, 결과는 실제보다 긍정적으로 나온다.
만족은 절대적 품질에서 오는 게 아니다. 기대(E)와 경험(P)의 격차에서 온다 (Oliver, 1980).
만족이 충성도 분산의 25% 미만만 설명한다 (Szymanski & Henard, 2001). 만족한 고객의 60% 이상이 여전히 이탈한다 (Reichheld, 1996).
"다시 살 거예요"라고 말하는 것과 실제로 다시 사는 것은 다르다 (Sheppard et al., 1988). 이것이 dual measurement 접근의 근거.
주관적 서베이(태도/의도) + 객관적 CRM 데이터(실제 구매 행동)를 함께 봐야 진짜 충성도를 파악할 수 있다.
단 하나의 질문: "0-10점, 이 회사를 추천하시겠습니까?"
Promoters(9-10) - Detractors(0-6) = NPS
장점: 효율적, 이해하기 쉽다, 전사적으로 공유하기 좋다.
한계: Keiningham et al. (2007)이 "NPS가 가장 신뢰할 수 있는 성장 지표"라는 주장을 반박했다. 왜 6점이 Detractor인지 이론적 근거도 약하다.
로열티 프로그램 멤버가 비멤버보다 더 많이 소비한다. 이게 프로그램 효과인가? 아니면 원래 큰 소비자가 가입한 건가?
→ inverse Mills ratio λ(z) = ϕ(z) / Φ(z) 산출
Stage 2 (결과 방정식): 소비 = β₀ + β₁X + ρλ + ε
→ λ를 포함시켜 "가입 성향" 자체의 효과를 분리
ρ가 유의하면 → selection bias가 있었다 → 보정 필요
ρ ≈ 0이면 → selection bias 없다 → 단순 모델로 충분
"If CMB inflates correlations when IV and DV are measured in the same survey, what's the practical threshold for deciding whether temporal separation is sufficient — or whether we need an entirely different data source for the DV?"
"If satisfaction explains less than 25% of loyalty variance, what are the most promising moderators or mediators that marketing researchers have identified to close that gap — and how do we measure them without introducing more CMB?"