최고의 리더는 과학자처럼 행동하고
1% 기업은 세상을 실험실로 쓰며 혁신한다!

“아이폰은 세계에서 가장 비싼 전화기이지만 키보드가 없어서 비즈니스 고객에게 매력이 없다.”
-마이크로소프트 CEO 스티브 발머

“텔레비전은 출시 6개월이 지나면 시장에 남아 있지 않을 것이다. 사람들은 매일 합판으로 만든 상자를 보는 일에 싫증을 느낄 것이다.”
-20세기 폭스 CEO, 대릴 자눅

스티브 발머와 대릴 자눅이 실험으로 판단할 줄 아는 리더였다면 위와 같은 이야기를 하지 않았을 것이다. 기업의 리더는 수많은 결정을 내려야 하는 자리다. 시장 조사를 철저하게 하고, 데이터를 광범위하게 수집해도 리더들이 비과학적인 데다 편향적인 판단을 내린다면? 운이 좋다면 당장 큰일은 생기지 않을 것이다. 조금씩 작은 실패가 누적되긴 해도 말이다. 하지만 운이 나쁘다면 수익은 처참하게 곤두박질치고 조직이 위태로울 수 있다. 더는 조직의 운명을 운에 맡기지 말고 실험하라.

실제로 실험을 한 기업들은 크게 성장했다, 아마존, 구글, 애플, 페이스북, 삼성전자까지 우리가 아는 세계 상위 1% 기업은 모두 실험을 한다. 저자는 이들처럼 기업이 ‘실험조직’이 되어야 한다고 한다고 말한다. 실험조직은 리더의 결정에 무조건 따르지 않는다. 일단 실험을 통해 검증한다. 고객과의 상호작용 방식에 대규모 실험을 적용한다.
새로운 아이디어의 잠재성을 가늠하기 위해서는 A/B테스트로 대조실험해야 한다. 시장을 파악하는 일에는 섣부른 판단보다 여러 번의 실험이 도움이 된다. 비싼 비용을 들이지 않는 온라인 실험을 동시에 여러 건 진행하여 사업 효율성을 높여라. 수천 번의 작은 향상이 쌓여 거대한 혁신을 만든다는 사실을 깨달을 것이다.
이 책에서는 실리콘밸리 기업뿐만 아니라 오프라인에 기반을 둔 나이키, 월마트 같은 기업의 사례도 적극적으로 제시하며 비즈니스 실험이 온라인, 오프라인 기업을 가리지 않고 반드시 갖춰야 할 핵심 전략임을 말한다.

구글, 아마존, 마이크로소트, 넷플릭스
세계 최고 기업들은 왜 실험을 하는가

제프 베조스는 주주 서한에서 “우리의 성공은 매일, 매주, 매월, 매년 몇 차례의 실험을 하느냐에 달렸다”라고 말하며 아마존의 혁신 엔진은 수많은 시행착오를 겪은 실험이라고 밝혔다. 그리하여 아마존이 의사결정을 내리는 매순간 실험은 가장 중요한 판단 기준이 됐다. 홈페이지 내 신용카드 결제 제안 위치를 정하는 작은 결정부터 홀푸드 인수라는 큰 결정까지 말이다.

마이크로소프트의 한 직원은 검색엔진에서 광고 헤드라인을 띄우는 방식을 바꿔보자고 아이디어를 냈다. 이 아이디어를 실행하는 건 큰 수고가 필요하지 않았다. 며칠 간 작업 정도였다. 그 아이디어는 너무도 사소하여 아무도 주목하지 않았다. 그러나 실험을 통해 역사상 가장 큰 매출을 불러올 아이디어임이 밝혀졌고 그 즉시 실행됐다. 당시 이 방식으로 검색시장 점유율은 8%에서 23%로 단번에 뛰어올랐다.
기업들은 실험을 통해 미리 고객이 될 수 있다. 어떤 문제가 진짜 문제이고 어떤 아이디어가 새롭게 흐름을 바꿀 아이디어인지 알 수 있다. 작은 버튼의 위치 하나가 수백 억 달러의 매출을 불러올 수 있다.

실험은 테크 기업의 전유물이 아니다. 오프라인에 기반을 둔 기업도 실험을 한다. 미국의 대형 소매업체 콜스에서는 운영비용을 줄이기 위해 개점 시간을 한 시간 늦추자는 아이디어가 나왔다. 경영진 사이에서 의견이 분분했고 이 논쟁을 해결하기 위한 방법은 실험이었다. 회사 매장 100곳으로 대조실험한 결과 1시간을 늦춰도 매출에 큰 영향이 없다는 사실이 밝혀졌고 개점 시간은 늦춰졌다. 매출에 영향은 없었고 오히려 인건비와 운영비를 아낄 수 있었다.

비즈니스 세계는 파괴적인 커다란 아이디어를 중요하게 생각하지만 대부분의 발전은 아주 작은 수백 수천 개의 아이디어와 개선이 만든다. 검증된 작은 변화 하나가 큰 보상으로 돌아올 수도 있다. 앞으로 고객은 더 활발하게 모바일 기기로 기업과 상호작용할 것이고 그 접점은 폭발적으로 늘 것이다. 기업이 급속한 발전 속도를 따라잡는 유일한 방법은 실험을 하는 것이다.
이 책을 읽은 글로벌 기업의 CEO들은 입을 모아 말한다. “실험하지 않는 조직은 살아남지 못한다.” 더 나은 결정을 내리고 고객들에게 마법 같은 경험을 제공하며 거대한 수익을 창출하기 위해서는 실험해야 한다.

무수한 데이터 속 길을 찾는 법
오직 실험하는 것만이 살아남는다!

실험을 통해 기업은 새로운 도전의 실패 확률을 낮추고, 경쟁자를 앞질렀다. 무엇보다 모든 결정에 앞서 실험하는 실험조직이 됨으로써 혁신을 이뤘다. 그렇다면 어떻게 해야 실험조직이 될 수 있을까? 이 책에서는 이런 의문을 해결하기 위해 문제에 부딪혔을 때 가설을 세우는 법부터 실험조직의 문화를 만드는 법까지 체계적으로 방법들을 안내해 신뢰를 더한다.
간단한 대조실험부터 테스트할 수 있는 모든 것을 테스트해야 한다. 기업들은 이를 따르기가 쉽지 않다. 한 번의 실험이 성공을 보장하는 것도 아니며 눈앞의 손익계산이 꺼야 할 불처럼 다급하게 느껴지기 때문이다. 하지만 장기적 성장을 위해 거듭된 실패 끝에도 원칙들을 준수하는 인내심을 가질 수 있어야 한다. 아이디어를 평가하고 싶은가? 시장에서 혁신을 이루고 싶은가? 실험하라. 빠르게 피드백을 주고받아라. 대조 실험을 통해 상황을 비교한다면 변수와 함정을 피할 해결책을 찾을 수 있다.

이 책은 선택의 순간에 놓인 리더와 기업을 바꾸려는 이들을 위한 필독서다. 실제로 글로벌 경제 리더들의 비즈니스 바이블로 도움을 주며 <포브스>, <월스트리트저널>, <파이낸셜타임스> 등 전미 언론사의 극찬을 받았다. 수많은 변수와 편향의 함정을 피해 비즈니스 성공률을 높이고 혁신을 이룰 길로 들어서는 새로운 실험의 설계서가 될 것이다.

추천사

불확실성이 큰 상황에서 리더는 많은 결정을 신속하게 내려야 한다. 이 책은 그 중요한 등식에서 비이성적 광기를 제거하고 당신과 당신 조직을 성공으로 이끄는 비즈니스 실험을 강력히 말한다.
- 아제이 방가(Ajay Banga) (마스터카드 회장 겸 CEO)

점점 더 디지털화되는 세상에서 경영자들은 비즈니스 실험을 주도해야 한다. 그렇지 않으면 당신의 회사는 살아남지 못할 것이다. 강력한 실험 시스템 및 문화를 가진 회사는 언제나 승리한다.
- 마크 오커스트롬(Mark Okerstrom) (익스피디아 그룹 회장 겸 CEO)

실험 없이 비즈니스에 대한 결정을 내리는 것은 줄을 테스트하지 않고 번지 점프를 하는 것과 같다. 아마존, 구글, 넷플릭스 같은 기업이 실험을 통해 어떻게 승리하고 성공하는지 알고 싶다면 반드시 읽어야 할 책이다.
- 스콧 쿡(Scott Cook) (인튜이트 공동창업자)

조직의 리더로서 나는 비즈니스 실험을 다루는 그의 연구가 어떻게 혁신 문화를 더 나은 방향으로 바꾸는지 보았다. 실험은 실제로 효과가 있다!
- 마린 데커스(Marijn Dekkers) (유닐레버 회장)

비즈니스 모델에서 고객 경험에 이르기까지 기업의 모든 것을 설계하는 방식에 비즈니스 실험이 어떻게 혁명을 일으키는지 설명한다. 혁신을 관리하는 과학 및 관행에 대한 생각을 완전히 바꿀 것이다.
- 에릭 폰 히펠(Eric von Hippel) (MIT 교수)

고도의 영향력과 실험 역량을 구축하는 방법에 대한 안내서로, 경영진에 도움이 되는 현명한 조언까지 포함한다. 실험하지 않으면 망한다. 디지털화한 세상의 시의적절한 메시지가 아닐 수 없다.
- 제이 라슨(Jay Larson) (옵티마이즐리 CEO)

내가 CEO로 재임하는 동안 열정적으로 적용한 스테판 톰키의 원리는 올바른 실험 프로세스가 혁신을 추진하고 지속적인 경쟁 우위를 확보하는 최선의 방법임을 보여준다.
- 개리 러브맨(Gary Loveman) (시저스 엔터테인먼트 전 회장 겸 CEO)

이 책은 기업이 과학적 방법을 활용하여 혁신을 추진하고 지속 가능한 성장을 위해 비즈니스 모델을 재창조할 수 있는 방법에 대한 매우 강력한 논거를 제시한다. 변화와 혼란이 가속화되는 시대에 B2C 및 B2B 기업의 리더들에게 대단히 귀중한 안내서가 될 것이다.
- 로친화(Loh Chin-Hua) (케펠 코퍼레이션 CEO)

이 책을 통해 우리는 혁신을 관리하고 의사를 결정하며 조직을 이끄는 방식에 혁명적인 변화를 꾀할 수 있다. 톰키는 비즈니스 실험으로 혁신을 촉진하는 방법과 기업이 대규모 실험을 수행해야 하는 이유를 보여준다.
- 아난드 마힌드라(Anand Mahindra) (마힌드라 그룹 회장)

책 속에서

큰 결과를 목표로 삼는 경영진은 운 좋은 추측이나 경험 또는 직관에만 의존해선 안 된다. 기업의 비즈니스 실험은 잘 통제되고 조직적으로 조정되며 인프라의 지원을 받고 문화적으로 수용돼야 한다. 다시 말해서, 실험을 하는 것이 실적을 관리하는 것만큼 통상적인 업무가 되어야 한다. 또한 효과가 있는 것 못지않게 효과가 없는 것이 무엇인지를 알아내는 것 역시 중요하다는 사실을 경영진이 천명할 때, 우연한 돌파구가 열릴 가능성이 더 커진다.
---「1장 세계 최고의 기업들은 왜 실험하는가」중에서

2016년 넷플릭스의 실험에서, 코미디 드라마 [그레이스 앤 프랭키]의 두 주인공 중 한 명인 릴리 톰린(Lily Tomlin)만 나오는 프로모션 이미지가 톰린과 그녀의 파트너 제인 폰더(Jane Fonda)까지 보여주는 이미지보다 잠재적인 시청자의 클릭을 더 많이 유도한 것으로 나타났다. 콘텐츠팀은 폰더를 제외하면 배우가 소외감을 느낄 뿐 아니라 계약 위반에 해당할 수 있다고 우려했다. 전략적 고려와 실험적 증거 간의 열띤 논쟁 끝에 넷플릭스는 고객 데이터가 결정을 뒷받침하지 않더라도 폰더가 포함된 이미지를 사용하기로 했다. 요점은 실험적 증거 덕에 절충과 의사결정 과정이 더욱 투명해졌다는 사실이다.
---「2장 비즈니스 실험을 위한 질문들」중에서

온라인 채널이 대부분 비즈니스에 필수 요소로 자리 잡은 오늘날, 모든 조직에서 엄격한 실험을 표준 운영 절차로 삼아야 한다. 이를 위해 소프트웨어 인프라와 조직 기술에 투자하면, 웹사이트를 위한 아이디어뿐 아니라 잠재적인 비즈니스 모델이나 전략·제품·서비스·마케팅 캠페인 등을 비교적 적은 비용으로 평가할 수 있다. 의미심장하게도 온라인 유저의 행동 방식은 심리학·사회학·경제학을 포함하되, 그에 국한되지 않는 다양한 분야가 융합적으로 관련되기에 예측하기가 놀랍도록 어렵다. 따라서 일반적으로 올바른 질문은 ‘무엇이 작동하는가?’가 아니라 ‘무엇이 어디에서(그리고 때로는 언제) 작동하는가?’다.
---「3장 온라인 실험실 사용법」중에서

실패를 실수와 혼동해서는 안 된다. 실패와 달리 실수는 새롭거나 유용한 정보를 거의 생성하지 않으므로 가치가 없다. 예를 들어 잘못 계획되거나 잘못 수행된 실험은 연구자들이 그 실험을 반복하게 할 수 있다. 또 다른 일반적인 실수는 과거 경험에서 배우지 못하는 것이다. 아마존은 첫 번째 물류 포장 센터를 세운 후 최적의 위치와 배치, 자재 흐름 등에 대해 많은 교훈을 얻었다. 오늘날 아마존은 북미에 75개 이상의 센터를 두고 있는데, 만약 새로운 센터의 주요 측면이 잘못됐다면 프로젝트를 제대로 실행하지 못한 사례로 간주할 수밖에 없다. 즉, 이제 아마존 프로젝트에서 결함이 발견되면 그것은 명백한 학습 목표가 있는 실패가 아니라 과거 실수의 반복으로 간주된다는 의미다.
---「4장 성공하는 조직의 실험은 무엇이 다른가」중에서

대다수의 리더에게는 우리 회사와 같은 환경이 불편할 것입니다. 리더의 생각이 언제나 최선이라는 자부심 따윈 허락되지 않거든요. 만약 제가 CEO로서 어떤 직원에게 “이렇게 처리해. 왜냐하면 이것이 우리 회사를 위한 결정이기 때문이야”라고 말한다면, 그 직원은 저의 면전에서 이렇게 말할 것입니다. “알겠습니다. 먼저 실험을 통해 사장님의 생각이 맞는지 확인해보겠습니다.” 이전 CEO가 미국에서 처음 부임하면서 회사의 새로운 로고를 직원들에게 보여준 일이 있었습니다. 그때도 직원들은 이렇게 말했어요. “아주 좋습니다. 실험을 통해 확인해보겠습니다.” 새로 부임한 CEO는 당혹스러웠지만 어쩔 도리가 없었죠. 새로운 로고의 사용 여부를 결정하는 권한이 CEO가 아니라 실험에 있었던 겁니다.
---「5장 실험으로 혁신에 성공한 조직들」중에서

이 책에서 사례로 든 기업 중 어떤 곳도 처음부터 거장의 위치에서 시작하지 않았다. 그들이 성취한 모든 것은 실험 시스템의 신중한 설계와 재설계 그리고 다년간의 실무적 경험을 통해 얻은 것이다. 사실 기업 대다수가 연간 수천 건의 실험을 하지 않는다. 스테이트팜은 연간 100~200여 건의 실험(다수의 변수를 활용한 실험)을 하며 실험 결과에서 상당한 이득을 취하고 있다. 일부 기업은 그보다 더 적은 수의 실험을 하면서도 KPI 메트릭스가 향상되는 결과를 보인다. 시간이 지나면서, 그리고 이 책을 통해 습득한 교훈을 실제로 적용하면서 실험을 양적으로 증가시키고 경쟁사를 앞지를 수 있을 것이다.
---「7장 비즈니스 실험의 일곱 가지 그릇된 신화」중에서

추천의 글
서문: 비즈니스에는 실험이 필요하다
프롤로그: 실험하는 조직만이 살아남는다

| 1장 | 세계 최고의 기업들은 왜 실험하는가
직관에 기대지 않는 확실한 비즈니스 전략
실험의 성공과 실패에서 배우기
기업이 혁신에 어려움을 겪는 이유
‘디지털 실험 툴’이 가져온 변화
단계별 비즈니스 실험 프로세스
빠르게 학습하고 성장하는 법

| 2장 | 비즈니스 실험을 위한 질문들
질문 1: 테스트 가능한 가설이 있는가?
질문 2: 모든 이해관계자가 결과를 준수하기로 약속했는가?
질문 3: 현실적으로 실행 가능한 실험인가?
질문 4: 신뢰할 결과를 얻을 방법이 있는가?
질문 5: 원인과 결과를 이해하고 있는가?
질문 6: 실험에서 최대의 가치를 얻고 있는가?
질문 7: 실험이 결정에 가장 큰 영향을 미치는가?

| 3장 | 온라인 실험실 사용법
테스트, 테스트, 그리고 테스트
작은 변화의 거대한 힘을 생각하라
대규모 실험 시스템에 투자하라
실험조직 모델을 구상하라
성공의 메트릭스를 정의하라
시스템에 대한 신뢰를 쌓아라
단순하게 가라
나만의 학습 실험실 만들기

| 4장 | 성공하는 조직의 실험은 무엇이 다른가
첫 번째, 학습 사고방식
두 번째, 가치 및 목표와 일치하는 보상
세 번째, 오만을 이기는 리더의 지적 겸손
네 번째, 신뢰라는 자산을 쌓는다
다섯 번째, 실험 도구를 적극적으로 활용한다
여섯 번째, 혁신 창출과 혁신 활용의 균형을 유지한다
일곱 번째, 새로운 리더십 모델을 받아들인다

| 5장 | 실험으로 혁신에 성공한 조직들
부킹닷컴 들어가기
실험의 힘
실험조직은 어떻게 움직이는가
부킹닷컴을 뛰어넘는 실험조직들

| 6장 | 당신의 조직을 실험조직으로
모든 것은 시스템에서 출발한다
실험조직으로 변모하기
조직의 변화 5단계
핵심 열쇠, 실험 툴을 활용하라

| 7장 | 비즈니스 실험의 일곱 가지 그릇된 신화
신화 1: 실험이 주도하는 혁신은 직감과 판단력을 무력화한다
신화 2: 온라인 실험은 획기적이지 않고 점진적 혁신으로 이어진다
신화 3: 대규모 실험을 할 수 있는 충분한 가설이 없다
신화 4: 오프라인 기업은 실험을 할 정도의 거래량을 갖고 있지 않다
신화 5: A/B 테스트가 성과에 미치는 영향은 크지 않다
신화 6: 빅데이터 시대에는 실험에 시간을 허비할 이유가 없다
신화 7: 사전 동의 없는 고객 대상 실험은 비윤리적이다

에필로그: 비즈니스 실험의 미래
감사의 글
주
참고문헌