최근 인공지능을 활용한 데이터 분석을 통해 뛰어난 성과를 거두고 있는 기업이 늘고 있다. 이런 성과를 위해 제일 중요한 것은 기업의 데이터를 모아 놓는 것이다. 하지만 오늘날처럼 방대한 양의 데이터가 매일 생성되는 환경에서 기존 방식대로 데이터를 저장하기는 불가능하다. 이 책은 기업의 데이터를 모으고 데이터의 활용을 통해 성과를 달성할 수 있는 방법을 제시한다.

 

알렉스는 데이터 업계의 선구자다. 그는 데이터 주도 기업으로의 전환 때 고려해야 할 기술 요소, 그런 전환을 전사적으로 구현하는 방법과 전환이 비즈니스에 어떤 영향을 주는지에 관해 실질적인 인사이트를 주고자 구체적으로 집필했다. 이 책은 데이터를 성공적으로 사용하고자 하는 모든 비즈니스와 기술 전문가를 위한 책이다.
- 케이어 데사이(Keyur Desai), TD 에머리트레이드(TD Ameritrade) 최고 데이터 책임자(Chief Data Officer)

 

결정 및 분석 주도 솔루션의 장점을 활용하는 데 데이터 레이크는 필수다. 이 책은 데이터 레이크의 아키텍처와 장점, 데이터 레이크를 도입할 때의 어려움과 그런 어려움을 극복하는 방법을 훌륭하게 설명한다.
- 자리 코이스터(Jari Koister), FICO 제품 및 기술 부사장(VP of Product and Technology) 겸 캘리포니아 UC 버클리 대학교(UC Berkeley, California) 데이터 과학 프로그램 교수

 

업계에서 사용하는 용어 중 가장 헷갈리는 용어 중 하나가 빅데이터다. 이 책은 여러 요소를 쉽고 이해할 수 있는 용어로 나누고, 프로젝트별로 가장 좋은 접근 방법을 설명한다. 특히 데이터 스트림(data streams), 데이터 연못(data ponds), 데이터 레이크(data lake) 간의 관계를 설명한 절이 도움이 됐다. 이 책은 현재의 분석 방법을 이해하고 배우고자 하는 모든 경영층이 반드시 읽어야 할 도서다.
- 오핀더 바와(Opinder Bawa), 샌프란시스코 대학교(University of San Francisco) 부사장 겸 최고 정보 책임자(Chief Information Officer)

 

데이터 레이크 팀을 맡아 팀과 대화하고 그들을 이해하기 위해 관련 도구와 용어를 배워야 하는 관리자에게 이 책을 알려주고 싶다. 자신의 팀을 이끌어갈 방향을 결정하는 데 좋은 아이디어를 얻을 수 있을 것이다. 데이터 레이크를 새로 만들든, 기존 것을 이어 받았든 이 책은 좋은 출발선이 될 것이다.
- 니콜 슈워츠(Nicole Schwartz), 애자일 및 기술 제품 관리 컨설턴트(Agile and Technical Product Management consultant)

 

1장. 데이터 레이크 소개
__데이터 레이크 성숙도
____데이터 웅덩이
____데이터 연못
__성공적인 데이터 레이크 구축
____올바른 플랫폼
____올바른 데이터
____올바른 인터페이스
____데이터 늪
__성공적인 데이터 레이크 로드맵
____데이터 레이크 구축
____데이터 레이크 구조화
____셀프서비스를 위한 데이터 레이크 설정
__데이터 레이크 아키텍처
____상용 클라우드 데이터 레이크
____논리 데이터 레이크
__결론


2장. 역사적 관점
__셀프서비스 데이터 욕구: 데이터베이스의 탄생
__반드시 해야 하는 분석: 데이터 웨어하우스의 탄생
__데이터 웨어하우스 생태계
____데이터 저장 및 쿼리
____데이터 로딩: 데이터 통합 도구
____데이터 정리와 관리
____데이터 사용
__결론


3장. 빅데이터와 데이터 과학 소개
__하둡: 빅데이터로의 역사적인 움직임을 이끌어내다
____하둡 파일 시스템
____맵리듀스 잡에서 처리와 저장의 상호작용 방법
____읽는 시점 스키마 적용
____하둡 프로젝트
__데이터 과학
__당신의 분석 조직은 어디에 초점을 맞춰야 하는가?
__머신러닝
____설명 가능성
____변화 관리
__결론


4장. 데이터 레이크 시작
__하둡은 무엇이고 왜 사용하는가
__데이터 웅덩이 확산 방지
__빅데이터 활용
____데이터 과학 주도
____전략 1: 기존 기능 가져오기
____전략 2: 신규 프로젝트를 위한 데이터 레이크
____전략 3: 일원화된 거버넌스 확립
____자신에게 가장 맞는 전략은 무엇인가?
__결론


5장. 데이터 연못/빅데이터 웨어하우스에서 데이터 레이크로
__데이터 웨어하우스의 핵심 기능
____분석용 차원 모델링
____다양한 소스의 데이터 통합
____느린 변경 차원을 통한 이력 보존
____과거 데이터 저장소로 데이터 웨어하우스가 갖는 한계
__데이터 연못으로
____데이터 연못에 이력 보관
____데이터 연못에 느린 변경 차원 구현
__데이터 연못을 데이터 레이크로 키우기: 데이터 웨어하우스에 없는 데이터 가져오기
____미가공 데이터
____외부 데이터
____사물 인터넷과 기타 스트리밍 데이터
__실시간 데이터 레이크
__람다 아키텍처
__데이터 변환
__목적 시스템
____데이터 웨어하우스
____운영 데이터 스토어
____실시간 애플리케이션과 데이터 제품
__결론


6장. 셀프서비스용 최적화
__셀프서비스의 시작
__비즈니스 분석가
____데이터 식별과 이해: 기업을 문서로 기록
____신뢰 구축
____프로비저닝
____분석용 데이터 준비
__데이터 레이크의 데이터 랭글링
____하둡에서의 데이터 준비 과정
____데이터 준비의 대표적인 사용 사례
__분석 및 시각화
__셀프서비스 비즈니스 지능의 신세계
____새로운 분석 작업 공정
____문지기에서 가게 주인으로
____셀프서비스 거버넌스
__결론


7장. 데이터 레이크 설계
__데이터 레이크 구조화
____진입 또는 미가공 영역
____골드 영역
____작업 영역
____민감 영역
__다중 데이터 레이크
____여러 데이터 레이크를 유지할 때 장점
____데이터 레이크를 하나로 합쳤을 때 장점
__클라우드 데이터 레이크
__가상 데이터 레이크
____데이터 연방
____빅데이터 시각화
____중복 제거
__결론


8장. 데이터 레이크 카탈로그화
__데이터 정리
____기술 메타데이터
____비즈니스 메타데이터
__태깅
____자동 카탈로그 생성
__논리 데이터 관리
____민감 데이터 관리와 접근 제어
____데이터 품질
__이질적 데이터 연관 짓기
__이력 수립
__데이터 확보
__카탈로그 구축 도구
____도구 비교
__데이터 오션
__결론


9장. 데이터 접근 관리
__승인이나 접근 제어
__태그 기반 데이터 접근 정책
__민감 정보 비식별화
____데이터 자주권과 규제 준수
__셀프서비스 접근 관리
____데이터 확보
__결론


10장. 업계 적용
__금융 서비스에서의 빅데이터
____고객, 디지털화, 데이터는 우리가 아는 금융을 바꾸고 있다
____은행을 구해라
____새로운 데이터가 제공하는 새로운 기회
____데이터 레이크 활용의 주요 과정
__데이터 레이크가 금융 서비스에 제공하는 가치
__보험 업계의 데이터 레이크
__스마트 시티
__의료에서의 빅데이터

★ 지은이의 말 ★

최근 많은 기업이 빅데이터와 클라우드 기술을 활용해 데이터 레이크를 구축하고 데이터 주도 문화 및 결정을 도입하는 실험을 하고 있다. 하지만 인터넷 기업에는 잘 맞던 접근 방식을 전통적인 기업에 적용하려면 각색이 필요한데, 어떻게 각색해야 하는지 실질적인 지침이 없다 보니 관련 프로젝트가 연기되거나 실패하는 경우가 많다. 그런 지침을 제공하고자 이 책을 저술하게 됐다.
IBM과 인포매티카(Informatica, 주요 데이터 공급사)의 경영층, 멘로벤처스(Menlo Ventures, 선도적인 VC 기업)의 거주 기업가, 워터라인의 창업자이자 CTO로 일하면서 수백 명의 전문가, 선구자, 업계 분석가, 실무 담당자와 성공적인 데이터 레이크 및 데이터 주도 문화를 구축하는 과정에서 겪은 어려움을 얘기해 볼 행운이 생겼다. 이 책은 다양한 업계와 역할을 통해 경험한 주제와 모범 사례를 묶어 놓았다. 독자 대상은 업계의 경우에는 소셜 미디어부터 금융, 정부 기관까지, 직무의 경우 최고 데이터 책임자와 같은 IT 경영층에서부터 데이터 아키텍트, 데이터 과학자, 비즈니스 분석가까지를 아우른다.
빅데이터, 데이터 과학, 분석 기반 데이터 주도 결정은 우리가 어떻게 일하는지부터 암 치료법을 찾기 위해 고객과 협업하는 과정에 이르기까지 지금까지와는 차원이 다른 인사이트와 효율성을 줄 것이라 약속한다. 그렇지만 데이터 과학과 분석은 과거 데이터가 있어야 가능한 일이다. 이 때문에 기업은 데이터 과학자와 분석가가 데이터 주도 결정 과정을 하는 데 필요한 정보를 찾을 수 있도록 자신들이 가진 모든 데이터를 한군데로 모을 수 있는 데이터 레이크를 구축하고 있다.
이 책은 데이터 레이크가 약속하는 것을 얻으려면 고려해야 하는 요소와 모범 사례를 보여준다. 데이터 레이크를 데이터 웅덩이(data puddles, 분석적인 샌드박스(sandboxes))나 데이터 연못(data ponds, 큰 데이터 웨어하우스)을 바탕으로 확장할 때 활용할 수 있는 여러 접근법뿐만 아니라 아예 바닥부터 구축하는 방법까지 다룬다. 사내(on premises), 클라우드 기반, 가상(virtual) 등 다양한 데이터 레이크 아키텍처(architectures)의 장단점을 살펴본다. 그리고 미가공(raw), 처리되지 않은 데이터에서부터 잘 관리되고 요약된 데이터까지 유형별로 저장하는 개별 영역을 설정하는 방법과 그런 영역의 접근 권한을 관리하는 방법을 다룬다. 사용자가 스스로 데이터를 찾고 이해하고 준비할 수 있도록 하는 셀프서비스(self-services)를 가능하게 하는 방법, 사용자의 기술 수준에 따라 적합한 인터페이스를 제공하는 방법, 이 모든 과정을 기업의 데이터 관리 정책을 준수하면서 진행하는 방법 등을 설명한다.

★ 옮긴이의 말 ★

최근에는 사람들에게 도움될 수 있는 성능이 우수하고 신뢰할 수 있는 머신러닝 모델을 만드는 데 관심들이 많습니다. 빅데이터를 활용해서 만드는 머신러닝 모델을 개발하고 모델의 신뢰성을 확보하려면 기반이 되는 데이터가 가장 중요할 수밖에 없습니다. 
지금도 뉴스를 보면 자사의 빅데이터를 분석해 좋은 인공지능 모델을 만들고 그런 모델을 활용해서 혁신적인 성과를 거둔 기업의 사례가 보도되고 있습니다. 그런 뉴스를 볼 때마다 부럽다는 생각과 함께 우리도 언젠가는 저렇게 될 것이라는 확신이 듭니다. 기업이 겪고 있는 문제를 해결하는 데 필요한 데이터는 이미 기업 안에 존재한다고 믿습니다. 그것을 어떤 방식으로 저장하고 저장된 데이터를 어떻게 활용하면 좋을지 전략을 짜는 것이 중요합니다.
이 책에서는 기업의 직원들이 데이터 저장을 꺼리는 이유를 따져보고, 기업의 데이터를 효과적으로 저장하고 관리할 수 있는 방법을 알려줍니다. 관리 체계를 구축해 같은 데이터를 중복으로 구매하는 것을 방지하고, 저장한 데이터 중 민감한 데이터는 어떤 방식으로 처리하는 것이 좋을지도 소개합니다.
데이터 베이스 분야는 대부분의 용어가 영어입니다. 국내에서도 활발하게 사용되기 시작한 지 어느 정도 시간이 지났기 때문에 용어를 원문 그대로 사용하는 것이 편한 사람이 많습니다. 이 책을 옮기는 과정 중에도 원문의 의미를 해치지 않는 범위에서 업계에서 흔히 사용하는 용어를 사용하고자 노력했습니다.