[이 책의 핵심 내용]

- 바로 지금, 데이터 품질에 주목해야 하는 이유
- 데이터 품질에 초점을 맞춘 데이터 파이프라인 구축 및 모니터링 시스템, 데이터 옵저버빌리티 구성 방법
- 데이터 품질 신뢰성을 높이는 방법과 실제 사례
- 데이터 품질을 향상시키는 거버넌스와 실제 사례
- 각 기업 사정에 맞게 데이터 품질 투자 대비 효용성을 계산하는 공식 소개
- 데이터 품질의 미래 트렌드 4가지

[이 책의 대상 독자]

- 데이터 엔지니어
- 기업의 데이터 파이프라인을 구축하고, 확장하고, 관리하는 실무자
- 데이터로 서비스를 만드는 데이터 프로덕트 매니저
- 데이터 품질에 투자하려는 의지가 있는 COO
- 데이터 품질을 중시하는 데이터 분석가
- 데이터 품질을 중시하는 데이터 과학자

[이 책의 구성]

1장: 지금 데이터 품질에 주목해야 하는 이유

현재 시점에서 데이터 품질에 주목해야 하는 이유를 살펴보고 아키텍처 및 기술 동향이 전반적인 거버넌스 및 신뢰성에 어떤 영향을 주고 있는지 설명한다. 이와 관련하여 ‘데이터 다운타임’이라는 개념을 소개하고, 사이트 신뢰성 엔지니어링(SRE) 팀의 초창기로 거슬러 올라가, 동일한 데브옵스(DevOps) 원칙을 어떻게 데이터 엔지니어링 워크플로에도 적용할 수 있는지 설명한다.

2장: 신뢰할 수 있는 데이터 시스템 구축을 위한 블록 조립

데이터 웨어하우스, 데이터 레이크 및 데이터 카탈로그의 주요 데이터 파이프라인 기술에서 데이터 품질을 보장하고 측정할 수 있는 방법을 살펴본다. 이를 통해 탄력적인 데이터 시스템을 구축하는 방법에 대해 설명한다. 여기서 소개하는 세 가지 기본 기술은 양질의 데이터 프로덕션을 위한 사전 준비에 사용되며, 데이터를 저장·처리·추적한다.

3장: 데이터 수집 · 정제 · 변환 · 테스트

데이터 품질과 신뢰성을 염두에 두고 데이터를 수집·정제·변환·테스트하는 방법을 설명한다. 이를 통해 데이터가 파이프라인에 있기 전과 파이프라인에 있는 동안 품질을 관리하는 방법을 알려준다. 특히, 최근 주목받는 방법론인 데이터 실시간 처리 시 사용할 수 있는 데이터 품질 관리 툴과 해당 툴의 이점을 짚어준다. 마지막으로 데이터 테스트 단계를 마친 뒤, 아파치 에어플로를 활용하여 데이터 품질을 효율적으로 관리할 수 있는 방법을 안내한다.

4장: 데이터 파이프라인 모니터링 및 이상 탐지

데이터 신뢰성 워크플로의 가장 중요한 측면 중 하나인 사전 이상 탐지 및 모니터링을 설명한다. 독자들의 이해를 돕기 위해, 공식적으로 사용 가능한 데이터셋인 거주 가능한 외계 행성에 관한 모의 천문 데이터를 활용하여 데이터 품질 모니터 구축 방법을 공유한다.

5장: 데이터 신뢰성을 위한 아키텍처

지금까지 다룬 중요한 기술들을 잘 조합하려면 어떻게 해야 하는지, 어떤 사례에서도 데이터 품질을 잘 측정하고 보장할 수 있는 강력한 프로세스와 시스템을 설계하려면 어떻게 하면 좋을지 큰 그림으로 조망한다. 이어서 에어비앤비(Airbnb), 우버(Uber), 인튜이트(Intuit) 및 기타 기업의 데이터 팀이 SLA(서비스 레벨 계약), SLI(서비스 수준 지표), SLO(서비스 수준 목표) 설정을 비롯해 데이터 안정성을 일상적인 워크플로에 통합하는 방법을 살펴본다. 또한 이들 데이터 팀이 신선도, 볼륨, 배포, 스키마, 계보의 다섯 가지 핵심 요소를 기반으로 데이터 품질을 최적화하는 데이터 플랫폼 구축 방법을 공유한다.

6장: 대규모 데이터 품질 문제 해결

데이터 사고 관리, 근본 원인 분석, 포스트모템, 그리고 사고 커뮤니케이션의 모범 사례 구축 등 운영 환경에서 데이터 품질 문제에 실제로 대응하고 해결하는 데 필요한 단계를 자세히 들여다본다.

7장: 엔드 투 엔드 데이터 계보 구축

모든 데이터 엔지니어가 갖추어야 할 무기이자 즐겨 사용하는 오픈 소스 도구를 사용해 현업에서 사용하는 수준의 계보 구축 방법을 설명한다. 이를 통해, 최신 데이터 시스템을 위한 ‘엔드 투 엔드 필드 레벨’ 데이터 계보를 만들 때 고려해야 할 주요 내용, 계보에 포함되는 세 가지 요소 등을 배울 수 있다. 더불어, 거대 미디어 기업 폭스 네트워크에서 데이터 신뢰성을 보장하기 위해 데이터 아키텍처를 어떻게 설계했고, 이를 데이터 계보로 어떻게 구축했는지 실제 사례를 들어 알아본다.

8장: 데이터 품질 민주화

조직 전반에 데이터 품질 관리의 중요성을 알리고, 구성원 모두가 데이터 품질 관리에 쉽게 접근할 수 있도록 민주화하는 과정에서 넘어야 할 문화적·조직적 장벽에 대해 논의한다. 구체적으로는 데이터를 프로덕트처럼 취급하는 시각과 데이터 품질에 대한 회사의 RACI 매트릭스를 이해하는 원칙, 비즈니스에 미치는 영향을 극대화할 수 있는 데이터 조직 구성 방법을 다룬다.

9장: 현실에서의 데이터 품질: 전문가 대담과 사례 연구

실제 사례 연구 및 대담 내용을 공유한다. 데이터 메시를 만든 자마크 데가니(Zhamak Dehghani), (데이터 품질이 최우선인) 분산형 데이터 아키텍처로 마이그레이션하는 방법에 대해 자신 있게 이야기하는 안토니오 피타스(Antonio Fitas), 폭스(Fox)의 데이터 서비스 부사장이자 ‘관리된 자유(controlled freedom)’ 데이터 관리 기술의 선구자인 알렉스 트베르돌렙(Alex Tverdohleb)이 자신의 경험을 공유해 주었다.

10장: 신뢰할 수 있는 데이터 시스템의 미래 개척

신뢰할 수 없는 데이터가 비즈니스에 미치는 재정적 영향을 측정하기 위한 구체적인 계산법을 설명한다. 여기서 다루는 내용은 데이터 다운타임 해결이라는 임무를 지고 있을 많은 독자들이 문제를 해결하기 위해 더 많은 도구와 프로세스에 투자하는 리더십을 발휘하는 데 도움을 줄 것이다.

CHAPTER 1 지금, 데이터 품질에 주목해야 하는 이유
1.1 데이터 품질이란?
1.2 데이터 품질의 현재
1.3 마치며

CHAPTER 2 신뢰할 수 있는 데이터 시스템 구축을 위한 블록 조립
2.1 운영 데이터와 분석 데이터의 차이
2.2 차이는 어떻게 만들어지는가?
2.3 데이터 웨어하우스 vs 데이터 레이크
2.4 데이터 품질 지표 수집
2.5 데이터 카탈로그 설계
2.6 데이터 카탈로그 구축
2.7 마치며

CHAPTER 3 데이터 수집 · 정제 · 변환 · 테스트
3.1 데이터 수집
3.2 데이터 정제
3.3 배치 처리 vs 실시간 처리
3.4 실시간 처리를 위한 데이터 품질
3.5 데이터 정규화
3.6 분석 데이터 변환 실행
3.7 테스트 및 경고 알람 시스템
3.8 아파치 에어플로를 활용한 데이터 품질 관리
3.9 마치며

CHAPTER 4 데이터 파이프라인 모니터링 및 이상 탐지
4.1 알려진 미지와 알려지지 않은 미지
4.2 이상 탐지 알고리즘 구축
4.3 스키마 및 계보를 위한 모니터 구축
4.4 파이썬과 머신러닝으로 이상 탐지 확장
4.5 이상 탐지의 심화 과정: 기타 유용한 접근법
4.6 데이터 품질 모니터 설계: 데이터 웨어하우스 vs 데이터 레이크
4.7 마치며

CHAPTER 5 데이터 신뢰성을 위한 아키텍처
5.1 수집 단계에서 높은 데이터 신뢰성 측정 및 유지
5.2 파이프라인에서 높은 데이터 품질 측정 및 유지
5.3 데이터 품질 다운스트림
5.4 데이터 플랫폼 구축
5.5 데이터 신뢰 구축
5.6 [사례 연구] 블링키스트
5.7 마치며

CHAPTER 6 대규모 데이터 품질 문제 해결
6.1 소프트웨어 개발 시 품질 문제 조정
6.2 데이터 사고 관리
6.3 사고 대응 및 완화
6.4 [사례 연구] 페이저듀티의 데이터 사고 관리
6.5 마치며

CHAPTER 7 엔드 투 엔드 데이터 계보 구축
7.1 최신 데이터 시스템을 위한 엔드 투 엔드 필드 레벨 데이터 계보 구축
7.2 [사례 연구] 폭스의 데이터 신뢰성을 위한 아키텍처
7.3 마치며

CHAPTER 8 데이터 품질 민주화
8.1 데이터를 프로덕트로 다루는 시각
8.2 데이터를 프로덕트로 다루는 사례
8.3 데이터 플랫폼을 향한 신뢰 축적
8.4 데이터 품질 책임 할당
8.5 데이터 품질 보장을 위한 책임감 조성
8.6 데이터 접근성과 신뢰 간 균형
8.7 데이터 인증
8.8 데이터 인증 프로그램 실행 7단계
8.9 [사례 연구] 적합한 데이터 조직을 찾는 토스트의 여정
8.10 데이터 리터러시 함양
8.11 데이터 거버넌스와 컴플라이언스
8.12 데이터 품질 전략 수립
8.13 마치며

CHAPTER 9 현실에서의 데이터 품질: 전문가 대담과 사례 연구
9.1 데이터 품질 향상을 위한 데이터 메시 구축
9.2 왜 데이터 메시인가?
9.3 자마크 데가니와의 대화: 데이터 메시에서 데이터 품질의 역할
9.4 [사례 연구] 콜리브리 게임즈의 데이터 스택 여정
9.5 비즈니스에 메타데이터 활용
9.6 데이터 검색에서 얻는 메타데이터의 가치
9.7 데이터 품질 관리 시기 결정
9.8 마치며

CHAPTER 10 신뢰할 수 있는 데이터 시스템의 미래 개척
10.1 사후 대응이 아닌 사전 예방적 대응
10.2 데이터 품질 및 신뢰성의 미래 예측
10.3 이제부터 우리는 무엇을 해야 할까?

찾아보기