2006년 머신러닝 분야는 중요한 전환점을 맞이하였다. 캐나다 토론토대학교의 머신러닝 분야의 대가 Geoffrey Hinton 교수와 그의 학생 Ruslan Salakhutdinov는 “Science”에서 Deep Belief Networks에 관한 논문을 발표하였다.
이 논문의 발표 이후부터 현재까지 딥러닝은 급속히 발전했다.

이 책에서는 요즘 유행하는 딥러닝 모델링 플레임 워크 Keras를 사용하여 딥러닝 학습 주제를 설명한다. Keras를 사용하는 이유는 다음의 3가지 방면을 고려했기 때문이다. 첫째, Keras는 대부분의 업무 환경에 응용할 수 있는 다양한 자주 사용되는 딥러닝 모듈을 포함한다. 둘째, 원칙적으로 Keras는 고도의 추상적인 딥러닝 프로그래밍 환경으로 간단하며 배우기 쉽다. Keras의 하층은 CNTK, TensorFlow 혹은 Theano를 전용하여 계산을 진행한다. 세 번째, 응용 분야의 실무자로서 우리는 상업 혹은 공정 문제를 적절한 모델로 변환하는 방법 및 데이터를 준비하고, 모델의 장단점을 분석하고 모델의 결과를 해석하는 방법에 중점을 둬야 하며, 사용자가 구체적인 매트릭스 연산 및 미분에서 벗어나 업무 논리에 초점을 맞출 수 있도록 하는 Keras는 이러한 시나리오에 매우 적합하다.

이 책은 Keras 딥러닝 프레임워크를 사용하여 신경망 모델링을 진행하는 것을 체계적으로 설명한 실용서이다. 데이터 과학자, 머신러닝 엔지니어, 인공지능 응용 엔지니어 및 작업에서 예측 모델링 및 회귀 분석을 진행해야 하는 실무자에게 적합하다. 또한, 이 책은 딥러닝에 관심이 있는 다른 여러 배경의 실무자, 학생 및 교사들에게도 적합하다.

이 책은 10개의 챕터로 나누어져 있으며 딥러닝의 기본 지식과 Keras를 사용한 모델링 과정 및 응용을 체계적으로 설명하고 구체적인 코드를 제공하여 독자가 핵심 모델링 지식을 학습하는데 소요되는 시간을 최소화할 수 있도록 한다.
1장에서는 딥러닝 환경 구축을 소개한다. 이는 이 책의 가장 기초가 되는 부분이다.
2장에서는 웹 크롤러 기술을 사용하여 데이터를 수집하고 ElasticSearch를 사용하여 데이터를 저장하는 방법을 소개한다. 이는 많은 응용에서 독자가 직접 웹에서 데이터를 크롤링하고 처리 및 저장을 해야 하기 때문이다.
3장에서는 딥러닝 모델의 기본 개념을 소개한다. 4장에서는 딥러닝 프레임 워크 Keras의 사용법을 소개한다. 5~9장은 5개의 전형적인 딥러닝 응용이며 추천 시스템, 이미지 인식, 자연어 처리, 문자 생성 및 시계열에 대한 딥러닝의 구체적인 응용을 차례대로 소개한다.

이러한 응용을 소개하는 과정에서 각종 딥러닝 모델 및 코드를 삽입하였으며 독자들에게 이러한 모델의 원리 및 응용 시나리오에 대해 느낀 점을 공유하였다. 마지막으로 사물인터넷의 개념을 소개하였다. 우리는 사물인터넷과 딥러닝의 결합이 엄청난 에너지와 가치를 가져올 것이라고 믿는다.
딥러닝은 음성 녹음, 스마트 스피커, 기계 번역 및 이미지 인식 등의 핵심 기술로써 우리 실생활에 녹아들고 있습니다. 이와 동시에 학술계 및 산업계의 막대한 투자가 이루어져 새로운 모델과 새로운 알고리즘이 끊임없이 발표되어 제품에 적용되고 있습니다. 그렇기에 딥러닝의 다양한 모델과 알고리즘을 파악하고 구현하는 것은 매우 어려운 일입니다.

다행히도 많은 기업과 학교가 딥러닝 툴킷의 소스 코드를 공개했는데, 이름으로 친숙한 CNTK, TensorFlow, Theano, Caffe, mxNet, Torch가 있습니다. 이들은 매우 유연하고 강력한 모델링 기능을 제공하여 딥러닝 기술 사용에 대한 장벽을 낮추고 딥러닝 연구에 크게 기여했습니다. 그러나 툴킷마다 장점과 인터페이스가 다르고 입문자에겐 너무 유연한 나머지 숙달하기란 녹록지 않습니다.

이러한 이유로 Keras가 등장했습니다. Keras는 사용하기 쉬우면서 더 높은 수준의 추상화를 지원하며 CNTK, TensorFlow, Theano 간의 백엔드 엔진을 자유롭게 전환할 수 있어 호환성과 유연성이 뛰어난 딥러닝 프레임워크로 자리매김했습니다. Keras의 등장으로 많은 초보자가 딥러닝의 여러 기술과 모델을 빠르게 익히고 이를 실무에 적용할 수 있게 되었습니다.
이 책 또한 이러한 배경으로 이제 막 딥러닝을 배우거나 경험이 많지 않은 학생 및 엔지니어를 대상으로 쓰였습니다. 이 책의 저자인 씨에량(（谢梁）), 루잉(（鲁颖）)과 라오훙란(（劳虹岚）)은 딥러닝 연구의 최전선에 있는 Microsoft와 Google에서 빅데이터와 딥러닝 기술의 연구개발을 맡아 비즈니스 및 엔지니어링 문제를 모델링해 평가하고 분석하는 경험을 지속해서 쌓아왔습니다. 이제 저자들은 이 책을 통해 그간 축적된 노하우를 전함으로써 독자들로 하여금 딥러닝을 신속하게 익히고 비즈니스 및 엔지니어링 실무에 효과적으로 적용하길 바랄 뿐입니다.

이 책은 딥러닝의 기본 지식, 모델링 과정 및 응용에 대해 체계적으로 설명하고 추천 시스템, 이미지 인식, 자연어 처리, 텍스트 생성 및 시계열의 구체적 응용 사례를 다루는 훌륭한 딥러닝 입문서입니다.

위둥(俞栋) 박사
Tencent AI Lab 부회장 겸 과학자
시에틀 AI Lab 책임자
2017년 6월 22일 미국 시에틀에서



빅데이터의 확산과 하드웨어의 연산 능력 향상으로 말미암아 딥러닝은 지난 5~6년 사이에 엄청난 발전을 이룰 수 있었습니다. 그리고 현재 딥러닝은 음성 인식, 기계 번역, 자연어 인식, 추천 시스템, 이미지 인식, 객체 탐지, 감정 분석, 자율 주행 등의 특정 분야에서 인간의 능력으로는 도달할 수 없는 수준에 이르렀습니다. 인공지능의 광범위한 응용 전망에 따라 Google, Microsoft, Amazon, Baidu, Tencent, Alibaba와 같은 대기업들의 거대한 투자가 이뤄져 한 걸음 더 발전하는 계기가 되었습니다. 오늘날 인공지능의 무한한 잠재력에 대한 의심은 사라졌지만, 어떻게 기계와 공존할지와 언젠간 인간을 대체할 것이란 막연한 두려움이 자리 잡았습니다.

물론 기계가 인류를 지배할 것이라 벌써부터 걱정하지 않아도 됩니다. 딥러닝은 현재 원시 데이터로부터 간단한 분석만을 진행하는 지각(Perception) 단계에 머물러 있으며, 사건에 대한 추론 및 인식 가능 단계인 인지(Cognition) 단계와는 아직 거리가 멉니다. 딥러닝 연구는 아직 현재진행형으로 여러 분야의 전문가들조차도 딥러닝이 왜 이렇게 효과적인지 제대로 밝혀내지 못하고 있습니다. 그러나 다행스럽게도 실제 문제를 해결할 때 우리는 이를 깊이 이해할 필요가 없습니다. 따라서 실용적인 측면에서 이 책은 딥러닝의 일부 기본 지식을 다루므로 읽을 가치가 있습니다.
이 책은 딥러닝 환경 조성을 시작으로 독자에게 데이터 마이닝을 가르치고 실무에 가장 많이 쓰이고 효과적이라 여겨지는 일부 딥러닝 알고리즘에 대해 자세히 설명합니다. 다루는 내용으론 추천 시스템, 이미지 인식, 자연어 감정 분석, 텍스트 생성, 시계열, 사물인터넷 등이 있습니다. 여타 딥러닝 관련 서적과는 달리, 이 책은 Keras를 딥러닝 프레임워크로 채택하여 간단하고 빠른 모델 설계가 가능하며, 고수준 API로 짜여진 코드는 독자들의 이해를 돕습니다. 설령 언젠가 여러분이 좀 더 복잡한 문제를 해결하기 위해 일일이 코딩해야 할지라도 Keras를 통해 배운 높은 수준의 추상화 관점에서 그 문제를 살펴본다면 해답이 나올 것이라 믿습니다.

딥러닝의 물결은 반드시 새로운 정보 혁명을 일으킬 것입니다. 그리고 거대한 변화가 있을 때마다 비효율적인 일자리는 사라지고 새로운 일자리가 생겨납니다. 저는 여러분이 이 책을 시작으로 변화의 중심에 서길 진심으로 희망합니다.

장차(张察) 박사
CNTK 공동 개발자, Microsoft 본사 수석 연구원
2017년 6월 미국 시에틀에서


많은 분야에서 딥러닝의 등장과 발전은 새로운 바람을 불러일으키고 있습니다. 이를 통해 데이터 마이닝 및 딥러닝은 현재 빅데이터 시대에서 가장 중요한 연구 대상이라 믿어 의심치 않습니다.
우선 이 책의 첫 번째 독자로서 Microsoft 및 Google의 세계 최고 데이터 과학자들로부터 딥러닝 분야의 귀중한 경험을 얻은 것은 행운입니다. 이 책은 실습 차원에서 내용이 알차고 자주 쓰이는 딥러닝 모듈을 비롯한 Keras 프레임워크를 통해 딥러닝과 관련된 기술을 체계적으로 설명하므로 추상적인 수학 이론에만 머물지 않습니다. 국내에 많지 않은 딥러닝 서적 중 실용성을 갖춘 역작이라 칭할 만합니다.
이에 따라 딥러닝 분야의 연구원, 알고리즘 엔지니어 및 데이터 과학자에게 이 책을 강력히 추천하는 바이고, 학식의 깊이와 상관없이 한 단계 더 도약하리라 믿습니다.
캉하오천(亢昊辰)
빈하이 국제 금융 연구소 빅데이터 센터 책임자


이 책은 소프트웨어 및 하드웨어 환경 설정부터 데이터 수집, 아울러 딥러닝 이론 소개에서 실제 사례 분석에 이르기까지 딥러닝의 중요한 측면을 낱낱이 다룹니다. 전반적으로 매우 실용적이며 어려운 내용을 알기 쉽게 전달해 딥러닝에 관심 있는 독자에게 더할 나위 없이 좋은 책입니다!
조우런셩(周仁生)
Airbnb 선임 데이터 과학자


저는 오랫동안 전문 서적을 읽는데 전념하지 않았습니다. 이번에 딥러닝에 관한 새로운 작품을 읽을 수 있었는데, 이는 제게 많은 도움이 되었습니다. 최근 몇 년 동안 딥러닝은 빠르게 성장했으며, 이에 관한 서적과 온라인 강좌는 너무 많아 열거할 수 없을 정도입니다. 그러나 수년간 데이터 과학 분야에 종사해온 연구원으로서 단기간 내에 이론과 실습을 병행할 수 있는 딥러닝 입문 서적을 찾기 매우 어려웠습니다.
그러나 이 책은 다양한 전공 배경을 가진 독자들을 대상으로 이해하기 쉬운 예제와 응용을 통해 실전에 대한 이정표를 제시합니다. 또한, 데이터 과학 및 딥러닝에 관한 여타 서적과 달리 이 책의 Python 코드는 완벽하고 상세하며 장과 절 간의 논리 관계가 분명합니다. 독자 여러분도 이 책을 통해 딥러닝과 관련된 이론 및 기법을 체계적으로 습득하고 데이터 과학 분야에서 끊임없이 발전해 나아가기를 바랍니다.
류송(刘松)
Google 데이터 과학 전문가


딥러닝과 인공지능은 현재 가장 큰 화제 중 하나이지만 많은 이들이 시작하는 데 있어 큰 어려움을 느낍니다. 이 책은 시중에 있는 많은 딥러닝 서적의 지나치게 이론적인 특성을 빼고 실용성과 운용성에 중점을 두어 현재 딥러닝의 응용 분야를 신속하게 이해하고 소스 코드를 통해 스스로 해결할 수 있도록 유도합니다.
이 책에 소개된 Keras 딥러닝 프레임워크는 높은 수준으로 추상화된 API를 제공해 신경망을 표현합니다. CNTK, Theano 및 TensorFlow 간의 백엔드 엔진을 자유롭게 전환할 수 있어 생산 환경의 딥러닝 모델을 신속하게 구축하는 데 이상적입니다.
뤄보(罗勃)
The University of Kansas, Associate Professor of ECS


이 책은 어려운 딥러닝을 쉽게 풀어쓴 보기 드문 입문서입니다. 이론과 실습을 오가며 현재 딥러닝 애플리케이션의 주요 프레임워크와 응용 방향을 실용적이고 알차게 설명합니다.
높은 수준의 추상화를 지원하는 Keras에 기반한 이 책은 딥러닝 모델의 빠른 구축과 실무에 대한 응용에 중점을 두기 때문에 입문자부터 경험자까지 모두를 아우를 수 있는 필수 참고서입니다.
궈옌둥(郭彦东)
Microsoft 연구원


이것은 데이터 마이닝과 딥러닝에 대한 입문서로, 현재 딥러닝 연구 중에 발전이 가장 빠른 몇 개의 분야에 대한 내용을 다루고 있으며 Keras와 실제 문제를 해결하기 위한 과정을 자세히 설명합니다. 저자는 딥러닝 분야에서 다년간의 연구 경험을 보유한 데이터 과학자로서 현재 가장 널리 사용되는 오픈소스 딥러닝 프레임워크의 사례와 장단점을 이 책에 담았습니다. 이 책의 이론 체계는 나무랄 데가 없고, 내용은 간결하며, 예제는 대표성이 높아 단기간에 데이터 마이닝 및 딥러닝에 대한 이론을 이해하고 실전에 응용코자 하는 독자들이 반드시 봐야할 교재입니다.
쏭솽(宋爽)
Twitter 선임 머신러닝 연구개발 엔지니어


딥러닝을 배우는 데 있어 실용적인 이 책은 딥러닝의 일부 이론과 개념에 얽매이지 않고 예제를 통해 딥러닝의 구체적인 응용을 구현합니다. 하드웨어 및 소프트웨어 구성부터 웹 크롤링, 자연어 처리, 이미지 인식 등의 중요한 분야에 대한 설명까지, 이 책은 여러 영역에 딥러닝을 적용하는 방법에 대해 자세히 서술합니다. 그뿐만 아니라 독자가 이 책을 읽고 스스로 딥러닝을 이용해 수많은 실제 문제를 해결하는 데 목표를 두고 있습니다.
딥러닝을 배우고 이해하고 싶은 독자, 특히 특정 문제에 딥러닝을 적용하고자 하는 사람들은 이 책을 통해 큰 수확을 거둘 수 있을 것입니다.
장지엔(张健)
Facebook 선임 데이터 과학자


딥러닝과 인공지능이 요즘 가장 핫한 기술 중 하나임에 의심할 여지가 없으며, 많은 사람이 이 기술을 배우고 싶어 하지만 진입 장벽이 높아 걱정부터 앞서곤 합니다.
이 책은 이들에게 단비 같은 존재로 훌륭한 학습 자료를 제공하고 현재 중국에 몇 안 되는 Keras 책 중 하나입니다. 딥러닝의 주요 응용 분야에 대한 내용뿐만 아니라 이와 관련된 시스템 탑재, 크롤링 및 사물인터넷까지 다루기 때문에 꼭 읽어 보시길 바랍니다.
천샤오린(陈绍林)
SMALL RAINDROP 소액 금융 네트워크 부사장 겸 수석 분석가

Chapter 01. 딥러닝 환경 구축

　1.1 하드웨어 환경 구축
　　1.1.1 GPU상의 범용 연산
　　1.1.2 그래픽 카드
　　1.1.3 그래픽 카드 메모리
　　1.1.4 멀티 GPU
　1.2 소프트웨어 환경 구축
　　1.2.1 필수 소프트웨어
　　1.2.2 CUDA 설치
　　1.2.3 Python 설치??42
　　1.2.4 딥러닝 모델링 환경??44
　　1.2.5 CNTK와 Keras 설치??46
　　1.2.6 Theano 설치??52
　　1.2.7 TensorFlow 설치??54
　　1.2.8 cuDNN 및 CNMeM 설치??56


Chapter 02. 데이터 수집 및 처리
　2.1 웹 크롤링
　　2.1.1 웹 크롤링 기술
　　2.1.2 Scrapy 크롤러 구현
　　2.1.3 매개변수를 갖는 Scrapy 크롤러 구현
　　2.1.4 Scrapy 크롤러 실행
　　2.1.5 Scrapy 실행 키포인트
　2.2 비정형 데이터의 저장 및 분석
　　2.2.1 ElasticSearch 개요
　　2.2.2 ElasticSearch 응용 예제


Chapter 03. 딥러닝
　3.1 개요
　3.2 딥러닝을 위한 통계학 입문
　3.3 신경망 기본 개념
　　3.3.1 딥러닝에서의 함수 유형
　　3.3.2 딥러닝에서의 개념
　3.4 경사 하강법 알고리즘
　3.5 오차 역전파??112


Chapter 04. Keras 입문
　4.1 Keras 개요
　4.2 Keras에서 데이터 처리하기
　　4.2.1 텍스트 전처리
　　4.2.2 시퀀스 데이터 전처리
　　4.2.3 이미지 데이터 입력
　4.3 Keras 모델
　4.4 Keras의 중요한 함수
　4.5 Keras 계층 구조
　4.6 Keras를 이용한 특이값 분해


Chapter 05. 추천 시스템
　5.1 추천 시스템 소개??157
　5.2 매트릭스 분해 모델??162
　5.3 딥 신경망 모델??172
　5.4 자주 사용되는 알고리즘??177
　　5.4.1 협업 필터링??177
　　5.4.2 인수 분해 머신??178
　　5.4.3 볼츠만 벡터 머신??179
　5.5 평가 모델 지표??180

Chapter 06. 이미지 인식
　6.1 이미지 인식 입문
　6.2 합성곱 신경망 소개
　　6.2.1 AlexNet
　　6.2.2 LeNet
　　6.2.3 VGG16
　　6.2.4 VGG19
　6.3 종단 간의 MNIST 숫자 인식 훈련
　6.4 VGG16 네트워크를 이용한 손글씨 인식
　6.5 요약


Chapter 07. 자연언어 감정 분석
　7.1 자연언어 감정 분석에 대한 소개
　7.2 문자 감정 분석 모델링
　　7.2.1 단어 임베딩 기술
　　7.2.2 여러 계층 완전연결 신경망 훈련 감정 분석
　　7.2.3 합성곱 신경망 훈련 감정 분석
　　7.2.4 순환 신경망 훈련 감정 분석
　7.3 요약


Chapter 08. 텍스트 생성
　8.1 텍스트 생성 및 챗봇
　8.2 검색 기반 대화 시스템
　8.3 딥러닝에 기반한 검색 대화 시스템
　　8.3.1 대화 데이터의 구성
　　8.3.2 딥러닝 인덱스 모델 구축
　8.4 문자 생성에 기반한 대화 시스템
　8.5 요약


Chapter 09. 시계열
　9.1 시계열 소개
　9.2 기본 개념
　　9.2.1 Augmented Dickey-Fuller Test (ADF)
　　9.2.2 Kwiatkowski-Phillips-Schmidt-Shin Test (KPSS)
　9.3 시계열 모델 예측 정확도 평가
　　9.3.1 예측 정확도를 평가할 때 자주 쓰이는 통계량
　　9.3.2 샘플 이외의 데이터를 사용하여 검증하는 단계
　9.4 시계열 데이터 예제
　9.5 ARIMA 시계열 모델에 대한 간략한 회상
　　9.5.1 차분 항을 식별하는 원칙
　　9.5.2 자동 회귀 또는 예측 오차 항을 식별하는 원칙
　　9.5.3 모델의 계절성 식별
　9.6 순환 신경망 및 시계열 모델
　9.7 응용 사례
　　9.7.1 양쯔강 한커우 월간 유량 시계열 모델
　　9.7.2 국제선 항공 월간 승객 수 시계열 모델
　9.8 요약


Chapter 10. 지능 사물인터넷
　10.1 Azure와 IoT
　　10.1.1 IoT 방안 구조
　　10.1.2 설비 연결
　　10.1.3 데이터 처리 및 분석
　　10.1.4 보고서 및 상업 연결
　　10.1.5 다음 단계
　10.2 Azure IoT Hub 서비스
　　10.2.1 Azure IoT Hub를 사용하는 이유
　　10.2.2 게이트웨이
　　10.2.3 IoT Hub의 작동 원리
　　10.2.4 다음 단계
　10.3 IoT Hub를 사용한 디바이스 관리 개요
　　10.3.1 소개
　　10.3.2 디바이스 관리 원칙
　　10.3.3 디바이스 수명 주기
　　10.3.4 디바이스 관리 모드
　10.4 .NET을 사용한 IoT Hub로의 시뮬레이션 디바이스 연결
　　10.4.1 소개
　　10.4.2 IoT Hub 구축
　　10.4.3 디바이스 신분 생성
　　10.4.4 가상 디바이스 만들기
　　10.4.5 디바이스에서 클라우드로 보낸 정보 받기
　　10.4.6 프로그램 실행
　　10.4.7 Service Bus 캐시 명령 사용
　　10.4.8 IoT Hub와 큐를 연결하기
　10.5 머신러닝 응용 사례