직접 구현하면서 배우는 본격 딥러닝 입문서
이번에는 순환 신경망과 자연어 처리다!

이 책은 『밑바닥부터 시작하는 딥러닝』에서 다루지 못했던 순환 신경망(RNN)을 자연어 처리와 시계열 데이터 처리에 사용하는 딥러닝 기술에 초점을 맞춰 살펴본다. 8장 구성으로 전체를 하나의 이야기처럼 순서대로 읽도록 꾸몄다. 전편에서 배운 내용을 요약한 신경망 복습을 첫 장에 배치하여 신경망과 파이썬 지식을 어느 정도 갖춘 분이라면 전편을 읽지 않아도 무리 없이 따라올 수 있도록 배려했다.
★ 『밑바닥부터 시작하는 딥러닝』의 명성을 그대로!
이 책은 『밑바닥부터 시작하는 딥러닝』의 속편입니다. 전편에 이어 계속 딥러닝 기술을 다룹니
다. 특히 이번에는 자연어 처리와 시계열 데이터 처리에 초점을 맞춰 딥러닝을 사용해 다양한
문제에 도전합니다. 그리고 전편과 똑같이 ‘밑바닥부터 만든다’는 기치 아래, 딥러닝을 활용한
고급 기술들을 차분히 만끽해갈 것입니다.

★ 자연어 처리와 시계열 데이터 처리에 초점을 맞춰!
이 책에서는 자연어 처리와 시계열 데이터 처리에 초점을 맞춰 딥러닝에서 중요한 기술들을 배웁니다. 구체적으로는 word2vec과 RNN, LSTM과 GRU, seq2seq와 어텐션 같은 기술입니다. 이 책은 이 기술들을 가능한 한 쉬운 말로 설명하고 실제로 만들어보면서 확실한 내 것이 되도록 안내합니다.

★ 이 책에서 다루는 내용
- 외부 라이브러리에 의지하지 않고, 밑바닥부터 딥러닝 프로그램을 구현합니다.
- 『밑바닥부터 시작하는 딥러닝』의 속편으로서 자연어 처리와 시계열 데이터 처리에 사용하는 딥러닝 기술에 초점을 맞춥니다.
- 실제로 동작하는 파이썬 소스 코드와 독자가 직접 실습해볼 수 있는 학습 환경을 제공합니다.
- 가능한 한 쉬운 말로, 명확한 그림을 많이 동원하여 설명합니다.
- 수식도 사용하지만 그 이상으로 소스 코드에 기초한 설명을 중시합니다.
- ‘ 왜 그 기법이 뛰어난가?’, ‘왜 그 방식이 먹히는가?’, ‘왜 그것이 문제인가?’ 등 ‘왜’를 소중히 합니다.

『밑바닥부터 시작하는 딥러닝』에 이어 널리 사용되는 딥러닝 모델을 직접 구현하면서 기본 원리를 체득하는 체험형 입문서입니다. 전편이 딥러닝의 기본 이론을 밑바닥부터 구현할 수 있도록 안내했다면 이번에는 자신만의 딥러닝 프레임워크를 구축할 수 있는 토대를 만들어줍니다. 파이썬과 넘파이의 활용까지 책임지는 훌륭한 지침서입니다. 딥러닝 프레임워크를 연구하는 모든 분께 이 책을 추천합니다.
- 윤영선, 한남대학교 정보통신공학과 교수

머신러닝 라이브러리를 이용하여 딥러닝 분야에 뛰어들게 되면 네트워크의 내부 구조와 디테일한 부분들을 자세하게 알 수 없어 한없이 답답합니다. 이 책은 큰 부분부터 디테일한 부분까지 밑바닥부터 직접 구현해 네트워크에 대한 이해를 돕고, 답답함을 한 방에 날려줍니다. 그동안 국내에 출판된 책들이 RNN 계열이나 자연어 처리 계열을 잘 다루지 않는 것에 비해, 이 책은 기초적인 자연어 처리부터 응용, 심화 과정까지 설명합니다. 자연어 처리 분야에 뛰어들 분들께 추천합니다.
- 박동주, 광주과학기술원 석사과정

앞으로 자연어 처리 기본서는 이 책의 전과 후로 나뉠 겁니다. 전편에서와 마찬가지로 직관적이고 논리적으로 설명해주는 부분에서 감탄했습니다. 자연어 처리를 처음 접하는 입문자부터 단순히 프레임워크를 활용해본 경험자까지, 자연어 처리 과정이 어떻게 이루어지는지 알고 싶은 모든 분께 추천합니다. 특히 통계 기반 기법과 추론 기반 기법의 장단점과 차이점을 설명하는 부분이 명쾌해서 내용을 이해하는 데 큰 도움이 되었습니다.
- 성민석, 홍익대학교 컴퓨터공학과 4학년

딥러닝을 이용한 자연어 처리의 기본을 밑바닥부터 공부할 수 있습니다. 전편과 마찬가지로 RNN, LSTM, 어텐션 등을 구현하면서 각각의 작동 원리를 쉽게 공부할 수 있습니다. 저는 작년에 일본어판을 먼저 읽어보았는데, 번역 또한 전편과 마찬가지로 아주 좋습니다.
- 김선웅, (주)스캐터랩 머신러닝 엔지니어

이 책은 RNN 기반 신경망에 대한 개념을 쉽게 설명해주고, 복잡한 응용 모델들을 그림과 예제를 통해 알려줍니다. 시계열을 공부하는 분, RNN 공부를 시작하는 분께 큰 도움이 될 것입니다.
- 김동성, 삼성 리서치(Samsung Research) 연구원

쉽게 풀어쓴 이론과 친절하게 설명한 코드를 따라가다 보면 자연어 처리 분야의 발전 과정을 자연스럽게 이해할 수 있습니다. 딥러닝 기초가 필요한 분은 전편부터 공부하시는 걸 추천합니다.
- 양민혁, 현대모비스 빅데이터팀

밑바닥부터 시작하는 딥러닝 2편이 나오다니! 너무나 신납니다. 저처럼 어린 학생들도 자연어 처리에 맞추어 무리 없이 쉽게 이해하며 따라 할 수 있는 책입니다. 저와 같은 어린 학생들이 과연 할 수 있을까 망설이고 있다면, 주저 없이 이 책을 집어 드세요.
- 김경수, 봉일천고등학교 2학년

CHAPTER 1 신경망 복습
__1.1 수학과 파이썬 복습
__1.2 신경망의 추론
__1.3 신경망의 학습
__1.4 신경망으로 문제를 풀다
__1.5 계산 고속화
__1.6 정리

CHAPTER 2 자연어와 단어의 분산 표현
__2.1 자연어 처리란
__2.2 시소러스
__2.3 통계 기반 기법
__2.4 통계 기반 기법 개선하기
__2.5 정리

CHAPTER 3 word2vec
__3.1 추론 기반 기법과 신경망
__3.2 단순한 word2vec
__3.3 학습 데이터 준비
__3.4 CBOW 모델 구현
__3.5 word2vec 보충
__3.6 정리

CHAPTER 4 word2vec 속도 개선
__4.1 word2vec 개선 ①
__4.2 word2vec 개선 ②
__4.3 개선판 word2vec 학습
__4.4 word2vec 남은 주제
__4.5 정리

CHAPTER 5 순환 신경망(RNN)
__5.1 확률과 언어 모델
__5.2 RNN이란
__5.3 RNN 구현
__5.4 시계열 데이터 처리 계층 구현
__5.5 RNNLM 학습과 평가
__5.6 정리

CHAPTER 6 게이트가 추가된 RNN
__6.1 RNN의 문제점
__6.2 기울기 소실과 LSTM
__6.3 LSTM 구현
__6.4 LSTM을 사용한 언어 모델
__6.5 RNNLM 추가 개선
__6.6 정리

CHAPTER 7 RNN을 사용한 문장 생성
__7.1 언어 모델을 사용한 문장 생성
__7.2 seq2seq
__7.3 seq2seq 구현
__7.4 seq2seq 개선
__7.5 seq2seq를 이용하는 애플리케이션
__7.6 정리

CHAPTER 8 어텐션
__8.1 어텐션의 구조
__8.2 어텐션을 갖춘 seq2seq 구현
__8.3 어텐션 평가
__8.4 어텐션에 관한 남은 이야기
__8.5 어텐션 응용
__8.6 정리

APPENDIX A 시그모이드 함수와 tanh 함수의 미분
__A.1 시그모이드 함수
__A.2 tanh 함수
__A.3 정리

APPENDIX B WordNet 맛보기
__B.1 NLTK 설치
__B.2 WordNet에서 동의어 얻기
__B.3 WordNet과 단어 네트워크
__B.4 WordNet을 사용한 의미 유사도

APPENDIX C GRU
__C.1 GRU의 인터페이스
__C.2 GRU의 계산 그래프