신간소개 2020. 9. 7. 18:06

 

  ● 저자: 아다치 하루카

  ● 역자: 김태현

  ● 감수: 조휘용

  ● 페이지: 324

  ● 판형: 사륙배판형(188*257)

  ● 도수: 2도

  ● 정가: 25,000원

  ● 발행일: 2020년 9월 21일

  ● ISBN: 978-89-97924-74-5 93000

 

[예제 소스 다운로드] [오탈자 사이트]

 

[강컴] [교보] [반디] [알라딘] [예스24] [인터파크]

[샘플원고]

sample_machindata.pdf
1.64MB

_도서 내용

이 책은 인공지능이 올바른 데이터를 입력 받아 의미 있는 결과를 도출하는 과정에서 필수적으로 거쳐야 할 데이터 전처리에 관한 입문서이다. 정형 데이터뿐만 아니라 이미지, 텍스트 데이터와 같은 비정형 데이터를 다루는 방법을 제공한다. 데이터를 처리하고 분석하기 위해 가장 많이 사용되는 파이썬 언어를 사용하고, NumPy, Pandas 등 라이브러리를 통해 어떠한 방법으로 데이터를 시각화하고, 의미를 도출할 수 있는지를 자세하게 배울 수 있다. 실습 위주의 책이며, 파이썬을 조금만 알아도 누구나 쉽게 따라해보면서 데이터 전처리에 대한 개념과 방법 등의 기초지식을 충분히 습득할 수 있다. 이것을 기초로 스스로 데이터 전처리 전문가가 되는 길을 찾을 수 있을 것이다.

 

_대상 독자

머신러닝이나 딥러닝을 학습하고 실무에서 모델을 작성해보고자 하는 입문자

인공지능 개발자가 되기 위해 고군분투 중인 취준생 개발자

 

_목차

 

지은이의 글

옮긴이의 글

감수자의 글

다운로드 및 개발환경 안내

일러두기

 

1장 데이터 분석, 활용을 시작하기 전에

1 데이터 기반 시대로

2 데이터 분석 프로젝트에 필요한 요소

3 데이터 분석 인재에게 필요한 스킬

컬럼 | 보충지식 1 BI로 무엇을 할 수 있나?

컬럼 | 보충지식 2 데이터처리가 빠른 툴은?

 

2장 데이터 분석의 프로세스와 환경

1 들어가며

2 비즈니스 이해

3 데이터 이해

4 데이터 준비

5 모델 작성

6 평가

7 배포/공유

8 데이터 분석 환경의 선택

9 주피터 노트북 사용 방법

 

3장 정형 데이터의 전처리 (1)

1 데이터 이해

2 데이터 준비

3 모델 작성

4 다시 데이터 준비로

5 다시 한번 모델 작성으로

컬럼 | 보충지식 1 데이터 결합

컬럼 | 보충지식 2 오버 샘플링

컬럼 | 보충지식 3 분할의 순도

[함께 해봐요 3-1] Pandas를 사용한 파일 업로드

[함께 해봐요 3-2] 데이터의 행수와 열수 확인

[함께 해봐요 3-3] 데이터형 확인

[함께 해봐요 3-4] 결손값의 포함 유무 확인

[함께 해봐요 3-5] 결손값의 개수 파악

[함께 해봐요 3-6] 데이터형이 수치인 항목의 통계량 계산

[함께 해봐요 3-7] age의 히스토그램 작성

[함께 해봐요 3-8] age balance 산포도 작성과 항목 관련성 확인

[함께 해봐요 3-9] 문자열 항목 중 job의 원 그래프 작성 (1)

[함께 해봐요 3-10] 문자열 항목 중 job의 원 그래프 작성 (2)

[함께 해봐요 3-11] y의 원 그래프 작성 및 데이터 분포 확인

[함께 해봐요 3-12] 목적변수 y에 대한 데이터 분포 확인

[함께 해봐요 3-13] 전처리를 위한 코드 입력

[함께 해봐요 3-14] 각 항목의 데이터형 재확인

[함께 해봐요 3-15] 결손값 제외

[함께 해봐요 3-16] 결손값 보완

[함께 해봐요 3-17] 특이값(이상치) 제외

[함께 해봐요 3-18] 값 두 개를 가지는 데이터 변환

[함께 해봐요 3-19] 다수의 값을 가지는 데이터 변환

[함께 해봐요 3-20] 분석 데이터 세트로 완성

[함께 해봐요 3-21] 더미 변수화한 데이터 결합

[함께 해봐요 3-22] CSV 파일로 결과 출력

[함께 해봐요 3-23] Pandas를 사용한 결합의 이미지 표현

[함께 해봐요 3-24] 데이터를 로드하는 코드 작성

[함께 해봐요 3-25] imbalanced-learn 패키지 설치 유무 확인

[함께 해봐요 3-26] 주티퍼랩에 설치된 패키지 확인

[함께 해봐요 3-27] imbalanced-learn 패키지 설치

[함께 해봐요 3-28] 불균형 데이터 세트에 대한 언더 샘플링

[함께 해봐요 3-29] 오버 샘플링 구현

[함께 해봐요 3-30] 결정 트리 알고리즘을 사용한 모델 검증

[함께 해봐요 3-31] 재현율과 적합도 확인

[함께 해봐요 3-32] 파라미터와 기본값 확인

[함께 해봐요 3-33] 그리드 서치를 사용한 모델의 성능 개선

더보기

[함께 해봐요 3-34] 가장 높은 성능일 때의 모델에 대한 파라미터 조합 확인

[함께 해봐요 3-35] 모델 완성 및 영향력 높은 변수 확인

[함께 해봐요 3-36] job 통합 및 새로운 특징량 생성

[함께 해봐요 3-37] month 통합 및 새로운 특징량 생성

[함께 해봐요 3-38] day 통합 및 새로운 특징량 생성

[함께 해봐요 3-39] duration 통합 및 새로운 특징량 생성

함께 해봐요 3-40] previous 통합 및 새로운 특징량 생성

[함께 해봐요 3-41] 더미변수를 만들기 위한 목록 삽입

[함께 해봐요 3-42] get_dummies를 사용한 더미변수 생성

[함께 해봐요 3-43] CSV 파일 내용 변경

[함께 해봐요 3-44] feature_selection을 통한 변수 사용 유무 확인

 

4장 정형 데이터의 전처리 (2)

1 고객의 특성 이해

2 고객의 그룹화

3 잠재적인 요구 추출

[함께 해봐요 4-1] 분석 데이터를 읽기 위한 코드 작성

[함께 해봐요 4-2] 각 항목의 데이터형 재확인

[함께 해봐요 4-3] 범위변환 테스트

[함께 해봐요 4-4] Z변환 테스트

[함께 해봐요 4-5] 각 변수의 평균과 표준편차 값 확인

[함께 해봐요 4-6] 계층형 클러스터링을 이용한 그룹 분할

[함께 해봐요 4-7] 고객별 그룹 확인

[함께 해봐요 4-8] k-Means법을 이용한 그룹 분할

[함께 해봐요 4-9] 클러스터 ID별 데이터 분포 확인

[함께 해봐요 4-10] 클러스터 ID별 데이터 세트와의 결합

[함께 해봐요 4-11] 그룹별 데이터 건수 확인

[함께 해봐요 4-12] 각 그룹의 통계량 계산 및 성질 파악

[함께 해봐요 4-13] PCA를 이용한 신규변수 작성

[함께 해봐요 4-14] 목적변수별 분포 확인

[함께 해봐요 4-15] 목적변수별 산포도 확인

 

5장 이미지 데이터의 전처리

1 데이터 이해

2 기계학습을 위한 데이터 준비

3 딥러닝을 위한 데이터 준비

컬럼 | 보충지식 1 중간층의 추출

[함께 해봐요 5-1] OpenCV 설치

[함께 해봐요 5-2] swiss-army-ant.jpg 읽기

[함께 해봐요 5-3] 배열에 저장된 픽셀값 확인

[함께 해봐요 5-4] 배열 크기 확인

[함께 해봐요 5-5] 컬러 이미지의 픽셀값 확인

[함께 해봐요 5-6] 그레이스케일 이미지로 변환

[함께 해봐요 5-7] 그레이스케일 이미지의 픽셀값 확인

[함께 해봐요 5-8] 이진화 이미지로 변환

[함께 해봐요 5-9] 이진화 이미지의 픽셀값 확인

[함께 해봐요 5-10] 데이터 프레임 형식으로 확인하는 픽셀값

[함께 해봐요 5-11] 신규 노트북 작성

[함께 해봐요 5-12] 설명변수와 목적변수의 세트 작성 (1)

[함께 해봐요 5-13] 설명변수와 목적변수의 세트 작성 (2)

[함께 해봐요 5-14] 이진화 이미지의 침식 처리

[함께 해봐요 5-15] 이진화 이미지의 팽창 처리

[함께 해봐요 5-16] 이진화 이미지의 오프닝 처리

[함께 해봐요 5-17] 이진화 이미지의 클로징 처리

[함께 해봐요 5-18] 그레이스케일 이미지의 히스토그램 작성

[함께 해봐요 5-19] 그레이스케일 이미지의 pixels_df에 대한 t-SNE 적용

[함께 해봐요 5-20] 목적변수별 데이터 분포 확인

[함께 해봐요 5-21] 그레이스케일 이미지의 설명변수와 목적변수의 세트 작성

[함께 해봐요 5-22] 데이터 세트의 분할

[함께 해봐요 5-23] 이미지 반전을 통한 이미지 수 증가

[함께 해봐요 5-24] 블러 처리를 통한 이미지 수 증가

[함께 해봐요 5-25] 명도 변경을 통한 이미지 수 증가

[함께 해봐요 5-26] 중간층 추출 (1)

[함께 해봐요 5-27] 중간층 추출 (2)

 

6장 시계열 데이터의 전처리

1 데이터 이해

2 데이터 준비

3 훈련 데이터 작성

[함께 해봐요 6-1] 분석 데이터 세트 로드

[함께 해봐요 6-2] 데이터의 행수와 열수 확인

[함께 해봐요 6-3] 데이터형 확인

[함께 해봐요 6-4] datetime형으로 데이터 변환

[함께 해봐요 6-5] 한 행 전과의 시간차() 계산

[함께 해봐요 6-6] 경과시간() 계산 (1)

[함께 해봐요 6-7] 결손값 개수 확인

[함께 해봐요 6-8] 각 항목의 통계량 계산

[함께 해봐요 6-9] Matplotlib을 사용한 데이터 시각화

[함께 해봐요 6-10] 전처리 대상의 데이터 읽기

[함께 해봐요 6-11] 결손값 표시

[함께 해봐요 6-12] NaN을 통한 결손값 보완

[함께 해봐요 6-13] 전후의 값 평균치로 보완하는 결손값

[함께 해봐요 6-14] 경과시간() 계산 (2)

[함께 해봐요 6-15] 6시간 단위로 만들기 위한 평균치 계산

[함께 해봐요 6-16] 두 개의 데이터 세트 결합

[함께 해봐요 6-17] event.csv 파일 읽기

[함께 해봐요 6-18] 데이터 집약 및 시간 축 작성 (1)

[함께 해봐요 6-19] 데이터 집약 및 시간 축 작성 (2)

[함께 해봐요 6-20] 특징량과 목적변수 결합

[함께 해봐요 6-21] 슬라이드 창을 사용한 특징량 추출

[함께 해봐요 6-22] 기계학습의 알고리즘 형태로 특징량 변형

[함께 해봐요 6-23] 특징량 세트와 목적변수 결합

[함께 해봐요 6-24] 새로운 노트북 작성 및 코드 입력

[함께 해봐요 6-25] 데이터 시각화

[함께 해봐요 6-26] 데이터 분할

[함께 해봐요 6-27] 데이터 정규화

[함께 해봐요 6-28] 훈련 데이터의 부분시계열 작성

[함께 해봐요 6-29] 부분시계열의 파형 거리(유사도) 측정

[함께 해봐요 6-30] 케라스 실행

[함께 해봐요 6-31] 오토 인코더 네트워크 작성

[함께 해봐요 6-32] 학습 조건 설정 및 학습 실행

[함께 해봐요 6-33] 오차의 수렴 상태 확인

[함께 해봐요 6-34] 출력값 추이 비교

[함께 해봐요 6-35] 이상 스코어 계산

 

7장 자연어 데이터의 전처리

1 데이터 이해

2 기계학습을 위한 데이터 준비

3 딥러닝을 위한 데이터 준비

4 주제 추출을 위한 데이터 준비

컬럼 | 보충지식 1 한글 형태소 분석 환경의 설정

컬럼 | 보충지식 2 2-gram 에지 리스트

[함께 해봐요 7-1] 업로드한 기사를 대상으로 하는 형태소 분석

[함께 해봐요 7-2] konlpy 설치 (1)

[함께 해봐요 7-3] Okt를 통한 형태소 분석

[함께 해봐요 7-4] 정규표현식을 사용한 URL 제거

[함께 해봐요 7-5] 명사인 단어 추출

[함께 해봐요 7-6] konlpy 설치 (2)

[함께 해봐요 7-7] 모든 기사에 대한 형태소 분석 작업 진행

[함께 해봐요 7-8] docterm에 저장한 단어 확인

[함께 해봐요 7-9] 첫 번째 기사의 단어 추출

[함께 해봐요 7-10] label에 저장된 기사 인덱스 확인

[함께 해봐요 7-11] 단어 문서 행렬 작성

[함께 해봐요 7-12] 작성한 단어 문서 행렬의 크기 확인

[함께 해봐요 7-13] 고빈도어와 저빈도어 삭제

[함께 해봐요 7-14] TF-IDF치를 계산한 단어 문서 행렬 작성

[함께 해봐요 7-15] 단어 문서 행렬의 크기 확인

[함께 해봐요 7-16] konlpy 설치 (3)

[함께 해봐요 7-17] 전체 기사에 대한 처리 실행

[함께 해봐요 7-18] 작성한 데이터 세트 크기와 값 확인

[함께 해봐요 7-19] 내림순으로 단어 정렬

[함께 해봐요 7-20] 일련번호를 부여한 사전 작성

[함께 해봐요 7-21] 리스트 길이 정리

[함께 해봐요 7-22] 부족한 패키지 설치

[함께 해봐요 7-23] 부족한 패키지 실행 (1)

[함께 해봐요 7-24] 부족한 패키지 실행 (2)

[함께 해봐요 7-25] 단어 문서 행렬과 label열 결합

[함께 해봐요 7-26] label 0인 문서의 유사도 계산

[함께 해봐요 7-27] 행렬 형식에서 리스트 형식으로 변환

[함께 해봐요 7-28] 동시 출현어 에지 리스트 작성

[함께 해봐요 7-29] 문장에서 2-gram 모델 작성

[함께 해봐요 7-30] 기사 데이터에서 2-gram 모델 작성

[함께 해봐요 7-31] 단어에 ID 부여 (1)

[함께 해봐요 7-32] 단어에 ID 부여 (2)

[함께 해봐요 7-33] 띄어쓰기한 단어에 ID 부여

[함께 해봐요 7-34] 2-gram 모델 작성

[함께 해봐요 7-35] 리스트 bigram에 저장

 

부록

1 주피터랩 로컬 환경 구축

2 이미지 인식 모델 작성

3 기사 분류 모델 작성

4 기사 주제 추출

5 다양한 시각화 툴

[함께 해봐요 A1-1] 주피터랩의 홈 디렉토리 변경

[함께 해봐요 A1-2] 변경 전 소스코드

[함께 해봐요 A1-3] 변경 후 소스코드

[함께 해봐요 A2-1] 학습에 사용하는 네트워크 작성

[함께 해봐요 A2-2] 학습 조건 설정 및 학습 실행

[함께 해봐요 A2-3] 오차 이력 그래프 작성 (1)

[함께 해봐요 A2-4] 정확도 이력 그래프 작성 (1)

[함께 해봐요 A2-5] 학습에 사용하는 네트워크 작성

[함께 해봐요 A2-6] 학습 조건 설정 및 학습 실행

[함께 해봐요 A2-7] 오차 이력 그래프 작성 (2)

[함께 해봐요 A2-8] 정확도 이력 그래프 작성 (2)

[함께 해봐요 A3-1] 명사인 단어만 추출한 데이터 세트 작성

[함께 해봐요 A3-2] [함께 해봐요 7-21] 수정 및 추가 (1)

[함께 해봐요 A3-3] [함께 해봐요 7-21] 수정 및 추가 (2)

[함께 해봐요 A3-4] 학습 조건 설정 및 실행

[함께 해봐요 A3-5] 오차 이력 그래프 작성 (3)

[함께 해봐요 A3-6] 정확도 이력 그래프 작성 (3)

[함께 해봐요 A4-1] 코드 추가 및 실행

[함께 해봐요 A4-2] 네트워크 그래프 작성

[함께 해봐요 A4-3] 작성한 네트워크에 대한 클러스트 계수와 매개 중심성 계산

[함께 해봐요 A4-4] 커뮤니티 추출

[함께 해봐요 A5-1] 워드 클라우드 설치

[함께 해봐요 A5-2] [함께 해봐요 A3-1] 수정 및 실행

[함께 해봐요 A5-3] 5회 이상 출현 단어 추출

 

3_연습문제 해답 289

5_연습문제 해답 298

6_연습문제 해답 306

7_연습문제 해답 313

 

찾아보기

 

_주요 내용

 

“Garbage In, Garbage Out”

전통적인 프로그램처럼 인공지능 또한 데이터가 입력되어 데이터가 출력되는 형태입니다. 프로그램도 데이터를 자료형의 형태로 제대로 입력해주어야 원하는 출력을 얻을 수 있듯이, 인공지능 또한 데이터를 전처리라는 과정을 통해 올바른 형태로 입력해주어야 학습된 결과가 제대로 출력되는 것은 모두 같은 원리입니다. 즉, 올바르지 못한 데이터를 제공한다면, 원하는 결과물을 절대 얻을 수 없습니다. 그만큼 데이터를 어떻게 다루느냐가 매우 중요합니다. 

이 책에서는 다양한 정형 데이터와 비정형 데이터를 대상으로 기본적인 전처리의 노하우를 배우고, 파이썬을 사용해 구현하는 방법을 소개했습니다. 전처리는 과제마다 별도로 설계, 구현해 나가기 때문에, 그 전부를 소개하기는 어렵습니다. 그러나, 이 책에서 설명한 내용은 실무에서도 문제 없이 사용할 수 있습니다.

 

각 장의 연습문제는 반드시 풀어보세요

전처리의 실력을 높이기 위해서는 반복해서 문제를 풀어보는 것이 가장 빠른 지름길입니다. 만약, 잘 안 풀리는 문제가 있어도 끈기 있게 도전해서 풀 수 있도록 학습하시길 바랍니다. 고민하고 고민하며 기어코 해결해내는 것만이 실력을 높이는 왕도입니다.

 

데이터 분석을 주업무로 해나가실 분이라면

머신러닝(딥러닝을 포함해서)의 알고리즘을 사용해 분석 모델을 작성하는 작업은, 현재도 급속하게 자동화가 진행되고 있습니다. 그러나, 모델을 작성하기 위해 투입하는 특징량은, 아직 당분간은 사람의 손을 빌리지 않으면 전처리하기 어려운 상황이 계속될 것 같습니다. 그렇기 때문에, 앞으로 데이터 분석을 주업무로 해 나가실 분들은, 전처리의 실력을 계속 갈고 닦아서 자신의 가치를 높이기를 기원합니다. 그리고 이 책이 거기에 조금이라도 도움이 된다면 행복하겠습니다.

 

 

[주요 특징]

바로바로 실습 가능한 실습문제 160개 수록

스스로 풀어보는 응용문제 35개와 해답 제공

 

저자에게 질문하며 함께 공부하는 백견불여일타 카페 운영 (café.naver.com/codefirst)

 

_저자 소개 

지은이 아다치 하루카

BULB 주식회사 소속의 데이터 과학자이다. SE나 데이터 IT 벤더 데이터 분석 등을 다양하게 경험하였다. 수많은 데이터 분석 프로젝트 외에도 실무자 교육도 틈틈이 병행하고 있으며, 개인 활동으로 기사와 책 쓰기 세미나 강의도 즐긴다. 저서로는 『텐서플로로 시작하는 딥러닝 입문』, 『초보자를 위한 신경망 딥러닝 입문』이 있다. 감수성이 예민한 시기에 고등 전문 학교에서 5 년을 보내버린 탓인지 주변에서 괴짜라는 평가를 받고 있다.

 

옮긴이 김태현

소프트웨어 엔지니어. 번역가.

애플리케이션 프로그래밍으로 시작했지만 일본으로 이주하면서 임베디드 소프트웨어 분야로 전업했다. 현재는 소프트웨어 개발뿐만 아니라 책 번역에도 힘을 쓰고 있다. 로드북에서 『Xcode4로 시작하는 아이폰 프로그래밍』 및 『데이터 시각화 입문』을 번역하였다.

 

감수 조휘용

https://github.com/airplane2230

대학원 진학 전부터 신경망에 관심을 가지고 이를 공부하기 시작했다. 신경망 기술이 많은 사회적 문제를 해결할 수 있다는 매력에 끌려 지금까지 공부하고 있으며, 대학원 과정에서 신경망 기술을 활용하여 수작업을 자동화하는 문제를 다루면서 그 믿음이 굳어졌다. 정보 격차에 관심이 많으며, 이를 해결하기 위해 개인 블로그 운영, 오픈소스 참여 등의 활동을 하고 있다. 로드북에서 『백견불여일타 딥러닝 입문 with 텐서플로우 2.x』를 집필했다.

 

_상세 이미지

 

                                                                                                _

posted by 로드북
:
오탈자 정보 2020. 9. 7. 18:05

2020년 9월 현재 1쇄 기준 예제소스 오타 올립니다. 여러 곳에 소스 오타가 있었습니다. 독자님들께 불편을 드려 죄송합니다.

전처리입문_예제_오탈자리스트_20210215.xlsx
0.02MB

posted by 로드북
: