Data Study

10장 앙케트 분석을 위한 자연어 처리 테크닉 1091. 데이터 불러서 파악해 보자 import pandas as pdsurvey = pd.read_csv("survey.csv")print(len(survey))survey.head() 이처럼 코드를 실행하면 datetime, comment(의견), satisfaction(만족도)를 확인할 수 있다. 결측치 확인survey.isna().sum()아래의 결과가 결측치이다.그래서 설문조사의 경우는 결측치가 많은 경우가 있기에 반드시 결측치를 확인해야 한다.86개중 2가지가 결측치인 경우는 제거해준다. survey = survey.dropna()survey.isna().sum()제거가 완료된 것을 볼 수 있다. 92. 불필요한 문자를 제거하자.언어는 사람에 따..

11장 베이즈 통계11.1 베이즈 통계의 사고방식이전에 본 통계 방법은 빈도주의 통계(frequentist statistics)라 부르는 흐름으로 분류된다.이번 장에서는 베이즈 통계(Bayesian statistics)라 부르는 흐름. 2가지 통계의 차이확률로 다루는 방식이나 수리적 가정이다. 베이즈 통계의 중요성컴퓨터를 사용함으로써 복잡한 통계 모형도 추정할 수 있기에 중요도는 더욱 높아짐. 불확실성빈도주의 흐름 : 모집단에서 표본을 추출하는 경우이런 불확실성에 대해 고정된 파라미터 θ를 가진 확률분포(모집단)을 상정하여, 데이터 x가 나타날 확률 p(x| θ)로 표현함.활용 예시가설검정 : 극단적인 값이 나타날 확률최대가능도 방법 : 고정된 파라미터에서 확률을 최대화하는 방법무한한 반복 실행== 객관..

10장 인과와 상관10.1 인과와 상관인과 그래프 : 원인과 결과를 원과 화살표로 나타낸 것인과관계 네트워크 : 인과 그래프의 모음 인과관계의 가치목적을 이루기 위한 구조(메커니즘)에 관한 지식제공인과관계의 이해 == 세상의 구조를 이해인과관계의 규명은 실험 수행, 통계분석이 필요한 이유이다. 변수 사이의 관계인과관계 : 원인과 결과의 관계 - 원인->결과상관관계 : 데이터에서 보이는 관련성(association)을 말한다.상관에는 한쪽이 커지면 다른 쪽이 커지는(작아지는) 관계인  선형이 대표적이다.일반화된 버전 : 어떤 특정한 조합이 일어나기 쉬우면 : 독립이 아님을 뜻한다.상관과 인과의 차이관찰 연구를 통해 얻은 데이터를 통해 얻을 수 있는 관계성은 상관.상관을 인과로 보기 힘든 이유중첩요인(con..

9장 : 잠재고객을 파악하기 위한 이미지 인식 테크닉 10영상을 통한 고객의 모습을 통해 상품 선택과 이어주기 위해선 고성능, 고가의 이미지 인식 기술이 필요하지만, 이는 '어느 정도' 성능에도 만족할 수 있다면 무료 라이브러리를 이용해 충분히 실현할 수 있다.카메라에서 얻은 이미지를 이용해 인식과 얻는 과정을 배움으로써 이미지 인식을 현장에서 응용하는 흐름을 파악한다. 동영상 : mov folder, 이미지 : img folder에 저장돼 있다. 81. 이미지 데이터를 불러오기 import cv2img = cv2.imread("img/img01.jpg")height, width = img.shape[:2]print("이미지 가로: " + str(width))print("이미지 세로: " + str(he..