빅데이터 분석의 흐름빅데이터 분석은 방대한 양의 데이터를 처리하고 이를 기반으로 유용한 인사이트를 도출하는 과정을 의미합니다. 이러한 빅데이터 분석의 흐름은 데이터를 수집하고 처리한 뒤 분석하여 의사결정에 활용하는 일련의 단계로 나눌 수 있습니다. 이번 포스팅에서는 빅데이터 분석의 주요 단계와 각 과정에서의 핵심 요소들을 살펴보겠습니다.업무 이해먼저 업무목적에 대해 파악을 해야합니다. 데이터를 이용해 얻고자 하는 게 무엇인지 명확하게 결정할수록 분석 작업에서 효율적으로 일을 진척시킬 수 있습니다.핵심포인트 : 업무이해, 업무목적파악, 상황파악, 데이터마이닝 목표 설정, 프로젝트 계획수립데이터 수집데이터 수집은 다양한 소스에서 데이터를 모으는 과정입니다. 여기에는 웹 로그, 소셜 미디어, 센서 데이터, 트..
파이썬으로 선형회귀 모델 만들기 이전 포스팅에서 선형회귀에 대한 이론적인 내용을 했었는데 파이썬으로 구현할 때 본의아니게 많이 어렵게 코딩을 한 것 같습니다. 그래서 scikit-learn 과 statsmodel을 이용해 선형회귀를 구현하는 방법을 포스팅합니다. 이미 되어있는 걸 가져다 쓰면 되기 때문에 간단합니다. scikit-learn 을 이용한 방법 numpy와 scikit-learn을 이용한 방법입니다. 선형회귀 모델에 데이터를 훈련해서 회귀계수를 찾아냅니다. 먼저 데이터를 가져옵니다. 예제이므로 간단하게 만들었습니다. 실제 데이터를 가져온다면 입력데이터와 타킷데이터를 구분합니다. import numpy as np from sklearn.linear_model import LinearRegress..