회귀 분석에서 많이 쓰이는 최소 제곱 오차에 대한 수학적 설명입니다. 회귀 분석은 분포된 데이터 값을 한줄로 표현할 수 있는 적절한 함수를 찾아내는 것인데 최소 제곱 오차를 쓰면 괜찮은 함수를 찾아낼 수 있습니다. 가장 직관적인 접근을 적어놓겠습니다. Linear case 어떤 곡선을 넣을 것인가에 따라 방향이 달라질 수 있는데 가장 쉬운 방법인 최적의 직선을 만들어 보겠습니다. 즉, 직선은 $ y= a+bx $ 로 표현되는데 적절한 a와 b를 잘 찾아내어 최적의 함수를 구해보는 것입니다. 최적의 함수를 찾아내기 위해 최소 제곱 방법을 사용합니다. 최적의 직선을 $ y = a+bx $ 라고 합시다. 데이터 $ (x_i,f_i), \ \ i = 0,...,n $ 에 대해서, 각 데이터와 함수간의 에러를 $..