딥러닝 기초: 미분, 편미분, 경사하강법, 최적화 알고리즘 정리

📘 딥러닝을 위한 미분과 최적화 이론 정리딥러닝의 핵심은 모델이 손실(loss)을 줄이도록 학습하는 것입니다.이 과정에서 중요한 역할을 하는 것이 미분과 최적화 알고리즘입니다.이 글에서는 딥러닝의 기초 수학이라 할 수 있는 미분 개념부터, 경사 하강법, 그리고 대표적인 최적화 알고리즘들까지 체계적으로 정리해보겠습니다.🔹 1. 미분이란?미분은 함수의 기울기, 즉 변화율을 나타내는 개념입니다.함수 \( f(x) \) 에서 \( x \) 가 아주 조금 변할 때 \( f(x) \) 는 얼마나 변하는지를 보여줍니다.🔸 기본 미분 공식\(f(x) = c \Rightarrow f'(x) = 0\)\(f(x) = ax^n \Rightarrow f'(x) = anx^{n-1}\)\(f(x) = e^x \Righta..

2025.04.07