ResNet의 Skip Connection 설명 ResNet(Residual Network)은 딥러닝에서 매우 성공적인 신경망 구조로, 특히 네트워크의 깊이가 깊어짐에 따라 발생하는 기울기 소멸(Gradient Vanishing) 문제를 해결하기 위해 설계되었습니다. 이 문제를 해결하는 핵심 개념이 Skip Connection(또는 Shortcut ... Read more 13 Dec 2024 - 3 minute read
“Xavier 초기화”는 신경망에서 가중치를 초기화하는 방법 중 하나로, 균등 분포나 정규 분포를 사용하여 가중치를 설정합니다. 이 방법은 신경망의 학습 속도를 향상시키고, 기울기 소실(vanishing gradient) 또는 기울기 폭주(exploding gradient) 문제를 완화하는 데 도움을 줍니다. Xavier 초기화의 수학적 정의 ... Read more 13 Dec 2024 - less than 1 minute read
역전파역전파 Backpropagation (역전파)는 인공 신경망(Artificial Neural Network, ANN)에서 가중치(weight)와 편향(bias)을 학습하기 위해 사용하는 핵심 알고리즘입니다. 신경망의 출력 오차를 각 층으로 거꾸로 전파하면서 가중치를 조정하는 방식으로, 경사 하강법(Gradient Descent)의 일부분으로 작동... Read more 13 Dec 2024 - 3 minute read
Softmax 함수는 기계 학습 및 딥러닝에서 자주 사용되는 확률 분포 함수입니다. 주로 분류 문제에서 각 클래스에 속할 확률을 예측할 때 사용됩니다. 📘 Softmax 함수의 정의 Softmax 함수는 입력 벡터 $( z = [z_1, z_2, \cdots, z_n] )$에 대해 각 요소 $( z_i )$를 확률 값으로 변환합니다. 이 확률 값... Read more 13 Dec 2024 - 1 minute read
Cross-Entropy 손실 함수는 분류 문제(특히 다중 클래스 분류)에서 자주 사용되는 손실 함수입니다. 예측된 확률 분포와 실제 정답(라벨) 분포 간의 차이를 측정합니다. 예측이 정답과 얼마나 일치하는지를 정량적으로 평가하는 지표로 사용됩니다. 📘 Cross-Entropy 손실 함수의 정의 Cross-Entropy 손실 함수는 두 확률 분포... Read more 13 Dec 2024 - 2 minute read