PyTorch의 nn.Module 데이터 저장하는 방법 PyTorch에서 nn.Module의 데이터를 저장하는 방법에는 모델의 가중치(weight)만 저장하거나, 모델 전체(구조 + 가중치)를 저장하는 방법이 있습니다. 여기서는 두 가지 방법을 자세히 설명하겠습니다. 🔍 1. 모델의 가중치만 저장 및 불러오기 이 방법은 모델의 파라미터(가중치... Read more 13 Dec 2024 - 3 minute read
ResNet의 Skip Connection 설명 ResNet(Residual Network)은 딥러닝에서 매우 성공적인 신경망 구조로, 특히 네트워크의 깊이가 깊어짐에 따라 발생하는 기울기 소멸(Gradient Vanishing) 문제를 해결하기 위해 설계되었습니다. 이 문제를 해결하는 핵심 개념이 Skip Connection(또는 Shortcut ... Read more 13 Dec 2024 - 3 minute read
“Xavier 초기화”는 신경망에서 가중치를 초기화하는 방법 중 하나로, 균등 분포나 정규 분포를 사용하여 가중치를 설정합니다. 이 방법은 신경망의 학습 속도를 향상시키고, 기울기 소실(vanishing gradient) 또는 기울기 폭주(exploding gradient) 문제를 완화하는 데 도움을 줍니다. Xavier 초기화의 수학적 정의 ... Read more 13 Dec 2024 - less than 1 minute read
역전파역전파 Backpropagation (역전파)는 인공 신경망(Artificial Neural Network, ANN)에서 가중치(weight)와 편향(bias)을 학습하기 위해 사용하는 핵심 알고리즘입니다. 신경망의 출력 오차를 각 층으로 거꾸로 전파하면서 가중치를 조정하는 방식으로, 경사 하강법(Gradient Descent)의 일부분으로 작동... Read more 13 Dec 2024 - 3 minute read