📘 하이퍼볼릭 탄젠트 (Hyperbolic Tangent, tanh)란? 하이퍼볼릭 탄젠트(tanh)는 수학에서 하이퍼볼릭 함수 중 하나로, 신경망(딥러닝)에서 활성화 함수(activation function)로 자주 사용됩니다. tanh 함수는 입력 값을 -1에서 1 사이의 값으로 변환합니다. 이는 시그모이드(sigmoid) 함수와 유사하지만, ... Read more 16 Dec 2024 - 3 minute read
📘 벡터 임베딩(Vector Embedding)란? 벡터 임베딩(Vector Embedding)은 고차원 데이터를 고정된 크기의 실수 벡터로 변환하는 방법입니다. 벡터 임베딩의 목표는 복잡한 데이터(텍스트, 이미지, 사용자 행동 등)를 수학적 공간에 표현하는 것입니다. 이를 통해 컴퓨터가 더 쉽게 이해하고 연산할 수 있도록 합니다. 📌 벡터 임... Read more 16 Dec 2024 - 3 minute read
PyTorch의 nn.Module 데이터 저장하는 방법 PyTorch에서 nn.Module의 데이터를 저장하는 방법에는 모델의 가중치(weight)만 저장하거나, 모델 전체(구조 + 가중치)를 저장하는 방법이 있습니다. 여기서는 두 가지 방법을 자세히 설명하겠습니다. 🔍 1. 모델의 가중치만 저장 및 불러오기 이 방법은 모델의 파라미터(가중치... Read more 13 Dec 2024 - 3 minute read
ResNet의 Skip Connection 설명 ResNet(Residual Network)은 딥러닝에서 매우 성공적인 신경망 구조로, 특히 네트워크의 깊이가 깊어짐에 따라 발생하는 기울기 소멸(Gradient Vanishing) 문제를 해결하기 위해 설계되었습니다. 이 문제를 해결하는 핵심 개념이 Skip Connection(또는 Shortcut ... Read more 13 Dec 2024 - 3 minute read
“Xavier 초기화”는 신경망에서 가중치를 초기화하는 방법 중 하나로, 균등 분포나 정규 분포를 사용하여 가중치를 설정합니다. 이 방법은 신경망의 학습 속도를 향상시키고, 기울기 소실(vanishing gradient) 또는 기울기 폭주(exploding gradient) 문제를 완화하는 데 도움을 줍니다. Xavier 초기화의 수학적 정의 ... Read more 13 Dec 2024 - less than 1 minute read