본문 바로가기

Machine Learning

 (4)
왜 Batch size를 2의 거듭제곱으로 설정하는가? 모델을 학습시키다가 메모리 부족 현상을 해결하기 위해서 batch size를 낮게 조절하다가 의문이 들었다. batch size를 작게 하면, 메모리 문제가 해결되지만 일반적으로 'batch size가 증가할 수록 학습의 불확실성이 감소한다.' 즉 학습이 잘된다고 알려져 있다. 하지만 여러 실험들을 보면, batch size가 클수록 좋기만 한 것도 아니고, Learning rate와도 상관관계가 있어보인다. 그런걸 떠나서 지금까지는 그렇게 배워왔고 다른 사람들도 그렇게 하니까 나도 그렇게 설정해왔는데, 왜 batch size를 2의 거듭제곱 (32, 64, 128, 256 등)으로 설정했는가에 대한 의문이 들었다! 이는 GPU의 메모리가 2의 거듭제곱이기 때문이다. 따라서 batch size를 2의 거..
[WandB 오류] Error while calling W&B API: entity ()not found during upsertBucket (<Response [404]>) 2023.01.27 - [Machine Learning] - [Wandb] kaggle에서 Wandb 사용하기 [Wandb] kaggle에서 Wandb 사용하기 1. WandB 회원가입하기 https://wandb.ai/site Weights & Biases – Developer tools for ML WandB is a central dashboard to keep track of your hyperparameters, system metrics, and predictions so you can compare models live, and share your findings. wandb imyunhee.tistory.com 해당 글에서 kaggle에서 WandB 사용하는 방법을 작성하였다. 아래와 같은..
[WandB] kaggle에서 WandB 사용하기 1. WandB 회원가입하기 https://wandb.ai/site Weights & Biases – Developer tools for ML WandB is a central dashboard to keep track of your hyperparameters, system metrics, and predictions so you can compare models live, and share your findings. wandb.ai 2. API keys 복사 오른쪽상단 프로필 → Settings → Danger Zone 에 있는 API keys를 복사 3. Secrets 입력하기 kaggle notebook 상단 Add-ons → Secrets Label에 wandb 쓰고, Value에 복사한 API..
[Classification] Multi-class VS. Multi-label Multi-class Classification Binary classification은 클래스가 2개인 이진 분류를 하는 것이다. 예를 들어, 개와 고양이 분류 같은 것이다. 이와 다르게 Multi-class classification은 다중의 class를 가지고 있다. 예를 들면, '개', '고양이', '호랑이', '토끼', '사자', '거북이' class 중 한가지로 분류하는 것이다. Multi-label Classification 이번에 프로젝트를 하며 처음 접하게 된 Multi-label Classification! 이전의 분류 문제보다 더 까다롭다. Multi-label Classification은 두개 이상의 카테고리에 속하는 것이다. 예를 들면, 이미지에서 ['구름','고양이','강아지']..

티스토리툴바