주절주절

널리 알려진 fashion mnist data에 대한 DNN 구현 예제입니다. fashion mnist dataset : https://github.com/zalandoresearch/fashion-mnist - 총 70,000개 - 28x28 grayscale image - 10 classes tensorflow version : 2.6 import tensorflow as tf from tensorflow.keras import layers from sklearn.model_selection import train_test_split import numpy as np import matplotlib.pyplot as plt tf.__version__ # Load training and eval dat..

머신러닝 딥러닝/Keras 2022. 6. 15. 15:25

mnist를 이용한 pytorch 예제 프로그램을 돌려보려고 하는데, 아래와 같이 "File not found or corrupted" 에러를 내며 다운로드 하지 못하는 경우가 있다. (아래와 같은 코드를 이용해서 다운로드 할 수 있다.) from torchvision import datasets from torchvision.transforms import ToTensor train_data = datasets.MNIST( root = 'data', train = True, transform = ToTensor(), download = True, ) mnist 다운로드 받는 mirror 사이트의 오류로 보이며 아래처럼 간단한 소스 수정 후 (mirror 사이트 우선 순위 변경), jupyter note..

머신러닝 딥러닝 2022. 3. 21. 13:48

창조는 모방의 어머니 였나? CNN 튜닝하다가 막히는 부분이 있어서 구글링 하다가 원하는 코드가 있어서 발췌해본다. 내가 하고자 했던 것은 CNN Convolution Layer를 몇개쯤 지정을 해야 하는지 였다. 그리고 Layer별 필터수를 각각의 Layer별로도 알아야 했다. 그래야 Before / After를 해볼 수 있지 않을까? 아래는 num_layer 만큼 layer를 추가해보고, 추가한 Layer의 필터를 num_filter Array에 지정해주고 있다. 첫번째 Layer는 고정으로 연결해주고, Max Pooling 해준다. 그리고 Convolution Layer만 연속적으로 추가해주고, 이후에 Max Pooling, Dropout 이후 Dense층에 연결하고 있다. 정리하면 아래와 같이 되..

머신러닝 딥러닝/Keras 2022. 1. 23. 21:38

tensorflow에서 GPU를 제대로 로딩하는지 확인 하는 몇가지 방법이다. 어느 것으로 하든 GPU가 제대로 보인다면 설치가 정상적으로 된 것이고 GPU를 이용해서 모델을 학습할 수 있다는 것을 의미한다. 1. list_local_devices() from tensorflow.python.client import device_lib print(device_lib.list_local_devices()) print("Num GPUs Available: ", len(tf.config.list_physical_devices('GPU'))) 2. list_physical_devices('GPU') tf.config.list_physical_devices('GPU') 3. is_build_with_cuda() ..

머신러닝 딥러닝/Tools 2022. 1. 18. 16:38

NVidia Graphic Driver, CUDA 그리고 cuDNN을 구글이 문제 없다고 한 버전을 제대로 설치했음에도 tensorflow에서 GPU를 인식하지 못하는 경우가 있다. 문제는 tensorflow를 conda 명령으로 설치하면서 발생했다. 빠른 해결 방법은 다음과 같다. 1. tensorflow를 conda 명령으로 삭제 한 후 conda uninstall tensorflow 2. pip 명령으로 tesorflow 설치 pip install tensorflow==2.6.0 3. GPU 로딩 확인 문제가 발생했을 때에는 아래의 명령으로 tensorflow를 설치 했었다. conda install -c conda-forge tensorflow==2.6.0 anacoda 환경에서는 conda명령을..

머신러닝 딥러닝/Tools 2022. 1. 18. 16:20

환경 오류로 "Another metric with the same name already exists." 라는 오류가 뜨는 경우는 keras가 두개 이상 설치되어 있는경우이다. 해결 방법은 keras를 uninstall 하고나서 재 설치 하면 된다. 1. keras를 uninstall 한다. pip uninstall keras 2. 특정 keras 버전을 설치한다. ==는 2.6.0만 설치하라는 구문임. pip install keras==2.6.0 생각해보니, 초기 설치 시 tensorflow를 conda 명령으로 설치했으나 GPU를 인식하지 못하는 문제로 conda uninsall 하고 다시pip로 keras를 설치 했는데, clean remove가 되지 않은 모양이다. 위 화면을 보면 2.7.0이 깔..

머신러닝 딥러닝/Tools 2022. 1. 18. 15:51

아나콘다 가상환경을 생성하고 삭제하는 등 관리하는 conda 명령에 대해 알아보자. 아나콘다의 경우 하나의 플랫폼에 각각의 독립된 환경을 구축한다는 것이 가장 큰 매력이다. 하나의 개발환경만 사용하는 경우를 제외하고, 다양한 개발환경을 사용하는 경우 환경 셋업 만으로 짜증 나는 경우가 있다. 또, 여러명이 개발시 가끔 빌드 에러나 환경문제가 왕왕 발생한다. "내 껀 문제가 없는데..." 라는 말을 하고 환경을 비교해보느라 또 시간을 소요하기도 한다. 만약 서버를 하나 가지고 있고 서버를 통해서만 빌드 하는 경우에는 아나콘다는 유용해보인다. 물론 서로 다른 각기 환경에서는 아나콘다 보다는, 개발 환경을 공유 할 수 있는 docker 등을 사용하는게 더 유용해 보인다. 어찌 되었든 이런 플랫폼은 계속 나오고..

머신러닝 딥러닝/Tools 2022. 1. 9. 14:18

Deep learning 모델을 돌릴 일이 있어서 개인 Notebook PC로 돌리다가 시간의 압박으로 AWS EC2 (g4dn.2xlarge) 환경에서 돌려봤는데, 학습 속도가 180초에서 18초로 1/10 가량 줄어드는 신세계를 경험했습니다. 다만 notebook PC는 GPU가 내장이라 CPU로만 돌렸고, AWS EC2에서는 별다른 설정을 하지 않았기에 GPU로 학습된 결과 입니다. AWS g4dn에 대한 정보는 다음과 같습니다. https://aws.amazon.com/ko/ec2/instance-types/g4/ 2xlarge는 GPU로 NVIDIA Tesla T4를 1개 사용 합니다. 그 외 자세한 사양은 아래와 같습니다. 참, AWS EC2 g4dn의 경우 무료가 아닙니다. 아래처럼 시간당 ..

머신러닝 딥러닝/Tools 2021. 12. 31. 10:57