주절주절

tensorflow에서 GPU를 제대로 로딩하는지 확인 하는 몇가지 방법이다. 어느 것으로 하든 GPU가 제대로 보인다면 설치가 정상적으로 된 것이고 GPU를 이용해서 모델을 학습할 수 있다는 것을 의미한다. 1. list_local_devices() from tensorflow.python.client import device_lib print(device_lib.list_local_devices()) print("Num GPUs Available: ", len(tf.config.list_physical_devices('GPU'))) 2. list_physical_devices('GPU') tf.config.list_physical_devices('GPU') 3. is_build_with_cuda() ..

머신러닝 딥러닝/Tools 2022. 1. 18. 16:38

NVidia Graphic Driver, CUDA 그리고 cuDNN을 구글이 문제 없다고 한 버전을 제대로 설치했음에도 tensorflow에서 GPU를 인식하지 못하는 경우가 있다. 문제는 tensorflow를 conda 명령으로 설치하면서 발생했다. 빠른 해결 방법은 다음과 같다. 1. tensorflow를 conda 명령으로 삭제 한 후 conda uninstall tensorflow 2. pip 명령으로 tesorflow 설치 pip install tensorflow==2.6.0 3. GPU 로딩 확인 문제가 발생했을 때에는 아래의 명령으로 tensorflow를 설치 했었다. conda install -c conda-forge tensorflow==2.6.0 anacoda 환경에서는 conda명령을..

머신러닝 딥러닝/Tools 2022. 1. 18. 16:20

환경 오류로 "Another metric with the same name already exists." 라는 오류가 뜨는 경우는 keras가 두개 이상 설치되어 있는경우이다. 해결 방법은 keras를 uninstall 하고나서 재 설치 하면 된다. 1. keras를 uninstall 한다. pip uninstall keras 2. 특정 keras 버전을 설치한다. ==는 2.6.0만 설치하라는 구문임. pip install keras==2.6.0 생각해보니, 초기 설치 시 tensorflow를 conda 명령으로 설치했으나 GPU를 인식하지 못하는 문제로 conda uninsall 하고 다시pip로 keras를 설치 했는데, clean remove가 되지 않은 모양이다. 위 화면을 보면 2.7.0이 깔..

머신러닝 딥러닝/Tools 2022. 1. 18. 15:51

아나콘다 가상환경을 생성하고 삭제하는 등 관리하는 conda 명령에 대해 알아보자. 아나콘다의 경우 하나의 플랫폼에 각각의 독립된 환경을 구축한다는 것이 가장 큰 매력이다. 하나의 개발환경만 사용하는 경우를 제외하고, 다양한 개발환경을 사용하는 경우 환경 셋업 만으로 짜증 나는 경우가 있다. 또, 여러명이 개발시 가끔 빌드 에러나 환경문제가 왕왕 발생한다. "내 껀 문제가 없는데..." 라는 말을 하고 환경을 비교해보느라 또 시간을 소요하기도 한다. 만약 서버를 하나 가지고 있고 서버를 통해서만 빌드 하는 경우에는 아나콘다는 유용해보인다. 물론 서로 다른 각기 환경에서는 아나콘다 보다는, 개발 환경을 공유 할 수 있는 docker 등을 사용하는게 더 유용해 보인다. 어찌 되었든 이런 플랫폼은 계속 나오고..

머신러닝 딥러닝/Tools 2022. 1. 9. 14:18

Deep learning 모델을 돌릴 일이 있어서 개인 Notebook PC로 돌리다가 시간의 압박으로 AWS EC2 (g4dn.2xlarge) 환경에서 돌려봤는데, 학습 속도가 180초에서 18초로 1/10 가량 줄어드는 신세계를 경험했습니다. 다만 notebook PC는 GPU가 내장이라 CPU로만 돌렸고, AWS EC2에서는 별다른 설정을 하지 않았기에 GPU로 학습된 결과 입니다. AWS g4dn에 대한 정보는 다음과 같습니다. https://aws.amazon.com/ko/ec2/instance-types/g4/ 2xlarge는 GPU로 NVIDIA Tesla T4를 1개 사용 합니다. 그 외 자세한 사양은 아래와 같습니다. 참, AWS EC2 g4dn의 경우 무료가 아닙니다. 아래처럼 시간당 ..

머신러닝 딥러닝/Tools 2021. 12. 31. 10:57

Anaconda를 설치하고 jupyter notebook에서 간단한 MNIST CNN 모델을 하나 돌려보려고 했는데, jupyter notebook에서 기본적으로 제공하는 폰트와 옆의 광활한 공간이 마음에 들지 않는다. 아래의 Before와 After 화면을 클릭해서 보면 잘 바꾸었단 생각이 든다. 앞으로 자주 대면해야 하는 입장에서 보다 친절한 화면으로 바꿀 필요가 생겼다. 나는 window에서 Anaconda를 설치해서 jupyter notebook을 사용하고 있고, AWS EC2 환경도 있었던지라 Window와 Linux(Ubuntu) 환경 모두에서 변경 했다. 방법은 어렵지 않으니 각각의 상황에 맞게 해보시면 좋을 것 같고, 바꾸니 일의 능률이 오르는 듯 하다. Window10에서 변경 하는 방법..

머신러닝 딥러닝/Tools 2021. 12. 24. 13:39

머신러닝을 하다가 접한 프로그램인데, 저 같은 경우 아나콘다와 파이참을 연결해서 사용했었습니다. 오늘은 우선 아나콘다만 설치하도록 하겠습니다. 아나콘다는 패키지 관리 및 배포를 단순화 하는 것을 목표로 하는 과학 컴퓨팅을 위한 파이션 및 R 프로그래밍 언어의 배포판 이라고 합니다. Jupyter notebook을 pip로 설치할 수 있지만 아나콘다를 설치하면 기본적으로 Jupyter notebook을 사용할 수 있습니다. 그 외 머신러닝을 위한 기본적인 패키지들도 한꺼번에 설치가 되는 것 같습니다. 아래 사이트가 공식홈페이지이고, 개인적으로 교육용으로 설치하려면 Individual Edition을 설치해야 합니다. https://www.anaconda.com/ https://www.anaconda.com..

머신러닝 딥러닝/Tools 2021. 8. 16. 10:42

파이썬 프로그램 개발프로그램 중에 하나인 Pycharm 설치를 해보도록 하겠습니다. Jupyter notebook의 부족한 자동완성 기능이 불만이신 분들은 사용하시면 좋을 듯 합니다. 1) Google 에서 pycharm community로 검색해서 나오는 페이지에서 Community용을 다운 받아서 설치한다. https://www.jetbrains.com/ko-kr/pycharm/download/#section=windows 2. 설치시 바탕화면에 바로가기를 설정하거나 윈도우 버튼을 눌러서 표시되는 Pycharm community Edition을 선택한다. 3. 실행해서 Projects를 선택하고 4. Location에서 MyTest 프로젝트로 만들고 5. 아래와 같은 화면이 나오고 MyTest를 선택..

머신러닝 딥러닝/Tools 2021. 8. 4. 10:19