'딥러닝 공부/설치 및 환경설정'에 해당되는 글 10건

안녕하세요! 은공지능 공작소의 파이찬입니다.
오늘은 텐서플로 2.0 GPU를 설치해보겠습니다.
Anaconda 설치부터 주피터노트북 설정까지 논스톱으로 진행합니다.
프로그램 호환성 때문에 정말 많은 시행착오가 있었습니다 ㅜㅜ
제가 고생한 만큼 여러분의 고통이 덜어지길 바라며... 시작해보겠습니다.

1. 설치 개요 및 호환성 요약

(19.07.27 업데이트됨)

NVIDIA DRIVER (최신버전으로)
AnacondaAnaconda3-2019.03-Windows-x86_64
vs_community_2017_15.9.14
cuda_10.0.130_411.31_win10
cudnn-10.0-windows10-x64-v7.6.0.64

여러 시행착오 결과... 위의 조합이 가장 최신버전이면서
설치가 잘 되는 것을 확인했습니다.
위에서 아래로 순서대로 진행하시면 됩니다.

아 한 가지 주의할 점은 주피터 노트북에서 ipykernel 설치까지 하신 후

텐서플로 2.0 gpu 설치를 해주셔야 한다는 것입니다.

즉, 먼저 텐서플로 2.0을 설치 후 ipykernel을 추가할 시,

다시 텐서플로를 아나콘다 커널에서 해줘야 하는 번거로움이 있었습니다.

그러니 여러분들은 꼭 ipykernel을 설치 후 텐서플로를 설치해주셔야 겠습니다.

 

그럼 아나콘다 설치부터 차례대로 진행해보겠습니다.
+
(19.07.27 업데이트 내용)
만약 최신버전의 NVIDIA 드라이버가 없으신 분들은 아래 포스팅을 참조하셔서
NVIDIA 드라이버를 최신버전으로 업그레이드 해주시길 바랍니다.
window10 최소 설치 시, 자동으로 업데이트가 되지 않기 때문에
꼭 수동으로 업그레이드 해주셔야 합니다.
만약 작업표시줄에 뜨는 NVIDIA 아이콘 우클릭 -> 제어판을 실행했을 때,
제어판이 열리지 않는 분들은 최신 버전이 아닌 것입니다.

https://chan-lab.tistory.com/1

2-1. 아나콘다 설치

https://www.anaconda.com/distribution/#download-section

위의 페이지로 들어가셔서 자신의 OS에 맞는 아나콘다를 다운로드 하시면 됩니다.
저는 19년 07월 기준으로 2019.03 버전을 다운받았습니다.

자신에 맞는 OS를 선택하여 다운로드 하시길 바랍니다.
참고로 현재 포스팅은 19년 07월 22일이며, 2019.03 anaconda가 최신입니다.

2가지 체크박스에 모두 체크를 해주고 진행합니다.
설치가 완료되었다면 바로 이어서 conda update를 실행해보겠습니다.

2-2. conda update 수행

conda update conda
conda update anaconda
conda update python
conda update --all

(base)라고 뜬 상태에서, 위의 명령어들을 차례대로 입력해 줍니다.
저는 최신전의 콘다를 깔아서 그런지 대부분의 업데이트에서
이미 최신버전이라는 메시지가 떴습니다.

하지만 나중에 이 포스팅을 보시는 분들은 꼭 위의 4가지 명령어를 치셔서
업데이트를 제대로 해주시길 바랍니다.
일종의 보험처리라고 생각하시면 마음이 편합니다.

2-3. conda 가상환경 만들기

conda info --envs

위의 명령어를 치시면, 자신이 가지고 있는 가상환경의 리스트가 쭉 나옵니다.
저희는 방금 anaconda 설치를 끝냈기 때문에 가상환경이 하나만 있습니다.
base 라고 되어 있는 것이 가상환경 이름입니다.
이제 새로운 가상환경을 하나 추가해 보겠습니다.

conda create --name tf2.0-gpu

위의 명령어를 입력하시고 y 버튼을 눌러 진행을 하면
새로운 가상환경이 금방 만들어 집니다.

가상환경이 제대로 만들어졌는지 확인하고 싶으시다면?
 conda info --envs 를 입력하시면 됩니다!

2-4. Visual Studio 2017 설치하기

https://docs.microsoft.com/ko-kr/visualstudio/releasenotes/vs2017-relnotes

위의 사이트에 들어가서 비쥬얼 스튜디오 최신버전을 다운받습니다.
19년 7월 9일 기준으로 15.9.14 버전이 출시되었는데,
이것을 다운받으시면 됩니다.

※
반드시 2019버전 말고 2017 버전을 받으시길 바랍니다!
그렇지 않으면 텐서플로 2.0 호환성 때문에
설치가 제대로 되질 않습니다.

워크로드는 따로 구성하지 않으셔도 상관 없습니다.

이렇게 로그인 화면까지 떴다면 정상적으로 설치가 완료가 된 것입니다.
로그인은 굳이 하실 필요 없습니다.

2-5. Cuda Toolkit 10.0 설치하기

https://developer.nvidia.com/cuda-toolkit-archive

위의 사이트에 들어가셔서 Cuda Toolkit 10.0 버전을 다운받으시길 바랍니다.
여기서도 호환성을 위하여 Cuda 10.1 버전 말고
반드시 10.0 버전을 받아 주셔야 합니다.

위와 같이 선택된 상황에서 Base installer를 다운받아주시면 됩니다.
만약에 새로운 패치가 있다면 패치버전까지 모두 받아서 설치해주세요.

※ 위와 같은 화면이 뜨시는 분들만 진행하세요.

위의 화면은 비쥬얼 스튜디오 프로세스가 진행되고 있어서 나타나는 화면입니다.
설치를 제대로 해주기 위해서는 해당 프로세스를 종료해주시면 됩니다.

위의 화면을 보시면 프로세스 아이디가 나와있습니다. (ID: 9420)
해당 아이디를 가진 프로세스를 작업관리자를 통해 종료해주시면 됩니다.
작업관리자는 Ctrl + Alt + Del 로 실행합니다. 

위의 그림처럼 진행하면, 비쥬얼스튜디오 프로세스를 찾아 종료할 수 있습니다.
저의 경우 PID가 9420이 할당이 되어있었는데요, PID는 매번 달라지므로
반드시 자신의 PID를 확인 후 작업을 끝내주시기를 바랍니다.

위와 같은 화면이 떴다면 설치가 정상적으로 완료가 된 것입니다.
Sample과 Documentation은 체크 안해주셔도 됩니다.

2-6. CuDNN 파일 옮겨주기

https://developer.nvidia.com/rdp/cudnn-archive

위의 사이트에 접속하셔서, Download cuDNN이라고 된 부분을 눌러주세요.
해당 작업은 맴버쉽이 필요합니다. 하지만 유료는 아니니 안심하세요 ^^

가입은 생각보다 어렵지 않으니, 각자 잘 진행하실 수 있습니다.
가입이 완료되면 다시 해당 페이지로 돌아오셔서
Download cuDNN v7.6.0 (May 20, 2019), for CUDA 10.0 를
클릭해주시면 됩니다.

저희는 지금 윈도우 10 기준으로 설치를 하고 있으므로,
window10 버전을 선택해서 다운받아주시면 됩니다.

이제 2가지 폴더를 열어주셔야 합니다.

① C드라이브 → Program Files →NVIDIA GPU Computing Toolkit → CUDA → v10.0
② 방금전에 다운받은 파일 압출풀고 실행 → cuda

이제 다운받은 파일을 복사 후 ① 경로에 붙여넣기 해줍니다.
총 3가지 파일을 복붙해주시면 됩니다.

★
제일먼저 ② 경로의 bin 안의 cudnn64_7.dll 이라는 파일을 복사합니다.
이를 ① 경로의 bin 안에 붙여넣기 해주면 됩니다.

그 다음으로 ② 경로의 include 폴더 안의 cudnn.h 이라는 파일을 복사합니다.
이를 ① 경로의 include 안에 붙여넣기 합니다.

마지막으로 ② 경로의 lib/x64 폴더 안의 cudnn.lib 이라는 파일을 복사하고,
이를 ① 경로의 lib/x64 안에 붙여넣기 해주세요.
★

좀 쉽게 정리하면, 이름이 같은 폴더에 있는 것을
그대로 복붙한다고 생각하시면 편합니다.
이렇게 cuDNN 파일 환경설정까지 완료했습니다.

2-7. jupyter ipykernel 설치하기

conda activate tf2.0-gpu
conda intstall ipykernel jupyter

아나콘다 프롬프트를 실행하고, 아까 만들어두었던 가상환경을 활성화합니다.
(base)라고 표시되었던 부분이 (tf2.0-gpu)라고 뜬다면,
정상적으로 활성화가 된 것입니다.

만약 자신이 만든 가상환경의 이름을 잊어버리셨다면,
conda info --envs 명령어로 확인해보세요.

python -m ipykernel install --user --name tf2.0-gpu --display-name "tf-gpu"

설치가 정상적으로 되었다면,
이제 주피터 노트북에 나타날 커널 이름을 새롭게 지정해 줍니다.

--display-name 뒤에 나오는 큰따옴표 안은
여러분이 임의로 이름을 지으셔도 상관 없습니다.

2-8. Tensorflow 2.0 GPU 설치하기

pip install tensorflow-gpu==2.0.0-beta1

(tf2.0-gpu) 가상환경이 활성화된 상태에서, 위의 명령어를 입력합니다.
커널에서 python을 실행시켜 텐서플로 설치를 확인해도 되지만,
바로 주피터 노트북에서 확인을 해보도록 하겠습니다.

2-9. Jupyter notebook 실행 후 테스트

위와 같이 New 버튼을 눌러보시면, tf-gpu라고 셀렉박스가 뜹니다.
이는 아까 저희가 ipykernel 환경설정에서 새로 만들어준 것입니다.
해당 버튼을 클릭하여 다음으로 진행합니다.

import tensorflow as tf
print(tf.__version__)
tf.test.is_gpu_available()

output:
2.0.0-beta1
True

주피터 노트북에서, 위와 같이 2.0 버전을 사용중이라는 메시지와
GPU 사용이 가능하다(True)는 메시지가 떴다면 설치가 성공적으로 된 것입니다.

축하드립니다!

3. 향후 주피터 노트북 실행법

(base) conda activate tf2.0-gpu
(tf2.0-gpu) jupyter notebook

아나콘다 프롬프트를 이용하여, 위와 같이 주피터 노트북을 실행해도 되지만
아나콘다 프롬프트를 밥먹듯이 들락날락 거리는 사람이 아니라면
상당히 번거로운 일입니다. 그러므로 아래의 방법을 추천드립니다.

위의 그림처럼, 새로 추가한 앱에 주피터 노트북 커널이 자동으로 뜨게 됩니다.
이 아이콘을 바탕화면에 두시거나, 단축메뉴 모음에 둔다면
조금 더 편리하게 실행이 가능합니다.

막힘없이 진행이 되셨는지 모르겠습니다.
도움이 되셨다면 다행입니다.

긴 포스팅 읽어주셔서 감사합니다.

안녕하세요! 은공지능 공작소의 파이찬입니다. 지금 포스팅을 쓰는 날짜

19년 7월 17일 기준 최신버전 텐서플로 2.0 Beta 버전이 출시가 된 상태입니다.

이에 맞춰 은공지능 공작소에서는 초보자도 따라하기 쉬운

콘다 가상환경 설정법을 준비해 보았습니다.

그리고 이번 포스팅 부터는 핸드폰이 아닌 데스크탑 모니터 사용자에 최적화하여

포스팅을 작성하려고 합니다. 아무래도 은공지능 공작소를 방문하시는 분들은

데스크탑 및 노트북으로 코딩을 하시는 분들이라고 생각이 들었습니다.

그래서 이번 포스팅 부터는 모바일 보다는 데스크탑에 화면 비율에 맞추어서

포스팅을 작성하겠습니다.

관련 동영상을 유튜브에 올려두었습니다.

참고하시기 바랍니다.

1. 가상환경 업데이트

먼저 여러가지 가상환경을 업데이트 해주겠습니다.

이러한 것들을 사전에 해주는 이유는 설치 중간에 일어날 수 있는 일들을

사전에 방지하기 위함입니다. 일종의 보험이라고 할 수 있는 작업입니다.

아래의 명령어들을 차례대로 입력해주시면 되겠습니다.

(설치는 시간이 다소 걸릴 수 있습니다. 진행이 안된다고 종료하시면 안됩니다 ^^;)

conda update conda
conda update anaconda
conda update python
conda update --all

저의 경우, python 업데이트 시 경고창이 하나가 떴습니다.

(유튜브 동영상 기준 2:25)

하지만 알아서 디버그가 된 모양인지 제대로 오류없이 업데이트가 잘 되었습니다.

만약 문제가 있으신 분들은 댓글이나 쪽지 부탁드립니다.

2. conda 가상환경 추가하기

conda info --envs

output:

# conda environments:
#
base                  *  C:\Users\white\Anaconda3
tf-gpu                   C:\Users\white\Anaconda3\envs\tf-gpu

위의 명령어를 입력해 현재 가지고 있는 가상환경 리스트를 확인합니다.

저 같은 경우 base와 tf-gpu 2가지 가상환경이 존재하는 것을 확인할 수 있군요.

하지만 처음 가상환경을 설정하시는 분들은 tf-gpu가 없는것이 당연합니다.

tf-gpu는 제가 만든 것이거든요.

이제 텐서플로 2.0 beta 버전을 위한 가상환경을 하나 만들어 보겠습니다.

가상환경의 이름은 tf-2.0-beta로 정하겠습니다.

그리고 바로 이어서 다시 위의 명령어를 날려보겠습니다.

conda create --name tf-2.0-beta
conda info --envs

output:

# conda environments:
#
base                  *  C:\Users\white\Anaconda3
tf-2.0-beta              C:\Users\white\Anaconda3\envs\tf-2.0-beta
tf-gpu                   C:\Users\white\Anaconda3\envs\tf-gpu

이제 tf-2.0-beta라는 가상환경이 새롭게 추가된 것을 확인할 수 있습니다.

이제 이 가상환경을 활성해 주어야 합니다.

현재 가상환경은 base로 된 것을 알 수 있는데, 코드 실행창에 (base)라고

뜬 부분이 바로 현재 실행하고 있는 가상환경입니다.

가상환경 활성화 코드는 아래와 같습니다.

conda activate tf-2.0-beta

(base)라고 되어있는 부분이 잘 바뀐 것을 확인하셨다면, 

성공적으로 가상환경을 활성화 하신 것입니다.

이제 활성화한 tf-2.0-beta라는 가상환경에서

텐서플로 2.0 버전을 설치해 보겠습니다.

pip install tensorflow==2.0.0-beta1

위의 명령어를 입력하여 텐서플로 2.0 베타 버전을 설치해주시면 됩니다.

설치가 제대로 되었다면 가상환경 내 파이썬 프로그램을 통해

설치 성공 여부를 확인하실 수 있습니다.

python

output:

Python 3.7.3 (default, Apr 24 2019, 15:29:51) [MSC v.1915 64 bit (AMD64)] :: Anaconda, Inc. on win32
Type "help", "copyright", "credits" or "license" for more information.

단순히 명령어 창에 python이라고 입력하시면 파이썬이 실행이 됩니다.

파이썬 실행이 되었다면 '>>>'라는 부분이 입력줄에 활성화가 됩니다.

이제 여기서 텐서플로를 import 해주고 버전정보를 확인해 봅시다.

import tensorflow as tf
print(tf.__version__)

output:
2.0.0-beta1

결과창을 보시면 2.0.0-beta1이라고 된 것을 확인하실 수 있을 겁니다.

이로서 conda 내에서 텐서플로를 설치하는 과정이 끝났습니다.

이제 이를 주피터 노트북에 추가해주면 모든 가상환경설정이 마무리 됩니다.

(tf.__version__ ← 이 명령어는 언더바(_)가 2개이니 조심하십시요)

exit()

exit()을 입력하여

원래의 콘다 가상환경으로 빠져나옵니다.

3. jupyter notebook에 커널 추가하기

주피터 노트북에 앞에서 만들었던 가상환경을 커널로 추가해 보겠습니다.

그러기 위해서는 우선 ipykernel이 먼저 설치가 되어야 합니다.

conda intstall ipykernel jupyter
python -m ipykernel install --user --name tf-2.0-beta --display-name "Tensorflow-2.0-beta"

위의 명령어를 차례대로 입력하여 ipykernel 라이브러리를 설치하고,

Tensorflow-2.0-beta라는 커널을 추가해 줍니다.

여기서 저는 Tensorflow-2.0-beta라는 다소 긴 이름을 사용했지만,

이 부분은 사용자가 마음대로 설정할 수 있는 부분입니다.

jupyter notebook

이제 위와같이 명령어를 입력하여

주피터 노트북을 실행해 보겠습니다.

위의 그림처럼 'New'라는 버튼을 클릭해 보시면

새롭게 만든 가상환경이 커널로 추가된 것을 확인하실 수 있습니다.

이제 해당 가상환경을 클릭하여 주피터 노트북에서

제대로 tensorflow가 작동하는지 확인해야 합니다.

위와 같이 입력하였을 때,

2.0.0-beta1이 제대로 출력이 된다면 이제 모든 준비가 끝난 것입니다.

4. 쉬운 실행법

성공적으로 tensorflow 2.0을 설치를 했지만, 매번 콘다 prompt에 들어가서

conda activate를 통해 가상환경을 실행하는 것은 상당히 번거롭습니다.

그래서 더 쉬운 접근법을 알려드리려고 합니다.

바탕화면에서 윈도우 키를 눌러보시면 저런 화면이 뜹니다.

저 같은 경우 위의 빨간색 박스처럼 바로 jupyter notebook을

실행할 수 있는 어플이 자동으로 추가가 되었습니다.

해당 어플을 클릭하면, 번거롭게 많은 명령어를 입력할 필요 없이 

바로 주피터 노트북이 실행이 됩니다.

다만 주의하셔야 할 점은, 주피터 노트북에서 커널을 고를 때

이번에 만들어준 'Tensorflow-2.0-beta' 커널을 선택하셔야 한다는 것입니다.

이로써 Tensorflow 2.0 beta 버전의

아나콘다 설정 포스팅을 마치겠습니다.

많은 도움이 되셨으면 좋겠습니다.

감사합니다.

딥러닝을 공부하다 보면, 외부파일들로부터 함수를 불러와야 하는 경우가 많습니다.

이러한 작업은 pycharm에서는 비교적 간단하게 할 수 있으나,

jupyter notebook을 사용하시는 분들은 조금 힘드실 수 있습니다.

이런 이유 때문에 해당 포스팅을 작성해보게 되었습니다.

1. [사전준비] 함수가 담겨있는 py 파일 만들기

def plus_multi(a, b, c):
    rst = a + b
    rst2 = rst * c
    return(rst2)

그런 후에 이를 저장하고, 확장자를 py로 바꿔주면 간단한 py 파일이 하나 생성이 됩니다.

2. ipynb 파일이 있는 곳으로 py 파일을 옮겨줍니다.

현재 디렉토리 위치는 Desktop/Fundamental-of-deep-learning/test_01 입니다.

이 위치에 아까 만든 py 파일을 옮겨두도록 하겠습니다.

이제 다시 test_0101.ipynb 파일로 돌아옵니다.

아래와 같이 코드를 입력해 봅시다.

from math_function import plus_multi

plus_multi(1, 2, 3) # result: 9

3. 하위 폴더에 있는 파일 접근법

from function_01.math_function import plus_multi

plus_multi(1, 2, 3) # result: 9

from function_01.math_function import plus_multi as pm

pm(1, 2, 3) # result: 9

이해가 안되시는 분들은 유튜브 동영상을 참고해주시면 될 것 같습니다.

오늘 포스팅은 여기까지 하겠습니다. 감사합니다.

1. NVIDIA를 최신버전으로 업그레이드 합니다.

처음 환경을 구축하시는 분들은 NVIDIA 제어판이 안 열립니다.

드라이브를 너무 오래 전에 설치하신 분들도 새로 다운받아서 설치하셔야 할 겁니다.

아래 링크로 들어가셔서 필요한 드라이버를 찾아 수동 설치하시면 됩니다.

https://www.nvidia.com/Download/index.aspx

자신의 GPU가 어떤 것인지 모르시는 분들은 cmd를 키시고, dxdiag라고 쳐보십시요.

디스플레이2 탭에 가면 자신의 GPU 정보를 확인할 수 있습니다.

저는 게이밍 노트북을 사용중이고, GTX 1070을 사용 중입니다.

저는 위와 같이 맞춰주니 정상적으로 설치가 되었습니다.

애먹었던 부분은 Window Driver Type인데, Standard로 하니까 설치가 안 되더라구요.

DCH로 바꿔주니까 정상적으로 설치 되었습니다.

(이 부분은 케바케이니 참고하시면 될 듯 합니다.)

다운로드 타입은 GRD로 설정해주시면 됩니다.

파일을 받으셨다면 끝까지 설치를 다 해주시면 됩니다.

NVIDIA 제어판이 정상적으로 실행된다면

성공적으로 NVIDIA 드라이버를 업그레이드 하신 것입니다.

2. 아나콘다 설치하기

아래 사이트에 들어가셔서 최신 버전의 아나콘다를 다운받으시면 됩니다.

https://www.anaconda.com/distribution/

설치는 쭉쭉 진행해주시되,

Add anaconda to my PATH variable에 체크만 해주시면 됩니다.

3. Conda 환경 업그레이드 하기

Anaconda Prompt를 실행시킨 후, 아래 명령어들을 차례대로 입력합니다.

conda update conda

conda update anaconda

conda update python

conda update --all

4. 새로운 conda 개발환경 만들기

아래와 같은 방법으로 새로운 개발환경을 만들 수 있습니다.

이런 방법을 통해, 기존의 개발환경과는 독립된 개발환경을 만들 수 있는 것입니다.

(딥러닝을 하다보면 여러 라이브러리나 패키지가 충돌할 경우가 있는데, 이럴 때 유용하다고 합니다.)

conda create --name tf-gpu

아래와 같이 입력해보면 자신이 가지고 있는 개발환경 리스트를 볼 수 있습니다.

conda info --envs

저같은 경우는 2개가 뜹니다.

base는 원래 있던 것이고

tf-gpu는 새롭게 만든 개발환경입니다.

이제 base에서 tf-gpu로 개발환경을 바꾸어 보겠습니다.

conda activate tf-gpu

아나콘다 프롬프트에서 (base)로 시작하는 부분이

(tf-gpu)로 바뀐 것을 확인할 수 있습니다.

이제 이러한 상태에서 주피터 노트북을 켜보겠습니다.

저 상태에서 jupyter notebook이라고 타이핑하시면 됩니다.

정상적으로 작동이 잘 되는 모습입니다.

* 앞으로 주피터 노트북을 실행하실 때, 항상 위와 같이 tf-gpu 환경에서 실행하시는 것을 권장드립니다.

그렇지 않을 경우, 주피터 노트북이 켜지긴 하나 tensorflow import가 안 먹히는 경우가 있다고 합니다.

이상입니다.

본 포스팅은 아래의 게시글을 참조하여 작성하였습니다.

https://www.pugetsystems.com/labs/hpc/How-to-Install-TensorFlow-with-GPU-Support-on-Windows-10-Without-Installing-CUDA-UPDATED-1419/