読者です 読者をやめる 読者になる 読者になる

Deep Learning 向けの PC/GPU その1

AMDGPGPU に参戦したというニュースが流れてきました。

www.4gamer.net

内容を読むと、

Radeon Instinct 16/18 は 半精度浮動小数点数(FP16)に対応しているようです。まだ発表しただけですので、実際に手に入るのは先になるでしょうが、ディープラーニング競争がますます加速している感があります。

Mac は 基本 AMDGPU を使用しているようなので(すみませんよく知りません。)これまで GPGPU をするにはまずは Linux だったのかもしれませんが、Mac ユーザーもますます参戦というところでしょうか。よく分かりませんすみません。

 

少し前には、Google機械学習ライブラリ、TensorFlow が Windows に native 対応となりました。Windows 陣営(?)にも Deep Learning が普及していくところなのでしょうか。

tilfin.hatenablog.com

 

話は FP16 に戻りますが、Nvidia 陣営も、現行の Pascal アーキテクチャで FP16 を用いたディープラーニングに対応との話がありました。実際には、お値段百万円とかの TESLA p100 が FP16 に対応しているようですが、一般消費者(ゲーマー)向けの GeForce GTX 1000 系では対応していないようです。

studylog.hateblo.jp

 

さて、そうすると GPU をどうするか。

FP16 に対応しているなら、RAM 消費が半分、計算速度が 2倍(期待値)。

しかし対応していないなら、先代の Maxwell アーキテクチャGeForceでも良い気が。一方、現行モデルで性能向上と消費電力低減が進み、RAM の量も増えており、できれば 1000 系かなと思います。

 

PC は

 電源の強化された、ゲーミングデスクトップ

が良いのではと考えています。

GPU を 2枚刺しにする可能性があるので、できれば電源と冷却には余裕を持ちたいところです。

FP16 のような GPU の発展が予想されるので、GPU を買い換えられるデスクトップがベターでしょう。

 

GPU について、現行の GeForce GTX 1000 系は、1050, 1060, 1070, 1080, TITAN の 5機種があり、TITAN が最上位のようです。同一モデルでも複数社が販売、製造しており、RAM の量に違いがあるようで。

 

1070 と 1080 で RAM 8GB を積んでいるようです(それぞれ4.5万円、6.5万円~)。RAM がどの程度必要なのか分からないのですが、医用画像は無駄に(?)データが大きい。DICOM形式ですと、1回の検査で 1GB 超えることも稀ではありません。RAM 不足で走らないと困ります。余裕は持っておきたい。

Desktop PC では ノートPC と違い、 GPU 2枚刺しができます。GeForce GTX 1070/1080 では、2枚刺しで RAM 16GB まで増やせます。

 

16GB がどの程度のものなのか。計算に特化した GPU である、TESLA シリーズでも、RAM 16GB 以下のモデルがあります。前述の p100 では 16GB です。最大でも 24GB ですので、初心者は 16GB 見込んでおけば大丈夫だろうとの目論見です(24GBモデルは80万円~なり)。

 

GeForce GTX 1080 の上位機種である GeForce GTX TITAN は RAM 12GB を積んでいますが、1枚 15万円~です。おぉぉお高い…。

 

逆に下位機種の 1060 は RAM 6GB で 2.5万円~。2枚刺しで12GB 5万円。むしろ初心者はこっちという気もします。 

1050 は 4GB 1.5万円〜。

 

これらを買って、次期モデルまで待つという手もあります。AMDGPGPU に参戦してきますと、Nvidia もうかうかしていられないでしょう。GeForce GTX 1100(?)系が FP16 対応してくれたら間違いなく買いなのですが---。

今回検索した範囲では、次期モデルのニュースリリースなど見つけられませんでした。

 

将来的に  GPU の買い替えは仕方ないですが、高い商品なので出来れば避けたい訳で…

 

AFNI を Windows10 にインストールする。

AFNI を Windows 10 にインストールできました。以前は一部パッケージがインストールできませんでしたが、ようやく解消。

備忘録も兼ねて記載します。

pmonty.hatenablog.com

Bash on Ubuntu on Windows を使わず、Cygwin を使っていれば、とっくにインストールできていたのかもしれませんが・・・ Cygwin を使ったことがないため、ご存じの方がいたら教えてください。 

 

 

afni は強力な画像解析ソフトウェア。

ROI/VOI 書きや pixel-by-pixel の信号強度取得、複数画像の registration、複数画像の計算(add/subなど)、gaussianフィルター、その他、様々な機能を有しており、医用画像解析に極めて有用です。

 

なお、もともとは fMRI 解析ソフト。

 

インストール方法はこちら。

1.1.2. The essential system setup for: Ubuntu Linux — AFNI, SUMA and FATCAT: v16.3.09

Ubuntu14 ではコピペでインストール可能ですが、Bash on Ubuntu on Windows では、コピペするだけではエラーが出てしまいます(ちなみに、Ubuntu16 へのインストールを試したところ、一部エラーがでましたので、まだ version 14 を使う方が)。

 

注意点は

 ※Windows10にインストールされる bash は、Ubuntu 14 版

 ※tcsh がインストール出来ないので、zsh で代用する。

です。

 

まず、必要なソフトをインストールします。tcshがインストール出来ないので、代わりに zsh をインストールします。

 

sudo apt-get install -y zsh libxp6 xfonts-base python-qt4             
                        libmotif4 libmotif-dev motif-clients           
                        gsl-bin netpbm gnome-tweak-tool libjpeg62
sudo apt-get update

 

また、次のページを参考に、Xming をインストールします。

www.nemotos.net

上記のページでは、FSL のインストール手順が詳細に解説されています。FSL も使う可能性があるので、上記ページに従ってインストールしておくと良いです。

 

 

次に、bash をインストールします。tcsh を使えないので、代わりに zsh を使います。

zsh @update.afni.binaries -package linux_openmp_64 -do_extras

ここでリブートが必要ですが、rebootコマンドを受け付けてくれないので、exitで代用します。

exit
# bash からログアウトします。
exit
# コマンドプロンプトからログアウトします。

[Windowsキー]+x, c
# コマンドプロンプトを起動します。
bash
# Bash on Ubuntu on Windows を起動します。

次に R のインストールです。tcshzsh に変えます。

export R_LIBS=$HOME/R
mkdir $R_LIBS
echo 'export R_LIBS=$HOME/R' >> ~/.bashrc
curl -O https://afni.nimh.nih.gov/pub/dist/src/scripts_src/@add_rcran_ubuntu.tcsh
sudo zsh @add_rcran_ubuntu.tcsh
rPkgsInstall -pkgs ALL

しかし、インストール出来ませんでしたので、

sudo apt-get update
rPkgsInstall - pkgs ALL
試したところ、無事インストールできました(何が問題だったのか分かりません)。

 

AFNI、SUMA のプロファイルをインストールします。

cp $HOME/abin/AFNI.afnirc $HOME/.afnirc
suma -update_env

 

最後に、無事にインストールできているかシステムチェックをします。

afni_system_check.py -check_all

注意点ですが、このシステムチェックは python 2 系を使用しています(デフォルトでインストールされています)。もし bashpython 3系 をインストールしていますと、このスクリプトは走りません。

python 3 をインストールしていたら、どうすればいいでしょうか?

私は以前 python をアンインストールしたところ、Ubuntu を動かせなくなったことがあります。アンインストールはすべきでないでしょう。

もし既に python 3 をインストールしていたら、自分で python 3 スクリプトを書いてシステムチェックを行うか、bash を初期化してしまうのが良さそうです。なお、「プログラムの追加と削除」からアンインストールすると不具合が出て bash が使えなくなるという報告がありますので、コマンドプロンプトから行ってください。

blog.sfpgmr.net

アンインストールと再インストールは、コマンドプロンプトから。詳しくは下記サイト。

www.atmarkit.co.jp

 

以上です。

 

・・・・・・・

追記

 

来春の Windows 10 のアップデートで、Bash on Ubuntu on Windows が 16.04.1 にアップグレードされるようです。 

qiita.com

えぇぇぇぇぇぇ・・・・

14 は LTS で、まだサポート中じゃないですか・・・

 

や め て く れ ・・・

 

Ubuntu で苦しんだ日記

本日の work

 

ゼロから作る Deep Learning

第3章

 mnist を使った機械学習

 

うまくいかない。

 

書いてあるコードを Win10, Python3.5 in Anaconda に打ち込んで、対話的に行う。

p76-77 のコードを実行すると、正診率が返るはず。

 

しかし、何も出てこない。

 

def sigmoid(x): とか、必要と思われるコードを追加してもダメ。

 

Win10環境が悪いのかと、

 Ubuntu 16 on VMware Player

 Ubuntu 14 on VMware Player

で試すが、

 

そもそもこれらには Anaconda のインストールすらできていなかったことに気づく!

何度かインストールし直し、Path を通してもダメ。

 

$ conda -V

 

に、そんなコマンドはありません って返ってくる。

oh...

 

OS から入れ直しますか。

 

 

Ubuntu14 EN 入れ直して Mozc を入れようと・・・

 Mozc がインストールされてるのに、日本語入力できなかったり、

 

Ubuntu 14 日本語remix入れても日本語入力できなかったり。

 

もちろん Anaconda のインストールもうまくいかない。

 

踏んだり蹴ったり。

 

Ubuntu 16 で、ひょっとして、もともと入ってる Python3 が、anaconda のインストールを邪魔しているのかなぁと、試しに Python 3 を削除。sudo apt-get autoremove も。

再起動

 

・・・

 

サイドバーがない。。。

 

Ctrl + Alt + T

 

端末起動しない。。。

 

で、終了。

 

仮想ファイルを削除、backup HDD から持ってきて復活させて終了。

 

 

・・・

 

デスクトップ PC を買って、Ubuntu 入れようと計画してますけど。

こんなんで、ディープラーニングまで行けるのか不安です。。。

 

なんだかんだ言っても、やっぱ Windows すげえわ!

 インストールで失敗することはまずないし。

 アンインストールも簡単。

 TensorFlow も Win 対応しましたし、Win10 頑張るのも悪くないかも・・・

 

そういえば最近、VMware の update が来ましたが、それが関係してんのかなぁ

 

以前、VirtualBoxを試していた時、Chromeがインストール出来ないのでヤになって VMware Player にしたわけです。といっても、古い version でも Anaconda, インストールできてなかったわけなので、望み薄。

 

・・・

 

フト思い出し、

書籍に付属しているコードを、cmd からスクリプトとして呼び出すと、

無事、正診率が返る。

 

ううむ、何が違うのだ・・・

 

次はコード1行ずつ、Jupyter Notebook で試してみるか・・・

 

 

CUDA 対応 GPU の評価

将来ディープラーニングをやりたいということで、それ用のPCを物色しています。

 

GPUを作っているメーカーは、

 nvidia

 AMD

が有名ですが、

 

GPUを使ったディープラーニングということになると、GPGPUに対応したソフトウェア、CUDAを出している nvidia 一択になります。

 

で、「初めて」なので、当然エントリー価格帯から選ぶのですが、

どれを選ぶべきか・・・?

 

1.

 汎用性のあるモバイル?

 コストパフォーマンスの良いデスクトップ?

 

2.

 ゲームに強い geforce

 ワークステーション向けGPUである quadro

 

と、大きく分けて4種類から選ぶことになります。

 

で、下記サイトがGPUの性能比較に役立ちます。

developer.nvidia.com

 しかしまぁ、値段が同じなら、geforceでもquadroでも、あまり変わらない印象です。

 

私自身は

 デスクトップ向け

 Quadro

にしようと思っています。

 

デスクトップでは HDD/SDD を複数載せられ、Windows/Linux などのマルチブート、世代管理が楽ですし、データも 3.5inch HDD で大量保存できます(ノートPCでもHDD/SSD複数載せられるものもあるにはあります(Xiomi mi air, Thinkpad P50, P70など))

自宅に置くか、研究室に置くかは未定ですが、どちらにせよリモートで操作すればいいかと思いました。機械学習では、主に CUI を使うでしょうから。

さて、私のやりたい 「医用画像を用いた」「機械学習」では、学習の際に大容量のRAM(GPUのRAM)が必要になる可能性があります。将来的に RAM を増やせないノートに対し、デスクトップでは、GPU 追加(2枚刺し)やGPU 載せ替えで 、比較的安価に RAM を増やすことができます。

 

エントリー価格帯(<5万円と想定)で見てみると、RAM は 1G~4G 程度。

値段と RAM の量は、概ね比例しているようです。

 

今のところは、

 CPU はスピードよりも省電力重視で core-i5

 GPU は、メモリー量重視で RAM: 4GB 以上の quadro

で組もうかと、を考えております。

 

今月はクリスマスで出費が多いので、カード限度額をにらみながら、いつ注文するか思案中です。

レッツノート SX2 の メモリー増設 16GB

レッツノートはパナが出しているビジネスマン御用達のPC

panasonic.jp

 

 

勝間和代氏が愛用していることでも知られる。

panasonic.jp

 

別にカツマーって訳でもないが、

 W5, W7, F9, SX2, B11, LX3, LX5

と都合7台ほど触ってきました(家族用、業務用含め)。

 

自分用は

    W5, F9, SX2 の3台

 

 

軽くて光学ドライブがあるのは便利。

医用画像を取り出す際は DVD 必要なため。

 

 

レッツノートは、メーカー保証以上にモリーを積めたりします。

画像解析では メモリーは最大まで積んでおきたい。

 

例えば、

 W7 店頭モデル:公称 1.5GBま で。実際は 4GB まで。

 SX2 店頭モデル:公称 8GB まで。実際は 16GB まで。

 

上記まで積むには、メーカー保証を切る必要がありますのでご注意。

SXシリーズで、詳しいやり方はこちらです。

bunkaikoubou.jp

 

日記。Ubuntu16.04 を試し、Win10 に帰ってくるまで。

次回同じことを繰り返さないために備忘録。

 

pmonty.hatenablog.com

 

から続く。

 

本日のメニュー

1.SSD 換装

2.Ubuntu 16.04 クリーンインストール

3.セットアップ

 

1.

 サクッと 1TB SSD に交換

 

2.

 DVD から Ubuntu 16.04.01 をブートし、インストール。

   当初 暗号化 をしていたが、パスワード入力がすごくめんどくさい!

 

   再インストール!!

   「UEFI がどうの」とか言ってくるが、よく分からん。

   とりあえず インストール!!

 

 初期設定

Ubuntu 16.04 LTSをインストールした直後に行う設定 & インストールするソフト

 

 最近の Win PC の用に、バッテリー管理(40%から充電、80%で充電ストップ)を入れようとしたらハマる。 

 

 少なくとも3種類の方法があるらしい。

S:ABINE:Linux Mint で 充電のしきい値を設定する

バッテリをフル充電しないようにして長持ちさせるためのメモ | matoken's meme

趣味などのメモ: Ubuntuで充電管理

 

 いろいろ試してうまく行かない。

 

   起動時の「UEFIセキュアブート」を外して、

   tpacti-bat

 が動くようになった。

 

 ただし表示は

   充電中

 で、バッテリーは増えていかない。

    充電してんのか、してないのか?

 バッテリーに優しいんだか 優しくないんだか分からない。

 

 上記の充電制御は、「Thinkpad 向け」だった。

   モバイルパソコンを Ubuntu 化するのに、Thinkpad はいい選択かも。

 

3.

 Chrome:インストール。事前に依存するパッケージをインストールする必要あり。

Ubuntu 16.04 にGoogle Chromeをインストール | ロボット研究者の戯言

 EvernoteLinux対応なし。Oh...

 Dropbox:対応あり、インストール。

 Python 3 in Anaconda:インストール

 FSL、AFNI:インストール失敗。。。え!?   (FreeSurfer は重いんで後回し)

 

AFNI は Ubuntu 14.04 ならホームページのコピペでスムーズにインストールできる

1.1.2. The essential system setup for: Ubuntu Linux — AFNI, SUMA and FATCAT: v16.3.09

 が、16.04 では、一部のパッケージがインストールできず、最後の

  • afni_system_check.py -check_all
    

 でエラーが出る(このスクリプトも python2 なので、python3だと普通にエラーになる。

    エラーが出ても、一応 AFNI 起動はする。かんたんな作業なら使えそう。

 

FSL はどこがまずかったのかわからず、お手上げ。

 

というわけで、今日は SSD に入れ替えて、SSHD に戻して終了。

研究は全く進んでいない・・・

   この調子で、いつ機械学習にたどり着くんだか心配です。

 

久しぶりに触る Win10 は、重いけど使いやすい OS でした。。。

ということで、諦めて VMware Player をインストール。

仮想ファイルをコピーして、今日のお仕事はおしまい。

 

 

追伸

detail.chiebukuro.yahoo.co.jp

 

WindowsUbuntuデュアルブートした場合、

    Windows

    Ubuntu

間で簡単にデータをやり取りできるみたいです。

 

とのことで、Ubuntu 1本で行くのは諦め、デュアルブートの方針としました。

腹をくくって

 

Crucial MX300 2TB の SSD を注文しましたよ!!

Amazon CAPTCHA

 

SSD換装で Bash on Win10 に苦しむ。勝手に同期するWin10、tcsh 使えません問題

Win10 で FSL や freesurfer が動くと聞き。

 

Win10 laptop を買うことに決めた。

Windows 10でFSLをネイティブ環境で起動する方法

 

機種は

 Thinkpad T460

Amazon.com: Lenovo ThinkPad T460

 日本では普通には買えない。

 アメリカで買って、転送サービスを利用するなど、手に入れるのは結構面倒。

 

14 inch以上、バッテリー交換可、SATA3-HDD、reasonable な値段 など、選んでいったら自然とこれに。

 

1.7kg はこれまで使っていた PC(1.2kg)よりはるかに重いが、体感はそうでもない。液晶の美しさ、キーボードの打ち心地、トラックポインタなど、満足のいく機種。しかし後述のようなトラブルに遭遇。

 

 

遡ること数週間…

 

Core i7 6600U

RAM 4GB

HDD 500G

 

「自分で換装がんばろう仕様」にて注文。

 

しばらくして到着!!

 

とりあえずの MS Office 2016, Matlab, SPM, SPSS, Anaconda, R などをインストール。

Insider Preview 登録、Bashインストール!!

 

Bash が起動!!(感動!!)

 

FSL、Freesurferのインストールには成功。

(FSLviewは立ち上がらなかったけどな!)

 

500G HDD を SSHD に換装。

しかし、ものすごく遅い!

タスクマネージャーを見ると、常時 80-100% に張り付いている。

 

 

以前、Win 7 に SSHD を入れてみた。

 すごく速く、スピードは体感 SSD と同程度。

 SSHD に期待していたのだけれど、この速度には耐えられそうにない。

 

 

仕方なく、1TB SSD を 以前のPC から外して

EaseUS To Do Backup Free で SSD にクローン。

換装。

 

すると・・・

 

日本語化したはずの Bash が文字化け!!

FSL、Freesurfer が立ち上がらない!!!

なぜ!?

 

SSHD を挿して起動すると、問題なく立ち上がるし、文字化けもない。

SSD へのクローンで問題が?

 

念のため SSHDSSD へのクローンをやり直してみる。

 (EaseUS To Do Backup Free )

エラーが出てクローンできない。

 (前回はなぜ、クローンできたのだろう??)

 

再確認。

SSD に入れ替え。

 

Bash アンインストールと再インストールを試す。

Bash on Ubuntu on Windows の再インストール手順 | COMPNET

無事 FSL, Freesurfer のインストール・起動に成功。

今回は FSLview も起動する。

OK!

でもなんで、SSHD の時には FSLview が起動しなかったのだろう?

 

しかし AFNI は一部パッケージがインストールできていない。

インストールのスクリプトtcsh

lxss は  tcsh に変更できないらしく、インストールでエラーを吐いていた。

 

・・・・・・・・・・・・・・・・・・・・・・・

[Win], cmd, [Enter]。

コマンドプロンプトを立ち上げる。

 

>bash

$ cat /etc/shells

バッシュ起動して、シェルを見てみるか・・・

 

 # /etc/shells: valid login shells
/bin/sh
/bin/dash
/bin/bash
/bin/rbash
/usr/bin/tmux
/usr/bin/screen
/bin/tcsh
/usr/bin/tcsh

おーけーおーけー。ちゃんと tcsh, 入ってる。

 

$ chsh -s usr/bin/tcsh

$ echo $SHELL

シェルを変更して。現在のシェルはどうなってるかな・・・

 

/bin/bash

 

... Oh No!!

 

 

SSHD に変更。

こちらも一部パッケージがインストールされていない。

しかし SSD よりはマシ。

(インストールされてないパッケージは少ない)

やっぱり FSLview は起動できない。

SSDでは起動するのに)

 

同じコマンド(コピペ)でインストールしたはずなのに。。。

なんでこうなるんだ・・・

 

ヒューマンエラー(自分のミス)が一番考えやすいけど、

コピペでこんな違いがでるのか? 

 

 

相性問題?

 T460 の初期 HDD: Seagate

 T460 の初期 SSD: Samsung http://imgur.com/a/zYB8e

 

 換装した SSHD: Seagate

 換装した SSD: Sandisk

 

・・・

今回のことは、何が問題だったのか分からない。

大方解決したが、また起きる可能性がある。

 

使っていて

 Windows10 の挙動がよくわからない。

 

具体的には

1.

 Win10 Pro 日本語化: 購入時、Win10 は英語版。日本語パッケージをインストール、日本語化。したはずが、何故か英語のまま → しばらく使っているうちに、いつの間にか日本語になっている!

 

2.

 Win10 の font が汚い問題: 見やすいフォントに変更するため、定評のある「Meiryo UI だって大っ嫌い」を導入。しかしフォントが変わらない。これもしばらく使っているうちに、いつの間にか見やすいフォントに変わる。

 

3.

 SSD 使用時に PC へのログインパスワードを変更。SSD が調子悪くなり、SSHD に戻してみると、ログインパスワードは以前のまま(当然)。使ってるうちに、「MSパスワードを入力せよ」のポップアップが出現。入力すると、PC のログインパスワードも変わる。

 マイクロソフトと接続して、PCのパスワードが変更されたみたい。

 

 

 Win10 は、マイクロソフトとズブズブ("シームレス" とも言う)に情報をやり取りしてる OS と今更ながら実感。最近は Baidu のような中華アプリ、BLU のような中華フォンの情報抜き取りが問題になっている。しかし、ウィキリークスにもある通り、アメリカ様だって同じようなもの。

 気にするなら、テロ容疑者の個人情報すら守った Apple か、個人で強く生きていく Linux を選ぶ他ないだろう。