テクめも

プログラミング関連のちょっとしたTipsなどを書いています。

freeコマンドやtopコマンドをインストールする

プレーンなDockerイメージを使っていると基本的なコマンドがインストールされていないことがあります。 その場合、 procps をインストールすることで free や top などのコマンドをインストールすることができます。 apt install procps yum install procps …

pyenvでpythonのinstallエラーを解決する

pyenvでpythonをインストールしようとすると以下のようなエラーが発生しつまりましたので、その解決策を忘備録として残しておきます。 pyenv install 3.7.4 python-build: use openssl@1.1 from homebrew python-build: use readline from homebrew Download…

TensorFlowとPython/CUDAのバージョン対応表

TensorFlow Python CUDA cuDNN 1.14.0 3.3~3.7 10 7.4 1.13.1 3.3~3.7 10 7.4 1.12.0 3.3~3.6 9 7 1.11.0 3.3~3.6 9 7 参考 Build from source | TensorFlow

MySQLのGRANT権限を持つユーザ作成する

CREATE文でユーザ作成してからGRANT文で権限付与する。 CREATE USER 'usrname'@'localhost' IDENTIFIED BY 'password'; GRANT ALL PRIVILEGES ON `dbname`.* TO 'usrname'@'localhost'; MySQLのバージョンによってはうまくいかない例 まとめて実行すると、バ…

第53回 コンピュータビジョン勉強会@関東(前編)の発表スライドまとめ

kantocv.connpass.com Reinforced Cross-Modal Matching and Self-Supervised Imitation Learning for Vision-Language Navigation Reinforced Cross-Modal Matching and Self-Supervised Imitation Learning for Vision-Language Navigation(関東CV勉強会 …

TensorflowのSaved Modelを確認する

Tensorflowをインストールすると同時にインストールされるsaved_model_cliを利用すると、Saved Modelの入出力を確認することができます。 $ saved_model_cli show --dir models/mnist/1/ --all MetaGraphDef with tag-set: 'serve' contains the following S…

OpenCVのImportErrorを解決する

事象その1 pip install opencv-python でインストールしたOpenCVで以下のようなエラーが発生しました。 Traceback (most recent call last): File "infer_ssd.py", line 5, in <module> import cv2 File "/home/ubuntu/.pyenv/versions/3.6.8/lib/python3.6/site-pac</module>…

Pythonで多重ループを1行にまとめる

Pythonで多重ループを書くとき、標準ライブラリのitertools.productを使うと便利に書けます。 例えば、以下のような3重ループも # A, B, Cはリスト for i in A: for j in B: for k in C: print(i, j, k) このように、1行で書くことができます。 from itertoo…

pipenvのDistributionNotFoundを解決する

事象 久しぶりにpipenvを使用したら以下のようなエラーが発生しました。 Traceback (most recent call last): File "/usr/local/Cellar/pipenv/2018.11.26_2/libexec/bin/pipenv", line 6, in <module> from pkg_resources import load_entry_point File "/usr/local</module>…

macでPDFのサイズを小さくする方法

手順 PDFを開いて、「ファイル」-> 「書き出す」を選択 書き出し名を変更 変更しないと上書きされます Quartz フィルタで「Reduce File Size」を選択 所感 いくつか試してみたところ、サイズが40%から80%程度に削減されました。 50MBくらいの大きなファイル…

markdownで記事を書くとき、コードを折りたたむ方法

はてなブログやQiitaでmarkdownで記事を書くとき、HTMLのdetailsタグを用いることで、コードなどを折りたたむことができます。 detailsタグの子要素にsummaryタグに、最初から表示させておく内容を書いておきます。 書き方 <details> <summary>コードを見る</summary> ``` python # Fizz </details>…

pyenvのanacondaを使っているときgit stashのエラーを解決する

前提 pyenvでanacondaをインストールしている anacondaをインストールしていない場合、問題は発生しない インストールしたanacondaをpyenv globalなどで設定していない つまり、以下のような状況です。 $ pyenv versions system * 3.6.8 (set by /Users/user…

Jupyterのパスワードを変更する

ハッシュ化したパスワードを準備する $ python -c 'from notebook.auth import passwd;print(passwd())' Enter password: Verify password: sha1:f8fa7727475f:2f78d141aab898374aec43c8ee40e0d0ddf5aab5 設定ファイルにパスワードを書く $ vim ~/.jupyter/j…

ファイルの種類が判別できるfileコマンドでできること

CLI

文字コードが判別できる テキストファイルは文字コードがいくつかあり、開けないアプリケーションもあったりするので、異なるOSの人に渡す際には事前確認しておくと良いでしょう。 $ file sample.txt sample.txt: ASCII text $ file sample.md sample.md: UT…

Pythonのコーディングチェックにflake8を使う

flake8とは flake8は以下の3つのライブラリのラッパーです。 Pyflakes pycodestyle (pep8) *1 Ned Batchelder’s McCabe script インストール $ pip install flake8 使い方 $ flake8 main.py ファイルだけでなくフォルダを指定することもできます。 $ flake8 …

Visual Studio Keyboard shortcuts for macOS

https://code.visualstudio.com/shortcuts/keyboard-shortcuts-macos.pdf

ファイルの文字コードをCLIで変換

CLI

文字コードを変換できるnkfコマンドを紹介ます。 インストール # mac $ brew install nkf # ubuntu $ sudo apt install nkf # centos $ sudo yum install nkf 使い方 文字コードを確認 $ nkf -g sample.txt UTF-8 fileコマンドでも確認することができます。 …

.gitignoreを自動生成する

Git

giboを使うと.gitignoreを自動生成することができます。 インストール brew install gibo 使い方 gibo dumpで言語ごとや環境ごとの.gitignoreを生成できます。 $ gibo dump python > .gitignore 複数同時に指定もできます。 $ gibo dump python macos > .git…

zplugのローカルプラグインを反映させるためにはキャッシュを削除する

zplugのローカルプラグインを書いているとき、変更しても反映されずつまりました。。 解決策 zplugでは、一度ロードしたプラグインは$HOME/.zplug/cache*1にキャッシュとして保存され、次回ロードするときはキャッシュからロードされます。そのため、プラグ…

anyenv v1 のインストール/アップグレード

CLI

anyenv は pyenvやrbenvなどをまとめて管理できるツールです。 インストール $ git clone https://github.com/anyenv/anyenv ~/.anyenv $ echo 'export PATH="$HOME/.anyenv/bin:$PATH"' >> ~/.your_profile $ echo 'eval "$(anyenv init -)"' >> ~/.your_pr…

Google Search Consoleにはてなブログのサイトマップを登録する

Google Search Consoleにアクセスして、左のメニューの「サイトマップ」からsitemap.xmlを入力するだけです。 参考 【はてなブログ】サイトマップの作り方と登録方法!サーチコンソール後に! - tkd放浪記

KerasでLSTMが使えないときの対処法

KerasでLSTMを使おうとしたとき以下のようなエラーが発生しました。 TypeError: while_loop() got an unexpected keyword argument 'maximum_iterations' 調べてみると、バージョンがよくなかったみたいで、kerasのバージョンを変更するとうまく動きました。…

RedisにSSLで接続する

AWSのElasticCacheでRedisを使っていて、暗号化をONしたらPythonから接続できなかったときのメモです。 import redis redis_conn = redis.from_url('redis://<Redisのホスト名>:6379') redis_conn.ping() とすると、 Error while reading from socket: (104, 'Connection rese</redisのホスト名>…

SSHポートフォワーディングを使ってサーバ上のJupyterにローカルからアクセスする

サーバにあるJupyterを使いたいとき、ポートを開けたり、ファイアウォールの設定をしたりしないといけない場合がありますが、SSHポートフォワーディングを使うと手軽にアクセスすることができます。 ローカル端末からSSH ssh -L 8888:127.0.0.1:8888 <サーバ…

AWSのElasticCacheでRedisを使う

Redisクラスターの作成 コンソールかCLIで作成します。 # CLIの場合 $ aws elasticache create-cache-cluster \ --cache-cluster-id my-cluster \ --engine redis その他のオプションについては、こちらを参照ください。 作成したRedisのエンドポイントの情…

Noneを含むリストをNumPyに変換するときに注意すること

PythonでリストをNumPyに変換するとき、Noneが含まれる場合は型について少し注意が必要です。 型を指定しない 変換するときに、dtypeを指定しない場合はobjectになってしまいます。 >>> np.array([1, 2, None]) array([1, 2, None], dtype=object) intを指定…

macにnmapをインストールする

普通にインストールするとエラーが発生しました。 $ brew install nmap ... Error: The `brew link` step did not complete successfully The formula built, but is not symlinked into /usr/local Could not symlink share/man/de/man1/nmap.1 /usr/local/…

Elastic Beanstalkで生成されるS3バケットを削除する方法

AWSのElastic Beanstalkでは、ソースコードの保管にS3を使っていますが、このS3のバケットを削除しようとしてもエラーが発生して削除できません。 S3の設定で、アクセス権限のバケットポリシーにあるEffectをDenyからAllowに変更すると削除することができま…

Google Cloud SDKのCLIを使う

インストール # macの場合のみ $ brew cask install google-cloud-sdk ... ==> Linking Binary 'bq' to '/usr/local/bin/bq'. ==> Linking Binary 'docker-credential-gcloud' to '/usr/local/bin/docker-credenti ==> Linking Binary 'gcloud' to '/usr/loc…

macOSでリモートサーバのディレクトリをマウントする

リモートサーバのディレクトリをマウントできるsshfsについて紹介します。 インストール $ brew install sshfs sshfs: OsxfuseRequirement unsatisfied! You can install with Homebrew Cask: brew cask install osxfuse You can download from: https://osx…