モーグルとカバとパウダーの日記

モーグルやカバ(EXカービング)山スキー(BC)などがメインの日記でした。今は仕事のコンピュータ系のネタが主になっています。以前はスパム対策関連が多かったのですが最近はディープラーニング関連が多めです。

pc

htaccessでBASIC認証掛けてあるが特定ファイルのみアクセス許可する

pc

apache上のWordpressで管理画面ディレクトリにBASIC認証が掛けているのですが、テーマから wp-admin/admin-ajax.php を呼ばれているため除外する必要がありました。 これを普通に.htaccessに <Files admin-ajax.php> Order allow,deny Allow from all </Files>と追記しても、結局BASIC認証…

ダウンローダでダウンロードのリクエストが二重に出ていた理由

pc

某CMS用に独自のダウンローダが作ってあり、なぜかダウンロードのリクエストが毎回二重に行われる(そして大きなファイルだとそのせいで負荷が増えてしまう)という問題がありました。 非常に謎な動作だったのですが、理由は Rangeには対応していないのにAcc…

ESXiのブラウザコンソールで「:」とかが入力出来ない問題

pc

ネットワーク含めたテスト環境を構築するため、ESXiでネットワークとVMの環境を構築していました。 そこでVM上で動かしてるCentOSの設定ファイルを、ブラウザコンソールからviで編集している時、「:」がどうしても入力できなくてはまりました。 入力される文…

「SQLアンチパターン」読書会スペシャルに参加しました

1/27にGeeklab長野で行われた「SQLアンチパターン」読書会スペシャルに参加してきました。「SQLアンチパターン」読書会スペシャル - connpass 内容や感想については @thinkAmi さんの「SQLアンチパターン」読書会スペシャルに参加しました #nseg #glnagano #…

EC2でのMeltdown/Spectreパッチでの性能低下

pc

AWS EC2で動いるシステムが、1月4日のMeltdown/Spectreパッチ適用以降すごくパフォーマンスが落ち、その影響でシステム障害が発生しました。 そのとき、twitterやFaceBookで情報いただいた件を簡単にまとめます。 EC2(m1.medium)上で動いている非常にDBヘ…

MySQL-5.1からMariaDB-5.5へのアカウント情報の移行

pc

CentOS6系からCentOS7系への移行案件があり、そこでMySQL-5.1からMariaDB-5.5への移行を行う必要がありました。 他にも色々と変わる部分があるため、一旦動作テスト用のサーバを作って確認することになり、データの移行を行いました。 そのとき、アカウント…

pearでXML_RPCのインストールに失敗する

pc

とあるWebサーバのリプレース案件でPHP環境の移行準備をしていたのですが、pearでXML_RPCを入れようとするとこんな感じにエラーが出てインストールできない問題が起きました。 # pear install XML_RPC …略… Could not download from "https://de.pear.php.ne…

nseg94で「障害対応の失敗事例から学ぶこと」というLTをしました

久しぶりにnseg(長野のIT勉強会)に参加させていただき、LT大会だったので、LTもさせていただきました。 NSEG94 https://nseg.connpass.com/event/69877/ ETロボコンやGoogle Homeプログラミングなど、自分はまだ触ったことないような新しいことの発表が多く…

findで特定ディレクトリ以下のみを検索

pc

なにかで障害が起きて、メールスプールから障害時点以降のファイルだけを抽出したい、みたいなことって時々あると思うんです。てかよくありますよね! そういう時は普通、findを使って抽出すると思いますが、Maildir形式で保存している場合、例えば /var/mai…

httpsのサイトがChromeのみ「このサイトへの接続は完全には保護されていません」と言われる

pc

httpsのページだとURLの横のところに、保護されたページであることを示す「緑の鍵」マークが表示されるようになります。 とあるページをChromeで見ると、httpsのページなのですが「緑の鍵マーク」ではなく、「灰色の(i)マーク」となっており、ここをクリック…

MRTGなどでSNMPからCPU使用率を得る

pc

MRTGでCPUのロードアベレージではなくCPU使用率を表示したい場合、ネットを検索するとSNMPの ssCpuRawUser.0(.1.3.6.1.4.1.2021.11.50.0) → ユーザCPU使用率 ssCpuRawSystem.0(.1.3.6.1.4.1.2021.11.52.0) → システムCPU使用率 で取れるという話が出てきます…

vagrantのVMファイルサイズを縮小する

pc

今どきHDDの容量不足に苦しむことはあまりないと思いますが、SSDだけのマシンで多数のVMを動かしている場合なんかだと、容量不足であたらしいVMが立てられない… という悲しい状況に陥ることもあると思います。 開発用VM群の中で一台のVMが突出して容量を食っ…

URL中の文字をmod_rewriteのRewriteMapで全置換する

pc

とある問題でURL中のクエリ文字列に含まれる「&amp;」を全て「&」に戻したいことがありました。 mod_rewriteを使ってなんとか実現できたんですが、結局もっと正しい修正箇所がわかったので使われませんでした。 が、せっかく新たに得た黒魔術だったので、エ…

文法エラーのあるHTMLで古いIEのみjQueryがエラーを起こす

pc

CMSで作られたページが、とある環境でのみjQueryの特定行でエラーがポップアップしてきてしまう、という相談を受けました。 ポップアップされる内容はjQuery内で「Invalid argument」でエラーが起きているというものでした。 エラーが起きているjQueryの箇所…

bottleのhost指定の誤解

pc

PythonでWeb APIを叩くプログラムを組んでて、テスト用に相手先APIをエミュレートというか単に決まった値返すだけのダミーWeb APIをbottleで用意してました。で、それをdockerで動かしてて、docker execで入って中から叩くとちゃんと動いていて、テストも通…

ipythonでprint等の結果がなかなか表示されない

pc

docker上のipython上でprintとかすると、エラーも出ずでも結果も表示されず、ただ色々叩いてると突然どばーっと出力が表示される、という状況になっていました。これは上で書いたdocker環境で起きていたため、docker環境一般でのバッファリングの問題なのか…

dockerでCtrl-pでヒストリをのぼれない

pc

dockerに $ docker exec -it examplecontainer /bin/bashで入って色々と作業をしている時に、「Ctrl-p」でヒストリをのぼろうとすると、1回では動かずに2回押すとやっと動くのだけども2つさかのぼってしまうという状況になっていました。 他に、下で書いたi…

MacとWindows混在でgit使ってる時の問題

pc

世の中の主なOS、Unix系、Windows系、Mac系ではそれぞれ改行コードが違っています。 LinuxなどUnix系の改行コードは「LF」で、Windowsは「CRLF」、Macは「CR」(昔のOS9の頃まで。今のOSXはUnix系なので「LF」)となぜかそれぞれ別になってしまっています。 自…

Windowsのdocker-composeでのマウント

pc

WindowsのDocker Toolbox上でdockerを動かしているのですが、最近はWindowsでもdocker-composeも使えるようになっています。なのですが、普通にdocker run -vではマウントできる設定でも、docker-composeでvolumes指定を使ってマウントを行おうとすると、エ…

WordPressのW3 Total Cache導入時の注意点

pc

とあるサイトで使われているWPを高速化・低負荷化したいという話があり、いくつか提示した中で一番簡単なキャッシュプラグインの導入を試したいということで、W3TCの導入をしました。その時にテスト用サーバで試して問題が出たこととその対策と、tipsをメモ…

「みんなのPython勉強会 in 長野」で発表した「ディープラーニングハンズオンを準備して学んだこと」のスライド

もう2ヶ月も前になるんですが(これを書いてるのは2017/5/18) みんなのPython勉強会 in 長野 #1 - connpass https://startpython.connpass.com/event/48846/ で発表させていただいたスライドを公開しておきます。 ディープラーニングハンズオンを準備して…

Alpineに入れたPython3にh5pyを入れる

pc

友人に alpine + Python3 + TensolFlow + Jupyter のdockerイメージを作ってもらって、それベースにKerasとサンプルデータ入りのdockerイメージを作ったのですが、Kerasからモデルのsaveをしようとするとエラーになってしまいました。 KerasはHDF5形式という…

Firefoxが起動して時間が経つごとにすごく重くなる問題

pc

去年の11月辺りからFirefoxがすごい重くなる現象が発生していました。 起動時点では重さは感じないのですが、ずっとPC起動してるとだんだんとFirefoxの動きが重くなってきて、タブ切り替えやスクロールですら非常に時間がかかってから動き出す、という感じで…

ExcelのCSV読み込みでセル内改行がある場合

pc

セル内に改行があるCSVは "111","aaa" "222","bbb ccc"のように「"」でくくってやれば表現可能です。 しかしセル内改行がある場合にExcelで読み込むと、セル内改行で切れてしまい表が崩れてしまう、という問題が起こりました。 実は最初にそのCSVを吐き出す…

numpyで多次元配列の一部を渡した時の動作について

pc

※追記で解決しました 最近、趣味でニューラルネット系のことをやっているためnumpyを触っているのですが、不可解な動作をすることがありました。 a = np.array([[1, 2], [3, 4]]) def test2(x): test1(x[0]) def test1(x): x += np.array([2, 3]) test2(a) …

WindowsでDockerToolboxとVBoxHeadlessTray使って起動時点でdocker使える環境にする

pc

ここのところずっとvagrant+ansibleでやってたんですが、最近なにかとdockerいいよってのを見せつけられて、やっぱこれからはdockerだよね、ってなってました。 が、Windows環境ってdocker使いにくいですよね。 Docker for Windows使えばいいんでしょうが、…

s3fs配下でchmod 0755/0644する速度

pc

S3をs3fsでマウントしている環境で、アップロードされたファイルのパーミッションを、ディレクトリは0755、ファイルは0644にchmodするスクリプトがあり、だいぶ処理時間が掛かっているので改善できないか調べていました。 s3fs使ってS3にアクセスするのは非…

NYAGOSからDockerを使う設定

pc

DockerToolbox(Docker for Windowsではなく)を使ってDockerを使える環境を作っていたのですが、普段使っているNYAGOSの上でDockerを使おうとしたところ、ぜんぜん動きませんでした。 DockerToolboxは動かすのに環境変数の設定が必要で、その設定内容は例えば…

なぜCNNではAutoEncoder使わなくても学習が収束するのか

7月のGCPUG信州の発表資料をやっと公開したので、そこで質問が出てた、CNNがなんでAutoEncoder使わなくても学習が収束するのかの話でつらつら考えてたことを、今さら書いてみます。 その時はCNNはネオコグニトロンの子孫でネオコグニトロンは自己組織化する…

Dropoutが効果的な理由についての疑問

現在のDeep Neural Networkがうまく収束できるようになっていることにはDropoutの効果が大きいと言われている。Dropoutはニューラルネットで中間層などの入力を50%の確率で落としてやることで、非常に強い正規化が行われるというものだ。 なぜDropoutが効果…