読者です 読者をやめる 読者になる 読者になる

DELAEMON BLOG

Live as if you were to die tomorrow. Learn as if you were to live forever.

Nodejs Jest CiecleCI

課題

CricleCIでReactjs + Jest でテストを実行していたら、最近になってメモリの制限にひっかかって失敗するようになった。

原因

CircleCI の ビルドに割り当てられる最大メモリ容量は4GB
Your build hit the 4G memory limit - CircleCI

テストフレームワーク Jest は 見えてるCPU数 - 1Coreを使う
https://github.com/facebook/jest/blob/ec782b567bf343d9d278cd79265a1af2bfc3e83c/packages/jest-runtime/src/cli/index.js#L72

nodejsはデフォルトのメモリ割り当ては1.5GBまで。v8起因。オプションつければ上げ下げできる(GCの実行判定調整)
--max_old_space_sizeで調整可能。

CircleCIはホストが8Core。コンテナへのCPU割り当てがどうなってるかは不明だけど、メモリの最大利用サイズは以下
8Core × 1.5GB = 12GB
4Core × 1.5GB = 6GB
2Core × 1.5GB = 3GB

対策

JestのWorker数を制限すればいい。
maxWorkersオプションで指定できる。

% jest --maxWorkers=2

テストの中身によるかもだけど、--maxWorkers=1にしても実行時間に大差はなかった。

GCするメモリ量も決めておくと、コマンド見ただけでイメージつきやすくて、Worker数変更したときにケアしないといけないことに気付き易くて、安心

% node --max_old_space_size=2048 jest --maxWorkers=2

無事CIはSuccess状態に戻った

おまけ

v8のオプションには他にも細かくメモリ関連のオプションが付いており、nodejsからも指定できる。

% node -v
v6.4.0
% node --v8-options | grep size
  --optimize_for_size (Enables optimizations which favor memory size over execution speed)
  --max_inlined_source_size (maximum source size in bytes considered for a single inlining)
  --typed_array_max_size_in_heap (threshold for in-heap typed array)
  --stack_size (default size of stack region v8 is allowed to use (in kBytes))
  --min_semi_space_size (min size of a semi-space (in MBytes), the new space consists of twosemi-spaces)
  --max_semi_space_size (max size of a semi-space (in MBytes), the new space consists of twosemi-spaces)
  --max_old_space_size (max size of the old space (in Mbytes))
  --initial_old_space_size (initial old space size (in Mbytes))
  --max_executable_size (max size of executable memory (in Mbytes))
  --heap_profiler_trace_objects (Dump heap object allocations/movements/size_updates)
  --sim_stack_size (Stack size of the ARM64, MIPS64 and PPC64 simulator in kBytes (default is 2 MB))
  --force_marking_deque_overflows (force overflows of marking deque by reducing it's size to 64 words)

redis3.2@Fedora22

環境

OS: Fedora22

概要

dnsコマンドではredis2.8がinstallされるので、redis3.2を手動でビルド

手順

1. ソースをダウンロード

% wget http://download.redis.io/releases/redis-3.2.5.tar.gz
% tar xvzf redis-3.2.5.tar.gz
% cd redis-3.2.5/

README.mdよんで手順を確認

2. ビルド

% make

....

    CC geo.o
    LINK redis-server
    INSTALL redis-sentinel
    CC redis-cli.o
    LINK redis-cli
    CC redis-benchmark.o
    LINK redis-benchmark
    INSTALL redis-check-rdb
    CC redis-check-aof.o
    LINK redis-check-aof

Hint: It's a good idea to run 'make test' ;)

make[1]: Leaving directory '/home/dela/source/redis-3.2.5/src'

geo.oがみえる。3.2からGEO APIが追加された。

3. ビルドのテスト

% make test

....

\o/ All tests passed without errors!

Cleanup: may take some time... OK
make[1]: Leaving directory '/home/dela/source/redis-3.2.5/src'

4. 起動

% ./src/redis-server

5. 疎通確認

% (echo "PING\r\nPING\r\nPING\r\n"; sleep 1) | nc localhost 6379
+PONG
+PONG
+PONG

その他

ヘルプ見てみる

./src/redis-server -h
Usage: ./redis-server [/path/to/redis.conf] [options]
       ./redis-server - (read config from stdin)
       ./redis-server -v or --version
       ./redis-server -h or --help
       ./redis-server --test-memory <megabytes>

Examples:
       ./redis-server (run the server with default conf)
       ./redis-server /etc/redis/6379.conf
       ./redis-server --port 7777
       ./redis-server --port 7777 --slaveof 127.0.0.1 8888
       ./redis-server /etc/myredis.conf --loglevel verbose

Sentinel mode:
       ./redis-server /etc/sentinel.conf --sentinel

"--test-memory"とは。
Problems with Redis? This is a good starting point. – Redis

% ./src/redis-server --test-memory 1000

# AAA..., CCC..., RRR..., SSS....,で画面が埋まるけど放置

Your memory passed this test.
Please if you are still in doubt use the following two tools:
1) memtest86: http://www.memtest86.com/
2) memtester: http://pyropus.ca/software/memtester/

latency problems troubleshootingのページも役立ちそう。
Redis latency problems troubleshooting – Redis

Hugo SSL/TLS(Let's Encrypt) Renew

Systemdで動かしている Hugo サイトのSSL/TLS(Let's Encrypt)を更新した。

更新しようとしたらエラー

$ ./certbot-auto renew
Requesting root privileges to run certbot...
  /home/dela/.local/share/letsencrypt/bin/letsencrypt renew

-------------------------------------------------------------------------------
Processing <domain>.conf
-------------------------------------------------------------------------------

-------------------------------------------------------------------------------
The program hugo (process ID 786) is already listening on TCP port 80. This will
prevent us from binding to that port. Please stop the hugo program temporarily
and then try again. For automated renewal, you may want to use a script that
stops and starts your webserver. You can find an example at
https://letsencrypt.org/howitworks/#writing-your-own-renewal-script.
Alternatively you can use the webroot plugin to renew without needing to stop
and start your webserver.
-------------------------------------------------------------------------------
2016-09-28 22:22:53,632:WARNING:certbot.renewal:Attempting to renew cert from <domain>.conf produced an unexpected error: At least one of the (possibly) required ports is already taken.. Skipping.

All renewal attempts failed. The following certs could not be renewed:
 <domain>/fullchain.pem (failure)
1 renew failure(s), 0 parse failure(s)

80portを使ってるサービスを停止

$ sudo systemctl stop hugo

再度、更新しようとしたらエラー

$ ./certbot-auto renew
Requesting root privileges to run certbot...
  /home/dela/.local/share/letsencrypt/bin/letsencrypt renew

-------------------------------------------------------------------------------
Processing <domain>.conf
-------------------------------------------------------------------------------

-------------------------------------------------------------------------------
The program hugo-https (process ID 14806) is already listening on TCP port 443.
This will prevent us from binding to that port. Please stop the hugo-https
program temporarily and then try again. For automated renewal, you may want to
use a script that stops and starts your webserver. You can find an example at
https://letsencrypt.org/howitworks/#writing-your-own-renewal-script.
Alternatively you can use the webroot plugin to renew without needing to stop
and start your webserver.
-------------------------------------------------------------------------------
2016-09-28 22:26:37,520:WARNING:certbot.renewal:Attempting to renew cert from <domain>.conf produced an unexpected error: At least one of the (possibly) required ports is already taken.. Skipping.

All renewal attempts failed. The following certs could not be renewed:
  <domain>/fullchain.pem (failure)
1 renew failure(s), 0 parse failure(s)

443portを使ってるサービスを停止

$ sudo systemctl stop hugos

再々更新

$ ./certbot-auto renew
Requesting root privileges to run certbot...
  /home/dela/.local/share/letsencrypt/bin/letsencrypt renew

-------------------------------------------------------------------------------
Processing <domain>.conf
-------------------------------------------------------------------------------

-------------------------------------------------------------------------------
new certificate deployed without reload, fullchain is
<domain>/fullchain.pem
-------------------------------------------------------------------------------

Congratulations, all renewals succeeded. The following certs have been renewed:
  <domain>/fullchain.pem (success)

停止したサービスを起動

$ sudo systemctl start hugos
$ sudo systemctl start hugo

簡単だけど、サービス無停止で更新する方法を考える

AWS Certified Solution Architect Associate 対策

1軍サービス

制限、実践的な構成、トラブルシーティングなど詳細に把握しておく必要あり

  • VPC (Multi-AZ, Internet Gateway, Route Table, NetworkACL, Security Group)
  • IAM
  • EC2 (+ Auto Scaling)
  • EBS
  • S3
  • CloudFront
  • Route53

2軍サービス

サービス概要・基本的な使い方まで把握しておけばOK

  • CloudFormation
  • RDS
  • ElastiCache
  • DynamoDB
  • DirectConnect
  • Trusted Advisor
  • CloudTrail
  • CloudWatch
  • SNS
  • SQS
  • OpsWorks
  • KMS / STS

※1軍7割、2軍3割くらいの力配分

役立つドキュメント

※1軍2軍共にブラックベルトの資料を読むよりは、マニュアルを読む方が役立つ印象

その他

  • AWS用語覚える
  • 模擬試験・サンプル問題などで問題文の文章になれる

※ 最初の感覚を掴むためにEC2+RDS+ElasCticache+S3+VPC+EIPでWebサイトを立てて、AWS ConsoleからCloudwatchLogs, TrustedAdvisorみたり、IAM Role, SecurityGroupいじるくらいやっておくと良さそう

http/2@Hugo & Let's Encrypt

Let's Encryptで発行した証明書を使って、GolangのHugoで動いてるWebサイトをhttp/2にする

環境

OS: Fedora22
Go: 1.6.2

準備

firewalldのhttps/443番ポートを有効にしておく

$ sudo firewall-cmd --list-all
$ sudo firewall-cmd --permanent --add-service=https
$ sudo firewall-cmd --permanent --add-port=443/tcp
$ sudo systemctl restart firewalld
$ sudo firewall-cmd --list-all

80番 ポートで動いてるサービスは止めておく
Certbotクライアントが疎通確認をする場合に既に80番ポートが使われていると、メッセージが表示されて、先に進めない

SSL/TLS証明書発行

ここ読めば簡単
Let's Encrypt の使い方 - Let's Encrypt 総合ポータル

Let's Encryptで証明書を発行するツールのcertbotをダウンロード

$ git clone https://github.com/certbot/certbot

Let's Encryptで証明証を発行する

./certbot-auto certonly --standalone -d <domain>

Certbotクライアントの問いに答えてく。連絡先のメアドとか、同意しますかとか

生成されたファイルの保存場所と期限。期限は3ヶ月と短い

IMPORTANT NOTES:
 - Congratulations! Your certificate and chain have been saved at
   /etc/letsencrypt/live/<domain>/fullchain.pem. Your cert
   will expire on <有効期限>.

でも更新はこれだけで良いので簡単。毎日更新すると怒られる

$ ./certbot-auto renew

Hugo

自分のレポジトリにcloneしてコード変更

commands/server.go

-       err = http.ListenAndServe(endpoint, nil)
+       err = http.ListenAndServeTLS(endpoint, "/etc/letsencrypt/live/<domain>/fullchain.pem", "/etc/letsencrypt/live/<domain>/privkey.pem

main.go

-       "github.com/spf13/hugo/commands"
+       "github.com/delaemon/hugo-https/commands"

go build して $GOPATH/bin/ に hugo-httpsとして置いておく

Systemd

新しいサービスとして設定ファイルを追加
web socket使ってるところをwssにするのは面倒だったのでExecStart の hugo-https serverコマンドに

    • disableLiveReloadを付けた

付けえない場合は以下のエラーがブラウザで吐かれていた

livereload.js:1 Mixed Content: The page at 'https://<domain>' was loaded over HTTPS, but attempted to connect to the insecure WebSocket endpoint 'ws://<domain>:443/livereload'. This request has been blocked; this endpoint must be available over WSS.n.Connector.e.connect @ livereload.js:1
livereload.js:1 Uncaught SecurityError: Failed to construct 'WebSocket': An insecure WebSocket connection may not be initiated from a page loaded over HTTPS.

Go

当初サーバーにインストールされてたGoはdnf installしたgo1.5.3 linux/amd64だったが、
これではhttps通信になっても、http/2にはならなかった。1.6.2をダウンロードして配置したら、http/2になった

curl HTTP/2@Mac

HTTP/2用サーバーを立てるなら、debug用途でcurlでもHTTP/2を使いたい。

環境: OS X EI Capitan 10.11.3

普通にやると

$ curl -I google.com
HTTP/1.1 302 Found
Cache-Control: private
Content-Type: text/html; charset=UTF-8
Location: http://www.google.co.jp/?gfe_rd=cr&ei=mshtV9S9BvLC8geyqZ7QAg
Content-Length: 261
Date: Fri, 24 Jun 2016 23:56:10 GMT

http2オプションつければ・・・

$curl -I --http2 google.com
curl: (1) Unsupported protocol

バージョン確認すると対応してるプロトコルや機能が見える

$ curl -V
curl 7.43.0 (x86_64-apple-darwin15.0) libcurl/7.43.0 SecureTransport zlib/1.2.5
Protocols: dict file ftp ftps gopher http https imap imaps ldap ldaps pop3 pop3s rtsp smb smbs smtp smtps telnet tftp
Features: AsynchDNS IPv6 Largefile GSS-API Kerberos SPNEGO NTLM NTLM_WB SSL libz UnixSockets

ビルドオプションにnghttp2を指定して、curlを再インストール

$ brew reinstall curl --  --with-nghttp2
$ brew link curl --force
$ hash -r

FeaturesにHTTP2が追加されてる

$ curl -V 
curl 7.48.0 (x86_64-apple-darwin15.3.0) libcurl/7.48.0 OpenSSL/1.0.2h zlib/1.2.5 nghttp2/1.10.0
Protocols: dict file ftp ftps gopher http https imap imaps ldap ldaps pop3 pop3s rtsp smb smbs smtp smtps telnet tftp
Features: IPv6 Largefile NTLM NTLM_WB SSL libz TLS-SRP HTTP2 UnixSockets

HTTP/2が使われる

$ curl -I --http2 https://google.com
HTTP/2.0 302
cache-control:private
content-type:text/html; charset=UTF-8
location:https://www.google.co.jp/?gfe_rd=cr&ei=ncxtV9W1GbDK8geS5JegAg
content-length:262
date:Sat, 25 Jun 2016 00:13:17 GMT
alternate-protocol:443:quic
alt-svc:quic=":443"; ma=2592000; v="34,33,32,31,30,29,28,27,26,25"

https://じゃないとHTTP/2は使われない

$ curl -I --http2 google.com
HTTP/1.1 302 Found
Cache-Control: private
Content-Type: text/html; charset=UTF-8
Location: http://www.google.co.jp/?gfe_rd=cr&ei=ksxtV6X0MKfK8geE5LWgBA
Content-Length: 261
Date: Sat, 25 Jun 2016 00:13:06 GMT

Mac OSX EI Capitan Wifi Commands

Mac Bookのネットワーク接続(Wifi/Proxy)をターミナルからコマンドから操作したい。

OS version

OS X EI Capitan

Wifiの操作
# On
$ networksetup -setairportpower en0 on

# Off
$ networksetup -setairportpower en0 off

# Info
$ networksetup -getairportnetwork en0

# SSIDの一覧表示
$ sudo /System/Library/PrivateFrameworks/Apple80211.framework/Versions/Current/Resources/airport -s

# 任意のネットワークに接続
$ sudo networksetup -setairportnetwork en0 <ssid> <password>
Proxyの操作
# On
$ sudo networksetup -setwebproxystate Wi-Fi on; sudo networksetup -setsecurewebproxystate Wi-Fi on

# Off
$ sudo networksetup -setwebproxystate Wi-Fi off; sudo networksetup -setsecurewebproxystate Wi-Fi off

# Info
$ networksetup -getwebproxy Wi-Fi; networksetup -getsecurewebproxy Wi-Fi
エイリアスに設定
alias wifi-on='networksetup -setairportpower en0 on'
alias wifi-off='networksetup -setairportpower en0 off'
alias wifi-info='networksetup -getairportnetwork en0'
alias proxy-on='sudo networksetup -setwebproxystate Wi-Fi on; sudo networksetup -setsecurewebproxystate Wi-Fi on'
alias proxy-off='sudo networksetup -setwebproxystate Wi-Fi off; sudo networksetup -setsecurewebproxystate Wi-Fi off'
alias proxy-info='networksetup -getwebproxy Wi-Fi; networksetup -getsecurewebproxy Wi-Fi'
alias airport='sudo /System/Library/PrivateFrameworks/Apple80211.framework/Versions/Current/Resources/airport'
実際に打ってるコマンド
$ proxy-on && wifi-on
$ proxy-off && wifi-off
$ proxy-info && wifi-info