Memo/MongoDB

MongoDB

MongoDB †

MongoDB - Wikipedia

MongoDBは、オープンソースソフトウェアのドキュメント指向データベースである。C++言語で記述されており、開発とサポートはMongoDB Inc.によって行なわれている。

MongoDB Download Center | MongoDB

各OS向けにバイナリが配布されている。RHEL/CentOS 6/7向けあり

docs:

MongoDB Documentation

↑

データサイズ削減 †

test01 コレクションに対して実行。
- capped collectionは非対応だった(v2.6)
```
mongo --quiet --eval "printjson(db.runCommand( { compact: 'test01'} ))" sample
```

記事
- データデフラグを行うCompactコマンド - Qiita
- 確認 MongoDBデータベースファイルサイズの削減 - 初心者入門サンプル

↑

古いバージョンのダウンロード †

Install MongoDB Community Edition on Red Hat Enterprise or CentOS Linux — MongoDB Manual
- 公式にはv3.0～4.xまである。
- RHEL/CentOS 5～7

https://mirror.cuegee.com/mongodb-2/RPMS/
- 2.6.x がまだある。EUリージョンなのでちょっと遅いかも。
- https://www.centos.org/download/mirrors/ にリンクがあるでたぶん安心

↑

db.serverStatus(): 現在の設定を確認 †

serverStatus — MongoDB Manual

memだけ表示

mongo --quiet --eval 'printjson(db.serverStatus().mem)'

↑

バックアップ&リストア †

Back Up and Restore with MongoDB Tools — MongoDB Manual
- BSON形式でdump&restore

AWS EC2の場合
- EC2 Backup and Restore — MongoDB Ecosystem
- jornalが有効であれば、EBSのsnapshotで良いらしい

記事
- MongoDB のデータ出力ツール mongoexportとmongodumpの比較｜ DevelopersIO

↑

Capped Collections: コレクションの上限サイズを指定する †

Capped Collections — MongoDB Manual
- コレクションサイズが増えると、クエリがタイムアウト/ディスクが溢れる場合があるので、上限を決めたい時などに便利

記事
- CappedCollectionのススメ - Qiita

createCollection: 新規collection作成時に上限を設定する。
- 「test01」collectionの上限サイズを「8MB」に設定。
```
mongo sample --quiet --eval 'printjson(db.createCollection("test01", { capped: true, size: 8*1024*1024}))'
```

convertToCapped: 既存collectionをcappedへ変更

convertToCapped — MongoDB Manual
作業中はロックされる。大きいcollectionはロック時間が長くなるため注意。

cappedが未設定のコレクションを探す

mongo --quiet --eval 'db.getCollectionNames().forEach(function(n){print(n + "," + db[n].stats().capped)})' sample | grep -v -E '^system|,true$' > ./mongo.capped.txt

MB単位でコレクションサイズを表示

for app_id in $(cut -d, -f 1 mongo.capped.txt); do \
echo -n "$app_id," >> ./mongo.size.txt; \
mongo --quiet --eval "printjson(db.${app_id}.stats(1024*1024).size)" sample >> ./mongo.size.txt; \
done

grep -v ',0$' mongo.size.txt

「test01」collectionの上限サイズを「8MB」に設定

mongo --quiet --eval 'printjson(db.runCommand({ convertToCapped: "test01", size: 8*1024*1024}))' sample

複数のコレクションを対象とする場合

for app_id in $(cut -d, -f 1 mongo.capped.txt); do \
echo -n "$app_id,"; \
mongo --quiet --eval "printjson(db.runCommand({ convertToCapped: '${app_id}', size: 8*1024*1024}))" sample
done

確認: maxは最大要素数

mongo --quiet --eval 'printjson(db.test01.stats(1024*1024))' sample

cappedが無効なコレクション表示

mongo --quiet --eval 'db.getCollectionNames().forEach(function(n){print(n + "," + db[n].stats().capped)})' sample| grep -v -E '^system|,true$'

fluentd(td-agent)からの利用
- Capped collection not created · Issue #90 · fluent/fluent-plugin-mongo v1.1.0未満には時々Cappedがtrueにならない不具合があるので注意。

↑

mongodサービス起動時のtimeoutを延長する †

データが多くなってくるとでデフォルトの90秒では起動しない事がある。

CentOS 7 64bit

mongodのTimeoutStartSecを90秒から3分に伸ばす

sudo vim /etc/systemd/system/mongod.service.d/timeout.conf
--
[Service]
TimeoutStartSec=3m
--

sudo systemctl daemon-reload
systemctl show mongod -p TimeoutStartUSec
TimeoutStartUSec=3min

TimeoutStartSec="3m" のようにダブルクオーテーションで括ると認識せず、デフォルトの値に戻ってしまう。特にエラーもでない

↑

レプリケーション †

記事
- MongoDBでRECOVERINGから復旧させるある１つの方法
- MongoDBのレプリケーションとフェイルオーバーの設定

↑

mongoコマンド †

Write Scripts for the mongo Shell — MongoDB Manual

記事
- MongoDB コマンドメモとか書き - Qiita

rs.status()を実行してJSON表示

mongo --quiet --eval 'printjson(rs.status())'

hostとdbを指定してコマンド実行

mongo --quiet --host localhost --eval 'db.col.count()' sample

mongodに接続
```
mongo
```

DB一覧
```
show dbs
```

DB切替
```
use <db name>
```

collection一覧
```
show collections
```

「test01」collectionの情報表示。サイズをMBで。
```
db.test01.stats(1024*1024)
```

コレクション毎のストレージサイズをMB単位で表示

db.getCollectionNames().forEach(function(n){print(n + "," + db[n].stats().storageSize/1024/1024 + " MB")})

コレクション毎の要素数を表示

db.getCollectionNames().forEach(function(n){print(n + "," + db[n].count())})

コレクション毎のIndexを表示

db.getCollectionNames().forEach(function(n){print(n); printjson(db[n].getIndexes())});

↑

Max open files/Max processesの設定 †

RHEL/CentOS 6/7のデフォルトでは1024と低いため、最大値を上げる必要がある

sudo cat /proc/$(pidof mongod)/limits | grep -P "open|proc"
Max processes             1024                 64000                processes
Max open files            1024                 4096                 files

UNIX ulimit Settings — MongoDB Manual 3.6

initd (RHEL/CentOS 6), systemd(RHEL/CentOS 7)で設定箇所が異なるので注意

RHEL/CentOS 7: systemdの場合

sudo mkdir /etc/systemd/system/mongod.service.d
sudo vim /etc/systemd/system/mongod.service.d/limits.conf
--
# https://docs.mongodb.com/manual/reference/ulimit/ 
#
# The settings is what mongoDB officially recommends.
#
[Service]
# Other directives omitted
# (file size)
LimitFSIZE=infinity
# (cpu time)
LimitCPU=infinity
# (virtual memory size)
LimitAS=infinity
# (open files)
LimitNOFILE=64000
# (processes/threads)
LimitNPROC=64000
--
sudo systemctl daemon-reload
sudo service mongod restart

RHEL/CentOS 6: initdの場合

sudo vim /etc/security/limits.d/99-mongodb-nproc.conf
--
# http://docs.mongodb.org/manual/reference/ulimit/
mongod          soft    nproc     64000
mongod          soft    nofile    64000
--
sudo service mongod restart