EDMAN(KEK IMSS SBRC/PF Experimental Data Management System)用のコマンドラインスクリプト。
コマンドとしてインストールされます。
- pymongo
- python-dateutil
- jmespath
- edman
コマンドとしてインストールされます
◯スクリプトで使用するクエリについて
検索用クエリ
検索の際はMongoDB(pymongo)のフィルタ形式で指定します
クエリ形式は "{フィルタ条件}"
階層指定クエリ
emb(Embedded)形式でデータが入っている場合は下記のようなクエリで指定します
構造上、embの時はクエリを使用しなければデータに到達できません
例:
{
"collectionA":[
{
"collectionB":{"data1":"value1"}
},
{
"collectionC:{
"data2":"value2",
"CollectionD":{
"data3":"value3",
"data4":"value4"
}
}
}
]
}
・data4を消したい場合
"['collectionA', '1', 'collectionC', 'collectionD']"
リストで消したい項目の直近の親までを指定する
データが複数あり、リストで囲まれていた場合は添字を数字で指定
◯型変換について
・DB内のすべてのコレクションが変換されます
・DBにあってJSONファイルにないキーは無視されます
・型一覧にない型を指定した時はstrに変換します
・型一覧:
[int,float,bool,str,datetime]
・値がリストの時
・双方どちらかがリストでない時は無視
・JSON側が単一、DB側が複数の時は単一の型で全て変換する
JSON:['str']
DB:['1','2','3']
・JSON側よりDB側が少ない時はJSON側は切り捨て
JSON:['str'、'int', 'int']
DB:['1',2]
・JSON側よりDB側が多い時は、リストの最後の型で繰り返す
JSON:['str'、'int']
DB:['1',2,3,4,5]
・型変換用のJSON例:
{
"コレクション名":{
"キー": "変更する型",
"キー2": "変更する型",
},
"コレクション名2":{
"キー": ["変更する型","変更する型"],
}
}
以下のedmanのドキュメントも参照してください
◯各コマンド
ed_entry: jsonファイルからMongoDBに投入
ed_find: データを検索し、jsonに保存 検索用クエリを使用します
ed_item_delete: データ内の項目を消す embの時、階層指定クエリを使用します
ed_update: データの更新(更新用jsonファイルを用意)
ed_delete: ドキュメントの削除(embは全削除、refは指定したobjectid以下を削除)
ed_file_add: 該当データにファイルを添付する embの時、階層指定クエリを使用します
ed_file_dl: 添付ファイルをダウンロード embの時、階層指定クエリを使用します
ed_file_delete: 添付ファイルを削除 embの時、階層指定クエリを使用します
ed_db_create: データベース及びユーザ作成操作支援用(MongoDBの管理者アカウントが必要)
ed_db_destroy: データベース削除操作支援用(ユーザ削除はソース書き換えが必要)
ed_structure_convert: DB内のembをrefへ変換、またはその逆を行います
ed_pullout: コレクション内のembのキーを指定し、そのキーを含む階層を全てrefに変換します
ed_assign_bson_type: DB内のRefドキュメントに型を適応します
オプションなど詳しくは:
command_name -h
各スクリプトからDBに接続するためには、DBの接続情報が書かれたファイルが必要です
[DB] # MongoDB default port 27017 port = 27017 # MongoDB server host host = 127.0.0.1 user = user_name password = user_password database = database_name options = ["authSource=authenticate_database_name"] # LDAP USER SETTINGS # options = ["authMechanism=PLAIN"]
上記の内容のファイル、db.iniを作成し、任意の場所に保存してください
DB内にユーザの情報がある場合はauthSourceのauthenticate_database_nameに DBの認証ユーザ名を、 LDAPにユーザ情報がある場合は"authMechanism=PLAIN"を利用してください (上記例はLDAPの場合)
各スクリプトのヘルプを参考にして、引数にこのファイルのパスを指定してください
pip install:
pip install edman_cli
MIT
https://pypi.org/project/edman_cli/
[ryde](https://github.com/ryde)