[env-bot]各プロセス間のデータ連携にAmazonS＊Sを使ってみる

[ddddddO]

構成再編メモ

• センサから取得するデータはDBに保存するのはmust
• 線グラフは温度・湿度・CO2(want)も生成したい
  • 各々別プロセスで生成したい
  • 各線グラフの差分は、以下くらいかと
    1. 線の色
    2. y軸のラベル名
    3. グラフタイトル
• 線グラフは同じ順番でツイートしたい
  • ツイートするプロセス側には、それぞれのグラフの種類を識別する何かが必要 = 線グラフ生成プロセスでグラフ種別も一緒にキューにpublishすることになりそう

[ddddddO]

• AmazonSNSとSQSを両方使ってみたい

  • SNSはpush型。なので相手を知らないといけない。使うなら以下パターンになりそう。
    • × AWS上のサービス -> ラズパイ上のプロセス
    • × ラズパイ上のプロセス -> ラズパイ上のプロセス
    • ○ ラズパイ -> AWS上のサービス
    • ○ AWS上のサービス -> AWS上のサービス
  • SQSはpull型。以下の全パターンで扱えそう。
    • ○ AWS上のサービス -> ラズパイ上のプロセス
    • ○ ラズパイ上のプロセス -> ラズパイ上のプロセス
    • ○ ラズパイ -> AWS上のサービス
    • ○ AWS上のサービス -> AWS上のサービス
  • ref
    • 公式ドキュメントにも目を通す

• get_and_store_dataプロセスは、CO2取得処理を追加する必要がある

  • 本当はセンサー毎に別プロセスで分けたいが、別タイミングでDBに保存することになってしまうため
    • 別プロセスに分けるなら、個別のセンサー -> 個別のプロセスで取得 -> キュー -> 全センサー値取得&DBへ保存プロセス、に分ける
      • ラズパイ上のプロセス -> ラズパイ上のプロセスなので、キューはSQSになりそう。

• get_and_store_dataは、ラズパイ上で起動しないといけない

• DBはラズパイ上のsqliteをそのまま使いたい。課金を抑えたいため。

  • DBから10レコード取得してキューにpublishするプロセスが欲しい（ラズパイ上）
    • キューにはSNSが適してそう。
  • キューイングされた10レコードデータは、generate_line_graph_fileプロセス*4（気圧・温度・湿度・CO2）が取得する
    • generate_line_graph_fileの各プロセスはLambdaを使えば良さそう。
    • generate_line_graph_fileプロセス*4 -> キュー -> post_tweetプロセスで、各線グラフファイルをpublishする
      • かつ、各プロセスで取得した最新の気圧・温度・湿度・CO2とグラフ種別をpublishする(要改修)
      • キューにはSQSを使う。post_tweetプロセスはラズパイ上で起動する
        • 起動タイミング
          • デーモンとして稼働させて定期的にpullするのもなあ、と思ってる
          • generate_line_graph_fileプロセスの処理が終わるであろう時間帯に起動するようにする？リトライは間隔開けて3回実行するとかが簡易そう

To Be

graph TD

bme280 --> get_and_store_data
get_and_store_data  --> DB
DB --> get_10records_and_publish
get_10records_and_publish --> AmazonSNS

AmazonSNS --> generate_line_graph_file_press
AmazonSNS --> generate_line_graph_file_hum
AmazonSNS --> generate_line_graph_file_temp
AmazonSNS --> generate_line_graph_file_co2

generate_line_graph_file_press --> AmazonSQS
generate_line_graph_file_hum --> AmazonSQS
generate_line_graph_file_temp --> AmazonSQS
generate_line_graph_file_co2 --> AmazonSQS

AmazonSQS --> post_tweet

post_tweet --> twitterAPI
twitterAPI --> twitterApp

Loading

より良いTo Be

graph TD

bme280 --> get_and_publish_data_bme280
mh-z19 --> get_and_publish_data_mh-z19
sensor_a --> get_and_publish_data_a
sensor_b --> get_and_publish_data_b

get_and_publish_data_bme280  --> 1[AmazonSQS]
get_and_publish_data_mh-z19 --> 1
get_and_publish_data_a --> 1
get_and_publish_data_b --> 1

1 --> get_and_store_data
get_and_store_data --> DB
DB --> get_10records_and_publish
get_10records_and_publish --> AmazonSNS

AmazonSNS --> generate_line_graph_file_press
AmazonSNS --> generate_line_graph_file_hum
AmazonSNS --> generate_line_graph_file_temp
AmazonSNS --> generate_line_graph_file_co2

generate_line_graph_file_press --> AmazonSQS
generate_line_graph_file_hum --> AmazonSQS
generate_line_graph_file_temp --> AmazonSQS
generate_line_graph_file_co2 --> AmazonSQS

AmazonSQS --> post_tweet

post_tweet --> twitterAPI
twitterAPI --> twitterApp

Loading

[ddddddO]

sqs

• https://docs.aws.amazon.com/sdk-for-go/v1/developer-guide/sqs-example-receive-message.html
• https://boto3.amazonaws.com/v1/documentation/api/latest/guide/sqs-example-sending-receiving-msgs.html

lambdaからsqsへのアクセスで403が返ってきた。権限が無いよう。以下が参考になりそう。
https://bobbyhadz.com/blog/aws-grant-lambda-access-to-sqs
↓
IAM > ロール で確認できるlambdaのロールのARNを、sqs作成時の、アクセス許可するロールに追加する。それでsqsへはpublishできる。後から追加は可能？-> 可能。SQSのアクセスポリシー(json)に、追加すればいい。

[ddddddO]

raspberry pi（aws cli v2をインストールするため）

• https://installvirtual.com/how-to-install-python-3-8-on-raspberry-pi-raspbian/
  • のコマンド実行
• https://qiita.com/koinori/items/4c0dde5a71942c6320e6
  • sudo pip3.8 install https://github.com/boto/botocore/archive/v2.tar.gz
  • sudo pip3.8 install https://github.com/aws/aws-cli/archive/v2.tar.gz
  • python3.8以上とRustが必要なため、それぞれインストール

[ddddddO]

ざっと動くまで対応した