雑ログ lambdaと他でピタゴラスイッチ

www.aipacommander.com www.aipacommander.com

続き。

今日（昨日だけど）は、lambdaからlambda叩いたり、s3のイベントからlambda叩いたり、lambdaからsqsにqueueを追加したりなどした。

やったこと箇条書きする。

• その前に、bs4でlxmlを使おうとしたらエラーで死んだ
  • どうやら別途バイナリを用意しないといけないらしい -> requirements.txtのようにモジュールを~/lib/なんちゃらに配置してzipしてアップロードしたら動いた
  • LambdaでPythonのlxmlを使う - 万年素人からHackerへの道
  • GitHub - JFox/aws-lambda-lxml: AWS Lambda precomiled binaries for lxml 3.6.4 built for python 2.7 and python 3.6 runtimes
• lambda -> s3 -> s3 event -> lambda -> sqs (一旦繋がりがなくなり) cloud watch（でやる予定） -> lambda -> lambda のピタゴラスイッチを作成した
  • このあと、これと同じ長さのピタゴラを用意する予定。だるい
  • s3のputでevent発火させている -> すでに同じファイルが存在する場合、更新がかかるが、更新処理ではevent発生しないのかなと思いきや、発生した（実装最初あたり、何度かテストして動かなかったけど、後半動いたからよしとする。キャッシュとかかな
  • s3 -> lambdaで何が受け取れるのか
    • 【 AWS 】S3 → Lambda → SQS にメッセージを投げるまでの構築手順！ - Qiita
  • sqs -> queueの追加イベントでlambdaを並列実行したかったけど、fifoで設定してしまったため、そのイベントがないんだとか
    • なので、ポーリング用のlambdaを用意した
    • AWS LambdaがSQSをイベントソースとしてサポートしました！ ｜ DevelopersIO
    • Boto3(AWS SDK for Python)でSQSに送信したメッセージをLambdaでポーリングして受信してみた ｜ DevelopersIO
  • sqs初めて使ったけど、全体像はこっちがわかりやすかった
    • 【新機能】Amazon SQSにFIFOが追加されました！（重複削除/単一実行/順序取得に対応） ｜ DevelopersIO
  • boto3でsqsを使うにはドキュメントが最強だった
    • SQS — Boto 3 Docs 1.9.86 documentation
  • そういえば、boto3.client()とboto3.resource()どっち使えばいいの問題
    • ざっというと、高・低レベルAPIの話だった
    • Boto3 で S3 のオブジェクトを操作する（高レベルAPIと低レベルAPI） - Qiita
  • sqs、テスト中、追加したqueueを一気にクリアしたいときどうすればいいの？
    • ドキュメント チュートリアル: Amazon SQS キューからメッセージを消去する - Amazon Simple Queue Service
    • クリア実行して数十秒後に消えるので、実行したあとにポーリングするとまだ残っている場合がある
  • queue処理、はじめて使ったが、呼び出したqueueはずっと残り続けるので、削除する必要があることを知った
  • lambda -> sqsは権限が必要。ロールに設定すればおｋ
    • SQSをIAMで制御してfogも使ってみる | cloudpack.media
  • lambda -> lambda呼ぶときどうすりゃいいんや
    • AWS LambdaからLambda呼んでハマった話。 - Qiita
    • 非同期で呼びたかったから上でおｋ

結構ハマったけどピタゴラできたのでよかった.

悩みと次やりたいこと

• sqsに投げたあと一旦ピタゴラとしては終了し、queueをcloudwatchでevent発火してlambdaでポーリングしようとしてる
  • 今回クローラーなので、sleepとか挟みたいのと、fifoなので、queueに追加したあとにlambdaを叩くeventが発火できない
  • なので、一定間隔でqueueにmessageが登録されていないか確認するようにしようとしているが、定期実行なので無駄を生んでいてなんかいや
• lambdaからDB接続
  • なんかアンチパターンらしいのでRDS使わないが、リアルタイムに追加しなくてもいいと思うので、s3に一度収集した情報をjsonかなんかで保存しておき、あとからs3の中身みて、データが存在しているのであれば、ec2起動してrdsに登録するとかの処理でいいと思った
• lambda、lambda layersを使えば、ある程度共通化できるので、lambda関数自体は軽くなるのでそれは良い
  • ただ、ピタゴラのつながりみればわかるが、バンバン管理する関数が増えていくので管理がめんどくさい
  • 例えば、５つの関数を用意して、共通処理をlamda layersで登録した。けど、4つの関数を修正とlayersも修正すると、それぞれに紐付いている関数のlayersのバージョンの紐づけを修正し直さないといけないし、ブラウザでポチポチするのが本当めんどくさい
  • なんかそういうフレームワークないんかな
• そうだ。今回のピタゴラで集めた情報を使って、s3とlambdaとvue.jsでフロントを用意する予定なんだが、結局のところlambdaとRDS問題があるので、どうやってデータを取得してフロントにわたすものを用意しようか
  • やっぱりdynamodbがいいんかな？？？？？
• 来週のLTまでに間に合わせたい気持ちだがこれは大変そうだ