lambda楽しい〜とつぶやいた３時間後、無事死亡
一気にやろうとして死んだ。
ハマったこと
invalid syntax (__init__.py, line 53)runtimeの件は、lambda-uploderのREADME.mdみたら解決した。
最初、awsの公式の仕様と勘違いして、awsのドキュメントをあさっていたんだけど見つからなくてシクシクしていたら、よくよく考えてみたら、こいつだったことを思い出した。
謎のエラーは、bs4がC言語で動かいているからバージョン指定しないと動かないっぽい。
requirements.txtに追記した.
beautifulsoup4==4.6.0
lambda layerは、ブログ記事通りに試さず、自分のやりたい通りに書いたら動かなかったので、次は下記ブログを一度試して動いたことを確認してから進む。
そういえば、lambda layerで利用するモジュールはどうやってinstallされるんだろ？
決定木で、テストデータがどの葉に分類されるかを自動でやりたいとき、なんかないかなーと探してたら公式ドキュメントにあった。
# decision_pathで全体の結果が返ってくる？ node_indicator = estimator.decision_path(X_test) # テストデータの行番号 sample_id = 0 # 0行目のデータを決定木に入力したときに、通る順番のノード番号が入っている. node_index = node_indicator.indices[node_indicator.indptr[sample_id]:node_indicator.indptr[sample_id + 1]] # ということは、このリストの最後に入っているノード番号が、葉のノードを示していることになる. last_idx = node_index[-1] # ノード番号をkeyに、そこに到達する行番号を保持するようにする last_node_d = {} last_node_d[last_idx] = [] last_node_d[last_idx].append(sample_id) last_node_d = {} for sample_id in range(X_test.shape[0]): node_index = node_indicator.indices[node_indicator.indptr[sample_id]:node_indicator.indptr[sample_id + 1]] last_idx = node_index[-1] if not last_idx in last_node_d.keys(): last_node_d[last_idx] = [] last_node_d[last_idx].append(sample_id)
これで、あるノード番号に含まれるテストデータを抽出することができる.
