きどたかのブログ

いつか誰かがこのブログからトラブルを解決しますように。

AWS

CloudWatch Logsのエクスポートタスクのエラー

AWS

先日、create_export_task呼び出し時の例外を調べた。InvalidParameterExceptionだったはず。例外メッセージを読むと、 fromとtoの指定が時間的に逆か、 ロググループの保持期間を過ぎているかのようだ。 fromとtoの時間は正しい順序、 保持期間は30日でとく…

日本語を含むCloudFormtionテンプレート

Windows上でAWS CLI V2を使って aws cloudformation create-stackする時に 日本語を含むテンプレートが読み込めずにエラーになると相談されたので、夜中まで調べた。相談の際に引用されたURLはこれだった。 CloudFormationに日本語コメントを含めるとエラー…

Install Python36 on Amazon Linux2 based container

いまは2020年12月ですが、 なかなかどうして、上手くPython36を入れる方法というのがありません。 過去にうまく入れてる例は多いですが、それらの情報は古く、整理しないといけません。 最終的に、アーカイブされてるFedoraのEPELリポジトリから入れることに…

AWS Glueのデータカタログでの日本語カラムの話

少しだけの実験をしている。Hive互換な名前ってなんだ?Hive互換な名前にするには、 英数小文字とアンダースコアのみらしい。それはGlue側のマニュアルの話。Hiveのマニュアルも調べておく。LanguageManual DDL - Apache Hive - Apache Software FoundationH…

Glueをローカルで動かすための考察

まだ未解決なのでアイデアを考え中。 実現できると分かってること glueContext.create_dynamic_frame.from_optionsを使うケース AWS Glueをローカル環境で実行してみた | Developers.IO あと、こちらも。 AWS Glueの単体テスト環境の構築手順 | フューチャー…