きどたかのブログ

いつか誰かがこのブログからトラブルを解決しますように。

2020-01-01から1年間の記事一覧

Install Python36 on Amazon Linux2 based container

いまは2020年12月ですが、 なかなかどうして、上手くPython36を入れる方法というのがありません。 過去にうまく入れてる例は多いですが、それらの情報は古く、整理しないといけません。 最終的に、アーカイブされてるFedoraのEPELリポジトリから入れることに…

AWS Glueのデータカタログでの日本語カラムの話

少しだけの実験をしている。Hive互換な名前ってなんだ?Hive互換な名前にするには、 英数小文字とアンダースコアのみらしい。それはGlue側のマニュアルの話。Hiveのマニュアルも調べておく。LanguageManual DDL - Apache Hive - Apache Software FoundationH…

リモートワークでの低価格ダイエット方法

寄る年波には勝てぬ。また太ってきたのでダイエットを開始したのは 例年のようにGWあたりでした。 現在も継続中。今回は財布に優しいダイエットを目指す。 めちゃくちゃズボラで誰にでも出来る。コロナの影響でリモートワークになり、昼夜決まった食事が取れ…

Glueをローカルで動かすための考察

まだ未解決なのでアイデアを考え中。 実現できると分かってること glueContext.create_dynamic_frame.from_optionsを使うケース AWS Glueをローカル環境で実行してみた | Developers.IO あと、こちらも。 AWS Glueの単体テスト環境の構築手順 | フューチャー…

LightGBMの目的関数、評価関数の話

しっかり調べられてないけど、 考えを整理するためにメモっておく。 LightGBMの目的関数は、パラメーターでobjectiveを何にするかによって決まるのが原則。 binaryを選んだ場合、src/objective/binary_objective.hppが使われる。 これはBinaryLoglossになる…

LightGBM + Optuna でベストモデル保存

さいきん書いたんで、どういうコードを書いたかをテキトーに書く。ちなみに、公式のモデル保存の例はこちら。https://optuna.readthedocs.io/en/stable/faq.html#how-to-save-machine-learning-models-trained-in-objective-functions嫌だ、trial数分のモデ…