なにをやったか、備忘録です。正確には記載しませんよ。 無駄なことしてる箇所もあるかもしれない。<作りたいもの一覧> ①XML署名されたSAML2.0のSP metadata XML ②Spring Securityに渡す秘密鍵 ③Spring Securityに渡す証明書<使ったもの> keytool (jdk付…
先日、create_export_task呼び出し時の例外を調べた。InvalidParameterExceptionだったはず。例外メッセージを読むと、 fromとtoの指定が時間的に逆か、 ロググループの保持期間を過ぎているかのようだ。 fromとtoの時間は正しい順序、 保持期間は30日でとく…
pandasにはあるけど、pysparkにはない代表格と言っても良いかもしれない。 modeでピンとこない人は、most frequentだったり、most commonなどでも検索します。ネットで探すといくつか実装例がある。 少しは参考にした。自分が先日書いたコードだとどんな感じ…
EMRのバージョンの関係で今、PySpark 2.4.5を使っている。Pythonという言語にはオーバーロードがないためなのか、Scalaでは用意されてるメソッドが呼び出せないなんてことが稀にある。PySparkのadd_months(start, months)の docstringの例で、startはColumn…
Windows上でAWS CLI V2を使って aws cloudformation create-stackする時に 日本語を含むテンプレートが読み込めずにエラーになると相談されたので、夜中まで調べた。相談の際に引用されたURLはこれだった。 CloudFormationに日本語コメントを含めるとエラー…
長い道のりを経て、なんとかCodeBuildで、Sparkを動かすためのなんちゃってEMR(without EMRFS)を用意したときの記録です。GitHub - awslabs/aws-glue-data-catalog-client-for-apache-hive-metastore: The AWS Glue Data Catalog is a fully managed, Apache…
いまは2020年12月ですが、 なかなかどうして、上手くPython36を入れる方法というのがありません。 過去にうまく入れてる例は多いですが、それらの情報は古く、整理しないといけません。 最終的に、アーカイブされてるFedoraのEPELリポジトリから入れることに…
少しだけの実験をしている。Hive互換な名前ってなんだ?Hive互換な名前にするには、 英数小文字とアンダースコアのみらしい。それはGlue側のマニュアルの話。Hiveのマニュアルも調べておく。LanguageManual DDL - Apache Hive - Apache Software FoundationH…
寄る年波には勝てぬ。また太ってきたのでダイエットを開始したのは 例年のようにGWあたりでした。 現在も継続中。今回は財布に優しいダイエットを目指す。 めちゃくちゃズボラで誰にでも出来る。コロナの影響でリモートワークになり、昼夜決まった食事が取れ…
まだ未解決なのでアイデアを考え中。 実現できると分かってること glueContext.create_dynamic_frame.from_optionsを使うケース AWS Glueをローカル環境で実行してみた | Developers.IO あと、こちらも。 AWS Glueの単体テスト環境の構築手順 | フューチャー…
しっかり調べられてないけど、 考えを整理するためにメモっておく。 LightGBMの目的関数は、パラメーターでobjectiveを何にするかによって決まるのが原則。 binaryを選んだ場合、src/objective/binary_objective.hppが使われる。 これはBinaryLoglossになる…
さいきん書いたんで、どういうコードを書いたかをテキトーに書く。ちなみに、公式のモデル保存の例はこちら。https://optuna.readthedocs.io/en/stable/faq.html#how-to-save-machine-learning-models-trained-in-objective-functions嫌だ、trial数分のモデ…
発端 java.nio.file.attributeで「所有者」情報が取れる。 PowerShellでも取れる。 では、Go言語はどうだ? 調査 たとえば、C++でそれを行う場合、こういうことをする。 Finding the Owner of a File Object in C++ (Windows) ここで登場する「GetSecurityIn…
Go言語でzipファイルを扱うとき、とりあえず"archive/zip"を使いますよね。しかし、使ってみて、気付いたことがある。思っていたzipファイルを作ることができなかった。ちなみに今は古いgo 1.6.2を使ってます。最新は1.8です。zipのエントリ(zip.FileHeader)…
準備するもの。 VirtualBox + Extension Pack Packer Vagrant RHEL あと、ハッシュ計算できるコマンドも必要かな。 自分の場合はpowershell立ち上げたらmd5sumなどが見つかったけど。 とりあえず、RHEL以外をインストールしてくださいな。 RHELの話 Red Hat …
今、迷っている。 書き換えられるっぽい過去の経験、書き換えられない最近の経験が混ざっている。 よし、確かめよう。 ダラダラ書く。Deencapsulationのコードをgithubで読んだ。(もちろんコール先も読んだ) https://github.com/jmockit/jmockit1/blob/mas…
職場でインフルエンザA型感染者が2名出現。 火曜日の昼に、自分も不思議な熱を感じはじめたため、水曜日の午前中に内科に行ってきた。 結論は陰性で問題ない。 ここから先は、ふだん行かない場所(内科、処方箋受付)に行ったので、気になったことについて書く…
この本を読了した。 寸評する。 私が感じている問題意識に対して、 相当量の光明を与えてくれた。 その意味で良著と言える。 だが、読みにくい。非常に読みにくい。 文章がかなり説明的だ。 図表はそこまで悪くないんだけど、それを頑張って文章で説明してい…
東京駅からひかりで1時間。 静岡に行きました。 大道芸ワールドカップのリピーターです。 自宅から脚立持参。 寸評をば。 コミックトリオ エクイヴォキー 非常に優秀。正統派コメディ。笑かしてくれます。こういうのを一本必ず見ておきたい。 ラソテッラ 何…
週末に読んだ本。 これはソフトバンクの孫正義氏の社長室長をしていた人が書いた本です。 読んでみた感想としては、「オススメしません」。 いくつかは評価できると思えますが、これが私の感じていることを解決できるかという点で、解決できないと感じた為で…
とにかく面倒くさい。 日本人であるビハインドの次に、プロキシ通さないといけないビハインド。 1つ目 Windows上のvagrantプログラムが最新のboxを探すためのproxy設定。 これはコマンドプロンプトからvagrant upを呼ぶ前提として、Windowsが認識するhttp_pr…
おもにウィキペディアから情報を得ています。 把握漏れはありえます。 都銀、信託銀行、ネット銀行などは含みません。 調査対象は以下のページに記載されていた地方銀行・第二地方銀行のみです。中小・地域金融機関の主な経営指標 : 金融庁勘定系システムの…
やりたいことは単純だ。USSの特定のフォルダに、特定のファイルがあったら、1秒スリープしてループする。ファイルがなくなったらループ終了。原案を作るのにUSSにsshログインして、ぺぺぺっとviで書き上げた。ほとんどマニュアルの例。USS上で実際に動く。使…
年に数回しか郵便受けを開けないナイスガイです。 年末に久しぶりに郵便受けを開けました。 当然ながら、巷で噂のマイナンバーの郵便は、郵便局に戻され、 保管期限も過ぎて、船橋市役所に送り戻されており、 船橋市役所から別の案内がきておりました。 とい…
とあるダンプの、とあるレジスタに、ちらりと見えたのがPRHW。いったい何の略なんだろう。答えはココに書かれていた。IBM PQ97425: MQCONN RETURNS RC2002 AND SUBSEQUENT MQ API RETURNS RC2009 IF THE QMGR IS RECYCLED WHILE USING WEBSPHERE APPLICATION…
testLoggingの初期値(LogLevel別) 調べたことを表にまとめるとこうだった。 debuginfolifecyclewarnquieterror events STARTED○××××× PASSED○××××× SKIPPED○○×××× FAILED ○○○××× STANDARD_OUT○○×××× STANDARD_ERROR○○×××× displayGranularity222222 maxGra…
これまではApache Antで、事前にJacocoのoffline instrumentationを施してからテストをしていたが、さいきんgradleに乗せ代えてon the flyになり、カバレッジが取れてない状況があった。独自クラスローダーで、クラスを再読み込みしているテストケースでうま…
健康診断の結果が悪いのでダイエットをしている。2年連続で悪い。肝臓、脂質代謝、尿酸値。精密検査を必要とするもの2つ、そしてその上をいくのが1つ。そろそろ年貢の納め時か。肝臓のことは一旦忘れる。脂質代謝、尿酸値はただの食べ過ぎだろう。「コンビニ…
惨敗だ。クラスローダーの委譲関係は、親が先で通常3つのクラスローダーがいる。ブートストラップ・クラスローダー拡張クラスローダーアプリケーション・クラスローダー(システム・クラスローダー)MockUp対象クラスが拡張クラスローダーにいる。クラスを書き…
FindBugsの除外フィルターを書いた。その結果、300〜400個くらいのHighが消えた。SQLJの吐き出すJavaソースはクズなので、それに埋もれて他のソースの問題に気付きにくくなる。迷わずに除外フィルターを書くべき。ウォーリーを探してる場合じゃない。