きどたかのブログ

いつか誰かがこのブログからトラブルを解決しますように。

SAML2.0のSP metadataにXML署名するのが面倒臭かった

なにをやったか、備忘録です。正確には記載しませんよ。 無駄なことしてる箇所もあるかもしれない。<作りたいもの一覧> ①XML署名されたSAML2.0のSP metadata XML ②Spring Securityに渡す秘密鍵 ③Spring Securityに渡す証明書<使ったもの> keytool (jdk付…

CloudWatch Logsのエクスポートタスクのエラー

AWS

先日、create_export_task呼び出し時の例外を調べた。InvalidParameterExceptionだったはず。例外メッセージを読むと、 fromとtoの指定が時間的に逆か、 ロググループの保持期間を過ぎているかのようだ。 fromとtoの時間は正しい順序、 保持期間は30日でとく…

PySparkでの最頻値mode

pandasにはあるけど、pysparkにはない代表格と言っても良いかもしれない。 modeでピンとこない人は、most frequentだったり、most commonなどでも検索します。ネットで探すといくつか実装例がある。 少しは参考にした。自分が先日書いたコードだとどんな感じ…

PySparkのadd_monthsでカラムを使う

EMRのバージョンの関係で今、PySpark 2.4.5を使っている。Pythonという言語にはオーバーロードがないためなのか、Scalaでは用意されてるメソッドが呼び出せないなんてことが稀にある。PySparkのadd_months(start, months)の docstringの例で、startはColumn…

日本語を含むCloudFormtionテンプレート

Windows上でAWS CLI V2を使って aws cloudformation create-stackする時に 日本語を含むテンプレートが読み込めずにエラーになると相談されたので、夜中まで調べた。相談の際に引用されたURLはこれだった。 CloudFormationに日本語コメントを含めるとエラー…

Building AWS Glue Data Catalog Client for Apache Hive Metastore

長い道のりを経て、なんとかCodeBuildで、Sparkを動かすためのなんちゃってEMR(without EMRFS)を用意したときの記録です。GitHub - awslabs/aws-glue-data-catalog-client-for-apache-hive-metastore: The AWS Glue Data Catalog is a fully managed, Apache…

Install Python36 on Amazon Linux2 based container

いまは2020年12月ですが、 なかなかどうして、上手くPython36を入れる方法というのがありません。 過去にうまく入れてる例は多いですが、それらの情報は古く、整理しないといけません。 最終的に、アーカイブされてるFedoraのEPELリポジトリから入れることに…

AWS Glueのデータカタログでの日本語カラムの話

少しだけの実験をしている。Hive互換な名前ってなんだ?Hive互換な名前にするには、 英数小文字とアンダースコアのみらしい。それはGlue側のマニュアルの話。Hiveのマニュアルも調べておく。LanguageManual DDL - Apache Hive - Apache Software FoundationH…

リモートワークでの低価格ダイエット方法

寄る年波には勝てぬ。また太ってきたのでダイエットを開始したのは 例年のようにGWあたりでした。 現在も継続中。今回は財布に優しいダイエットを目指す。 めちゃくちゃズボラで誰にでも出来る。コロナの影響でリモートワークになり、昼夜決まった食事が取れ…

Glueをローカルで動かすための考察

まだ未解決なのでアイデアを考え中。 実現できると分かってること glueContext.create_dynamic_frame.from_optionsを使うケース AWS Glueをローカル環境で実行してみた | Developers.IO あと、こちらも。 AWS Glueの単体テスト環境の構築手順 | フューチャー…

LightGBMの目的関数、評価関数の話

しっかり調べられてないけど、 考えを整理するためにメモっておく。 LightGBMの目的関数は、パラメーターでobjectiveを何にするかによって決まるのが原則。 binaryを選んだ場合、src/objective/binary_objective.hppが使われる。 これはBinaryLoglossになる…

LightGBM + Optuna でベストモデル保存

さいきん書いたんで、どういうコードを書いたかをテキトーに書く。ちなみに、公式のモデル保存の例はこちら。https://optuna.readthedocs.io/en/stable/faq.html#how-to-save-machine-learning-models-trained-in-objective-functions嫌だ、trial数分のモデ…

Go言語で、ファイルの「所有者」を拾えるか? You、DLL呼び出しちゃいなよ

発端 java.nio.file.attributeで「所有者」情報が取れる。 PowerShellでも取れる。 では、Go言語はどうだ? 調査 たとえば、C++でそれを行う場合、こういうことをする。 Finding the Owner of a File Object in C++ (Windows) ここで登場する「GetSecurityIn…

Go言語でzipファイルを作る、ただしWindowsに限る

Go言語でzipファイルを扱うとき、とりあえず"archive/zip"を使いますよね。しかし、使ってみて、気付いたことがある。思っていたzipファイルを作ることができなかった。ちなみに今は古いgo 1.6.2を使ってます。最新は1.8です。zipのエントリ(zip.FileHeader)…

Creating RHEL7.3 Vagrant Box using Packer and VitualBox on Windows10

準備するもの。 VirtualBox + Extension Pack Packer Vagrant RHEL あと、ハッシュ計算できるコマンドも必要かな。 自分の場合はpowershell立ち上げたらmd5sumなどが見つかったけど。 とりあえず、RHEL以外をインストールしてくださいな。 RHELの話 Red Hat …

jmockitのDeencapsulationでstatic finalを書き換えできるの?それは使ってるバージョンによる!

今、迷っている。 書き換えられるっぽい過去の経験、書き換えられない最近の経験が混ざっている。 よし、確かめよう。 ダラダラ書く。Deencapsulationのコードをgithubで読んだ。(もちろんコール先も読んだ) https://github.com/jmockit/jmockit1/blob/mas…

インフルエンザではなく風邪の模様

職場でインフルエンザA型感染者が2名出現。 火曜日の昼に、自分も不思議な熱を感じはじめたため、水曜日の午前中に内科に行ってきた。 結論は陰性で問題ない。 ここから先は、ふだん行かない場所(内科、処方箋受付)に行ったので、気になったことについて書く…

世界最高峰の頭脳集団 NASAに学ぶ決断技法

この本を読了した。 寸評する。 私が感じている問題意識に対して、 相当量の光明を与えてくれた。 その意味で良著と言える。 だが、読みにくい。非常に読みにくい。 文章がかなり説明的だ。 図表はそこまで悪くないんだけど、それを頑張って文章で説明してい…

2016年 大道芸ワールドカップ in 静岡 初日

東京駅からひかりで1時間。 静岡に行きました。 大道芸ワールドカップのリピーターです。 自宅から脚立持参。 寸評をば。 コミックトリオ エクイヴォキー 非常に優秀。正統派コメディ。笑かしてくれます。こういうのを一本必ず見ておきたい。 ラソテッラ 何…

カープ敗戦前後の読書録

週末に読んだ本。 これはソフトバンクの孫正義氏の社長室長をしていた人が書いた本です。 読んでみた感想としては、「オススメしません」。 いくつかは評価できると思えますが、これが私の感じていることを解決できるかという点で、解決できないと感じた為で…

proxy環境下のhyperlegder/fabricの勘所

とにかく面倒くさい。 日本人であるビハインドの次に、プロキシ通さないといけないビハインド。 1つ目 Windows上のvagrantプログラムが最新のboxを探すためのproxy設定。 これはコマンドプロンプトからvagrant upを呼ぶ前提として、Windowsが認識するhttp_pr…

地方銀行・第二地方銀行の勘定系システム勢力図を紐解く

おもにウィキペディアから情報を得ています。 把握漏れはありえます。 都銀、信託銀行、ネット銀行などは含みません。 調査対象は以下のページに記載されていた地方銀行・第二地方銀行のみです。中小・地域金融機関の主な経営指標 : 金融庁勘定系システムの…

z/OSのC言語でウカツにsleep関数使った話

やりたいことは単純だ。USSの特定のフォルダに、特定のファイルがあったら、1秒スリープしてループする。ファイルがなくなったらループ終了。原案を作るのにUSSにsshログインして、ぺぺぺっとviで書き上げた。ほとんどマニュアルの例。USS上で実際に動く。使…

マイナンバーの「通知カード」を受け取ってきた話

年に数回しか郵便受けを開けないナイスガイです。 年末に久しぶりに郵便受けを開けました。 当然ながら、巷で噂のマイナンバーの郵便は、郵便局に戻され、 保管期限も過ぎて、船橋市役所に送り戻されており、 船橋市役所から別の案内がきておりました。 とい…

PRHWってなんでっしゃろ

とあるダンプの、とあるレジスタに、ちらりと見えたのがPRHW。いったい何の略なんだろう。答えはココに書かれていた。IBM PQ97425: MQCONN RETURNS RC2002 AND SUBSEQUENT MQ API RETURNS RC2009 IF THE QMGR IS RECYCLED WHILE USING WEBSPHERE APPLICATION…

GradleのtestLogging

testLoggingの初期値(LogLevel別) 調べたことを表にまとめるとこうだった。 debuginfolifecyclewarnquieterror events STARTED○××××× PASSED○××××× SKIPPED○○×××× FAILED ○○○××× STANDARD_OUT○○×××× STANDARD_ERROR○○×××× displayGranularity222222 maxGra…

独自クラスローダーとJacoco

これまではApache Antで、事前にJacocoのoffline instrumentationを施してからテストをしていたが、さいきんgradleに乗せ代えてon the flyになり、カバレッジが取れてない状況があった。独自クラスローダーで、クラスを再読み込みしているテストケースでうま…

ダイエット

健康診断の結果が悪いのでダイエットをしている。2年連続で悪い。肝臓、脂質代謝、尿酸値。精密検査を必要とするもの2つ、そしてその上をいくのが1つ。そろそろ年貢の納め時か。肝臓のことは一旦忘れる。脂質代謝、尿酸値はただの食べ過ぎだろう。「コンビニ…

JMockitで拡張クラスローダーに読まれるクラスをモックするのを足掻いた結果

惨敗だ。クラスローダーの委譲関係は、親が先で通常3つのクラスローダーがいる。ブートストラップ・クラスローダー拡張クラスローダーアプリケーション・クラスローダー(システム・クラスローダー)MockUp対象クラスが拡張クラスローダーにいる。クラスを書き…

SQLJとFindbugs

FindBugsの除外フィルターを書いた。その結果、300〜400個くらいのHighが消えた。SQLJの吐き出すJavaソースはクズなので、それに埋もれて他のソースの問題に気付きにくくなる。迷わずに除外フィルターを書くべき。ウォーリーを探してる場合じゃない。