AthenaとBigQueryで同じハッシュ値を使いたい
o3君を使っても意外と10分くらいかかってしまったので、結果を残しておく。 結論としては、SHA256でハッシュ化するが、前半半分を取って、32 bit 整数ハッシュにする。 実装 以下でPython, Athena, […]
続きを読む記事一覧
PythonでMAPとMRRを計算する方法
Mean Average Precision (@k) や Mean Reciprocal Rank (@k) という、レコメンドのオフライン評価で使われる指標があるのですが、scikit-learn では計算できなさげ […]
続きを読む
今年読んで良かった本（2025-02-24版）
備忘録的に、2025-02-24時点で今年読んだ本の中から、面白かった本をピックアップしてまとめておく。 まずは技術書以外から。 続いて技術書。 その他読んだ本→読書メーター
続きを読むPythonでResult型
PythonでResult型を使うために、result==0.17.0を使ってみたのですが、ドキュメントのmypy関連の記述が嘘なのでメモ。 type guard functionsは機能しません。is_err, is_ […]
続きを読む
爆速でAITuberになってみた
たまたま著者登壇のYouTubeを見たのがきっかけで、面白そうだったので、『AITuberを作ってみたら生成AIプログラミングがよくわかった件』を買ってみました。 なお、著者のGitHubリポジトリはありますが、open […]
続きを読むpanderaでUnion型を扱う方法
pandera (0.18.0) ではUnion型がサポートされていなさげ。そのためちょっとだけ自分でコードを書く必要がある。 例えばあるカラムが文字列or数値であることを検証するには、以下のようにすればよい。 なお、c […]
続きを読むSnowflakeでaverage rankを出す方法
pandasだとデフォルトのやつだけど、snowflakeだとできなさそうだったので。他のDBでも同様にできるでしょう。 corn_production に average rank rk をつける。
続きを読むTableauで会計年度を変更する
『Tableauによる最強・最速のデータ可視化テクニック』の第3版が出ていたので、改めて読んでいる。 「出荷日」に会計年度を設定したいとする。 日本式に、N年4月～N+1年3月を、N年度とする（N+1年度ではなく）。 年 […]
続きを読む