SQL AthenaとBigQueryで同じハッシュ値を使いたい
o3君を使っても意外と10分くらいかかってしまったので、結果を残しておく。
結論としては、SHA256でハッシュ化するが、前半半分を取って、32 bit 整数ハッシュにする。
実装
以下でPython, Athena, ...
SQL 機械学習 PythonでMAPとMRRを計算する方法
Mean Average Precision (@k) や Mean Reciprocal Rank (@k) という、レコメンドのオフライン評価で使われる指標があるのですが、scikit-learn では計算できなさげだったので、Cha...
本 今年読んで良かった本（2025-02-24版）
備忘録的に、2025-02-24時点で今年読んだ本の中から、面白かった本をピックアップしてまとめておく。
まずは技術書以外から。
WEIRD（ウィアード）「現代人」の奇妙な心理 上：経済的繁栄、民主制、個人主義の起源、WEI...
Python PythonでResult型
PythonでResult型を使うために、result==0.17.0を使ってみたのですが、ドキュメントのmypy関連の記述が嘘なのでメモ。
type guard functionsは機能しません。is_err, is_okではなく...
Python 爆速でAITuberになってみた
たまたま著者登壇のYouTubeを見たのがきっかけで、面白そうだったので、『AITuberを作ってみたら生成AIプログラミングがよくわかった件』を買ってみました。
なお、著者のGitHubリポジトリはありますが、openai==0....
Python panderaでUnion型を扱う方法
pandera (0.18.0) ではUnion型がサポートされていなさげ。そのためちょっとだけ自分でコードを書く必要がある。
例えばあるカラムが文字列or数値であることを検証するには、以下のようにすればよい。
from da...
SQL Snowflakeでaverage rankを出す方法
pandasだとデフォルトのやつだけど、snowflakeだとできなさそうだったので。他のDBでも同様にできるでしょう。
corn_production に average rank rk をつける。
WITH corn_pr...
Rust Tableauで会計年度を変更する
『Tableauによる最強・最速のデータ可視化テクニック』の第3版が出ていたので、改めて読んでいる。
「出荷日」に会計年度を設定したいとする。
日本式に、N年4月～N+1年3月を、N年度とする（N+1年度ではなく）。
年...
統計学 ブライアスコア
フィリップ・テトロック (Philip Tetlock) の『超予測力』や『専門家の政治予測』で出てくるブライアスコア (Brier score) について。
最良が0、最悪が2、チンパンジーが0.5ってどういう計算かと思っ...
お金 CFDとレバレッジ
1ドル150円で1 lot = 1万ドルを25倍で取引するには、1万ドル ＝ 150万円を25で割って60,000円必要。
1ドル150円で1 lot = 1万ドル＝150万円買って、1ドル151円で1 lot = 1万ドル ＝ 1...