SQL AthenaとBigQueryで同じハッシュ値を使いたい
o3君を使っても意外と10分くらいかかってしまったので、結果を残しておく。結論としては、SHA256でハッシュ化するが、前半半分を取って、32 bit 整数ハッシュにする。実装以下でPython, Athena, BigQueryで同じ結果...
Python
SQL 機械学習 PythonでMAPとMRRを計算する方法
Mean Average Precision (@k) や Mean Reciprocal Rank (@k) という、レコメンドのオフライン評価で使われる指標があるのですが、scikit-learn では計算できなさげだったので、Chat...
Python PythonでResult型
PythonでResult型を使うために、result==0.17.0を使ってみたのですが、ドキュメントのmypy関連の記述が嘘なのでメモ。type guard functionsは機能しません。is_err, is_okではなく、isin...
Python 爆速でAITuberになってみた
たまたま著者登壇のYouTubeを見たのがきっかけで、面白そうだったので、『AITuberを作ってみたら生成AIプログラミングがよくわかった件』を買ってみました。なお、著者のGitHubリポジトリはありますが、openai==0.28.1 ...
Python panderaでUnion型を扱う方法
pandera (0.18.0) ではUnion型がサポートされていなさげ。そのためちょっとだけ自分でコードを書く必要がある。例えばあるカラムが文字列or数値であることを検証するには、以下のようにすればよい。from datetime im...
Python Pythonで現在時刻を取得するテンプレート
Pythonで現在時刻を取得するときに、確実にJSTで取りたいときは、以下のようにする。from datetime import ( datetime, timedelta, timezone,)JST = timezone(timedel...
Python VSCodeでE501を無視する (Python)
flake8を入れてるとよく出るline too long (xxx > 79 characters) flake8(E501) [Ln yyy, Col 80]を Visual Studio Code (VSCode)で表示させなくする方...
Python DataFrameのmapとかapplyとか
DataFrameのmapとかapplyとか、いろいろあって間違えがちなので、メモimport pandas as pdimport polars as pldf = (適当に作成)# pandas の場合df['a'].map(lambd...
Python Streamlit Cloud を使ってみた
YOUR TIME を読んだついでに、時間感覚タイプテストのWebアプリを Streamlit で作って、ついでに Streamlit Cloud で公開してみました（河出書房新社のページだと、点数やグラフが出ないという不満点があったので）...
Python Python Redshift メモ
Python で Redshift に接続するとき用のメモimport pandas as pdimport psycopg2con_format = 'dbname={dbname} ...'db_info = { 'host': ......