yomitech

文系出身なりにデータ分析で飯を食っていくためにしたこと・していること

はじめに - ※2025/12/06に追記しました - 大規模言語モデルや、執筆時にはなかった書籍に関して追記しています - はじめに、なぜこの記事を書こうと思ったか説明します - 色々な人がデータ分析の職を得た経緯について解説していますが私の見聞きする範囲では主に次の二つに大別されます

機械学習からTransformerへ4冊

はじめに 数年前、社内の問い合わせログを分類するタスクを任された。そのときの自分はTF-IDFとロジスティック回帰を組み合わせたモデルを動かし、精度が7割そこそこで止まっていた。特徴量を足しても、ハイパーパラメータをいじっても数字が動かない。しかも、動かない理由を説明できなかった。 原因は単純だった。写経したコードは動くのに、中身を理解していなかった。なぜこの前処理なのか、なぜこの損失関数なのか。…

機械学習の理論と実装をつなぐ4冊

はじめに 数年前、退職した同僚から需要予測のモデルを引き継いだことがある。ノートブックは動いていたし、精度も一応出ていた。それでも困った。なぜこの特徴量が効いているのか、なぜこのモデルを選んだのかを、自分の言葉で説明できなかった。 そのとき自分がやったのは、とりあえず手当たり次第に技術書を買うことだった。分厚い理論書を開いては数式で止まり、チュートリアル本を写経しては翌週忘れる。半年くらい遠回りし…

機械学習の理論と実装を埋める3冊

はじめに 数年前、自分は業務で需要予測のモデルを回していた。精度はそれなりに出ていたし、ダッシュボードにもきれいなグラフが並んだ。ところがレビューで「この特徴量、なんで効いてるの」と聞かれて何も答えられなかった。コードは書けていた。中で何が起きているかは、ほとんど説明できなかった。 そこからしばらく、ライブラリのドキュメントを読み漁る日々が続いた。使い方はわかる。けれど正則化を強めるとなぜ汎化する…