yomitech
Qiitaで紹介された技術書を、毎週月曜日にメールでお届けします。
登録確認メールをお送りします。いつでも配信停止できます。
バックナンバー
「MLflowで実践するLLMOps――生成AIアプリケーションの実験管理と品質保証」の検索結果: 1冊
MLflowで実践するLLMOps――生成AIアプリケーションの実験管理と品質保証
本書は、LLMアプリケーションの開発・運用に必要な一連のプロセスーー観測可能性の確保、品質評価、プロンプト管理、本番展開ーーを、オープンソースプラットフォーム「MLflow」を使って体系的に実践する技術書です。 LLMアプリケーションは、従来の機械学習システムとは異なる難しさを持ちます。プロンプトのわずかな変更が品質に大きく影響し、エージェントの挙動は複雑で追跡が難しく、コストは見えにくい場...
プログラミング雑記 2026年4月2日
本日も、ネットに流れるトピックから個人的に興味を引かれたものを拾っていきます。 この記事への感想等コメントで頂けるとありがたいです。 プログラミング Python PyTorchはMeta AI（Facebook AI）が開発したPython向けのオープンソースディープラーニングフレームワークです。現在はLinux Foundationの一部となっています。Torchライブラリを基盤に構築され、テ…
「MLflowで実践するLLMOps」サポートリポジトリを大幅に拡充しました
はじめに 拙著 MLflowで実践するLLMOps――生成AIアプリケーションの実験管理と品質保証( のサポートリポジトリを大きく拡充しました。 本書はMLflowの機能を体系的に解説する構成で、紙面の都合で「現場のどんな課題に効くか」「本文と公開コードの差分の意図」までは厚く書ききれていない箇所がありました。リポジトリ側でその文脈を補完しつつ、MLflow のバージョンアップにも追従する仕組みを…
ジャッジを評価するジャッジ ― LLM-as-a-Judgeの信頼性をメタ評価で保証する
はじめに LLMアプリの品質を測るためにLLMジャッジを作ったとして、そのジャッジ自身は正しい判定をしているでしょうか。「ジャッジが pass と言っているから OK」と信じて評価を続けると、本当は問題があるのに見逃したり、その逆のケースが起きる可能性があります。 本記事では、人間の判定を基準にしてジャッジ判定の信頼性を定量的に測る「メタ評価」を扱います。Cohen's kappa という指標を使…