yomitech

プログラミング雑記 2026年4月2日

本日も、ネットに流れるトピックから個人的に興味を引かれたものを拾っていきます。 この記事への感想等コメントで頂けるとありがたいです。 プログラミング Python PyTorchはMeta AI（Facebook AI）が開発したPython向けのオープンソースディープラーニングフレームワークです。現在はLinux Foundationの一部となっています。Torchライブラリを基盤に構築され、テ…

「MLflowで実践するLLMOps」サポートリポジトリを大幅に拡充しました

はじめに 拙著 MLflowで実践するLLMOps――生成AIアプリケーションの実験管理と品質保証( のサポートリポジトリを大きく拡充しました。 本書はMLflowの機能を体系的に解説する構成で、紙面の都合で「現場のどんな課題に効くか」「本文と公開コードの差分の意図」までは厚く書ききれていない箇所がありました。リポジトリ側でその文脈を補完しつつ、MLflow のバージョンアップにも追従する仕組みを…

ジャッジを評価するジャッジ ― LLM-as-a-Judgeの信頼性をメタ評価で保証する

はじめに LLMアプリの品質を測るためにLLMジャッジを作ったとして、そのジャッジ自身は正しい判定をしているでしょうか。「ジャッジが pass と言っているから OK」と信じて評価を続けると、本当は問題があるのに見逃したり、その逆のケースが起きる可能性があります。 本記事では、人間の判定を基準にしてジャッジ判定の信頼性を定量的に測る「メタ評価」を扱います。Cohen's kappa という指標を使…

「MLflowで実践するLLMOps」を出版するまで――きっかけ・紆余曲折・AIエージェント時代の意義

はじめに 2026年4月20日、『MLflowで実践するLLMOps――生成AIアプリケーションの実験管理と品質保証』( Japanの同僚4名との共著で、私が企画と全体の取りまとめ、各章の執筆を担当しています。 おかげさまで4月の電子書籍ランキングでは6位デビューを果たすことができました。日本ではLLMOpsとMLflowを正面から扱った専門書はこれが初めて、ということになるそうです。 この記事で…

【保存版】Databricksを日本語で学ぶための記事＆書籍ガイド：Spark・Delta Lake・MLflowまで

はじめに 先日X(Twitter)で「これからDatabricksを学ぶ人向けのQiita記事・書籍( コンテンツは日本語のものに限定しています。「英語のドキュメントや書籍を読む前に、まずは日本語で全体像と要素技術をおさえたい」という方の出発点として使ってください。 このガイドの使い方 Databricksの学習は、次の流れで進めるのがおすすめです。

その不一致、悪いのはジャッジ? それとも人間ラベル? ― LLM-as-a-Judgeメタ評価・実践編

はじめに LLM-as-a-Judgeは、生成AIアプリの出力を自動で採点してくれる便利な仕組みです。人間が全部レビューするのは無理があるので、ジャッジに「この応答は合格か」を判定させて品質を測る。すっかり定番になりました。 ただ、ここで一段立ち止まりたくなります。そのジャッジの判定、本当に信頼していいのでしょうか。ジャッジがズレた採点をしているのに気づかず、その数字を信じて「品質は問題なし」と判…

『MLflowで実践するLLMOps』が1,000部に届いたので、リポジトリのその後とLLMOpsの現在地をまとめる

はじめに 2026年4月20日に技術評論社から刊行した『MLflowで実践するLLMOps――生成AIアプリケーションの実験管理と品質保証』ですが、編集の方から「紙と電子をあわせて約1,000部」と連絡をいただきました。発売から4ヶ月、LLMOps×MLflowというかなり絞ったテーマの本としては、まずは良いスタートを切れたと思っています。手に取ってくださった皆さま、ありがとうございます。 - 書…

LLMOpsを知らずにRAG開発をしていた私が、偶然の出会いをきっかけに突破口を見つけた話

対象読者 - RAG（Retrieval-Augmented Generation）チャットボットの開発・PoCを進めている方 - 精度改善やチューニングの際に、原因（チャンキング／検索／質問の質／回答生成など）の切り分けに悩んでいる方 - LLMOpsやオブザーバビリティという概念に、まだ馴染みがない方 - Databricks・MLflowを使ってLLMアプリを運用しようとしている方