技術評論社さんのこのシリーズの「施策デザインのための機械学習入門」や、「効果検証入門」が良く書かれていたので購入したが、それらと比較すると残念な内容だった。
技術観点の内容については、情報理工学系の学部卒であれば履修している範囲かと思います。
ビジネス観点についての示唆などが本書の独自性と位置付けられているのかもしれませんが、
その点も含めても、オライリーの「戦略的データサイエンス入門―ビジネスに活かすコンセプトとテクニック 」(ISBN: 978-4873116853)の7・8・9章の内容を初心者向けに簡単にしたうえで、サンプルコードなどでページ数を稼いだ内容という印象です。
ビジネス側のデータサイエンティストとしては、「ビジネスKPIと評価指標、目的関数を繋げる」という本書で示された考え方自体は否定する内容ではないものの、
我々の立場から見ると「ビジネスKPI・ビジネスモデル」自体がそもそも固定化された安定的なものではなく、こと機械学習を導入するようなプロダクトのビジネス評価においては、
プロトタイピングやユーザヒアリングを通じて業務担当者の隠れた知見や制約を引き出しながら「ビジネスゴールの切り出し方」そのものを検討することに価値があると思い、筆者の立場とビジネスサイドの立場の差を感じる部分がありました。
その意味で、本書で繰り返し説明されたコスト考慮型学習のような方法論にビジネスを落とし込む系の捉え方はややSIer的な「ビジネスの外側からビジネスを見る」ような課題の切り出し方だと思います。
総合して、本書はデータサイエンスの実務者向けの書籍というよりは、初心者向けの技術解説書として評価すべきであり、内容の網羅性や水準を考慮すると★3評価が適切と思います。
Kindle 価格: | ¥2,932 (税込) |
獲得ポイント: | 88ポイント (3%) |
を購読しました。 続刊の配信が可能になってから24時間以内に予約注文します。最新刊がリリースされると、予約注文期間中に利用可能な最低価格がデフォルトで設定している支払い方法に請求されます。
「メンバーシップおよび購読」で、支払い方法や端末の更新、続刊のスキップやキャンセルができます。
エラーが発生しました。 エラーのため、お客様の定期購読を処理できませんでした。更新してもう一度やり直してください。
無料のKindleアプリをダウンロードして、スマートフォン、タブレット、またはコンピューターで今すぐKindle本を読むことができます。Kindleデバイスは必要ありません。
ウェブ版Kindleなら、お使いのブラウザですぐにお読みいただけます。
携帯電話のカメラを使用する - 以下のコードをスキャンし、Kindleアプリをダウンロードしてください。
評価指標入門〜データサイエンスとビジネスをつなぐ架け橋 Kindle版
(概要)
「評価指標でXXXという最高のスコアが出た!」と喜び勇んで、機械学習モデルが出力してくる予測結果をもとにビジネスを運用したとします。 ところが、ビジネス上のKPIと相関が高い評価指標を選んでいなかったために、KPIの推移を見てみると大した変化がありませんでした。 あるいは「毎日夜遅くまで残業をして、特徴量生成とクロスバリデーションによって評価指標を改善しました!」というデータサイエンティストがいたとします。ところが、KPIの改善のためには そこまで高い評価指標の値を達成する必要ありませんでした。このようなケースでは、データサイエンティストが費やした工数がすべて水の泡となってしまいます。
----------(はじめにより)----------
このような状況が起きてしまう背景にはさまざまな原因が考えられますが、あえて一言で言うと「データサイエンスの問題が解くべきビジネスの問題と乖離していた」ためです。
機械学習モデルの”良し悪し”を決めるときには、評価指標(Evaluation Metrics)を必要とします。本質的に評価指標の設計方法は自由であり、ビジネス上の価値を考慮して自ら作成することも可能です。RMSEやAUCといったスタンダードなものから、ドメインに特化した数値まで、あらゆる指標が評価指標になりえます。では評価指標はどのように決めるのが良いのでしょうか。また、どのように決めれば冒頭のような悲しい状況を生まずに済むのでしょうか。
本書はこれらの疑問に答えるため、機械学習の良し悪しを決める評価指標を軸に、解くべきビジネスの問題をどうやってデータサイエンスの問題に落とし込むのか、その原理を解説していきます。この原理が普遍的なものであれば、ビジネスがどんなものであっても応用できると考えることができます。
回帰、分類で使用するスタンダードな評価指標についても、基本から丁寧に解説します。本書を読むことで、どのようなケースでどの評価指標を選ぶべきかがわかり、評価指標の読み間違いを避けることができます。
(こんな方におすすめ)
・日々、評価指標に思いを馳せている方
(目次)
1章 評価指標とKPI
1.1 機械学習と評価指標
1.2 機械学習と最適化計算
1.3 機械学習プロジェクトの流れ
1.4 評価指標とは
1.5 評価指標とKPIと目的関数の関係
1.6 評価指標の決め方を間違えないために
1.7 KPIの特質を損失関数と評価指標に反映する
1.8 まとめ
2章 回帰の評価指標
2.1 回帰とは
2.2 データセットと回帰モデルの準備
2.3 平均絶対誤差
2.4 平均絶対パーセント誤差
2.5 二乗平均平方誤差
2.6 対数平均二乗誤差
2.7 モデルの評価
2.8 真に使うべき評価指標
2.9 その他の評価指標
2.10 まとめ
3章 二値分類における評価指標
3.1 二値分類と評価指標
3.2 データセット
3.3 混同行列
3.4 正解率
3.5 マシューズ相関係数
3.6 適合率
3.7 再現率
3.8 F1-score
3.9 G-Mean
3.10 ROC-AUC
3.11 PR-AUC
3.12 pAUC
3.13 Employee Promotion Dataデータセットの評価
3.14 ビジネスインパクトの期待値計算
3.15 コスト考慮型学習
3.16 まとめ
4章 多クラス分類の評価指標
4.1 多クラス分類とは
4.2 データセット
4.3 混同行列
4.4 正解率
4.5 適合率
4.6 再現率
4.7 F1-score
4.8 ROC-AUC
4.9 最適な評価指標の考察
4.10 まとめ
「評価指標でXXXという最高のスコアが出た!」と喜び勇んで、機械学習モデルが出力してくる予測結果をもとにビジネスを運用したとします。 ところが、ビジネス上のKPIと相関が高い評価指標を選んでいなかったために、KPIの推移を見てみると大した変化がありませんでした。 あるいは「毎日夜遅くまで残業をして、特徴量生成とクロスバリデーションによって評価指標を改善しました!」というデータサイエンティストがいたとします。ところが、KPIの改善のためには そこまで高い評価指標の値を達成する必要ありませんでした。このようなケースでは、データサイエンティストが費やした工数がすべて水の泡となってしまいます。
----------(はじめにより)----------
このような状況が起きてしまう背景にはさまざまな原因が考えられますが、あえて一言で言うと「データサイエンスの問題が解くべきビジネスの問題と乖離していた」ためです。
機械学習モデルの”良し悪し”を決めるときには、評価指標(Evaluation Metrics)を必要とします。本質的に評価指標の設計方法は自由であり、ビジネス上の価値を考慮して自ら作成することも可能です。RMSEやAUCといったスタンダードなものから、ドメインに特化した数値まで、あらゆる指標が評価指標になりえます。では評価指標はどのように決めるのが良いのでしょうか。また、どのように決めれば冒頭のような悲しい状況を生まずに済むのでしょうか。
本書はこれらの疑問に答えるため、機械学習の良し悪しを決める評価指標を軸に、解くべきビジネスの問題をどうやってデータサイエンスの問題に落とし込むのか、その原理を解説していきます。この原理が普遍的なものであれば、ビジネスがどんなものであっても応用できると考えることができます。
回帰、分類で使用するスタンダードな評価指標についても、基本から丁寧に解説します。本書を読むことで、どのようなケースでどの評価指標を選ぶべきかがわかり、評価指標の読み間違いを避けることができます。
(こんな方におすすめ)
・日々、評価指標に思いを馳せている方
(目次)
1章 評価指標とKPI
1.1 機械学習と評価指標
1.2 機械学習と最適化計算
1.3 機械学習プロジェクトの流れ
1.4 評価指標とは
1.5 評価指標とKPIと目的関数の関係
1.6 評価指標の決め方を間違えないために
1.7 KPIの特質を損失関数と評価指標に反映する
1.8 まとめ
2章 回帰の評価指標
2.1 回帰とは
2.2 データセットと回帰モデルの準備
2.3 平均絶対誤差
2.4 平均絶対パーセント誤差
2.5 二乗平均平方誤差
2.6 対数平均二乗誤差
2.7 モデルの評価
2.8 真に使うべき評価指標
2.9 その他の評価指標
2.10 まとめ
3章 二値分類における評価指標
3.1 二値分類と評価指標
3.2 データセット
3.3 混同行列
3.4 正解率
3.5 マシューズ相関係数
3.6 適合率
3.7 再現率
3.8 F1-score
3.9 G-Mean
3.10 ROC-AUC
3.11 PR-AUC
3.12 pAUC
3.13 Employee Promotion Dataデータセットの評価
3.14 ビジネスインパクトの期待値計算
3.15 コスト考慮型学習
3.16 まとめ
4章 多クラス分類の評価指標
4.1 多クラス分類とは
4.2 データセット
4.3 混同行列
4.4 正解率
4.5 適合率
4.6 再現率
4.7 F1-score
4.8 ROC-AUC
4.9 最適な評価指標の考察
4.10 まとめ
- 言語日本語
- 出版社技術評論社
- 発売日2023/2/18
- ファイルサイズ12106 KB
この本はファイルサイズが大きいため、ダウンロードに時間がかかる場合があります。Kindle端末では、この本を3G接続でダウンロードすることができませんので、Wi-Fiネットワークをご利用ください。
この本を読んだ購入者はこれも読んでいます
ページ 1 以下のうち 1 最初から観るページ 1 以下のうち 1
商品の説明
著者について
高柳慎一
2020年 総合研究大学院大学複合科学研究科博士課程修了, 博士(統計科学)
客員准教授以外にも阿修羅の如くいくつもの顔を持ち、会社・学会・家庭において、妖精・座敷童子・AIエンジニア・幹事・父を兼務。
愛娘の名前は凪(なぎ)で韻を踏んでいる。
「老兵は死なず、ただ消え去るのみ」のマインドで書籍関連業から退くべく若者のプロデュース(監修)業に邁進するも、数年前に行った”編集の悪魔”との契約に基づき地獄より召喚され本書の執筆に至る。
近年の訳書・監修書籍は『前処理大全』技術評論社(監修,2018)『効果検証入門』技術評論社(監修,2020)『施策デザインのための機械学習入門』技術評論社(監修,2021)『Federated Learning』共立出版(共訳,2022)等多数。
本書のはじめに、1章、付録を執筆、2章を共同執筆。
長田怜士
大阪電気通信大学情報通信工学部情報工学科卒業(学士)。
新卒でセキュリティエンジニアをしていたが、機械学習がしたい欲求に抗えず株式会社ALBERTに転職し、機械学習プロジェクトの経験を積む。その後スタートアップ2社を渡り歩き、現職の株式会社ユーザベースに入社。
現在はユーザベースのSaaS事業にて、機械学習を用いた機能開発・運用を主に担当。
ありそうで意外と見かけない「ビジネスの現場においてモデルの評価指標をどう設定すれば良いのか」という質問に答えられる書籍を作れればと思い、執筆に携わりました。ぜひ本書をお楽しみいただければと思います。
本書の3章、4章を執筆、2章を共同執筆。
2020年 総合研究大学院大学複合科学研究科博士課程修了, 博士(統計科学)
客員准教授以外にも阿修羅の如くいくつもの顔を持ち、会社・学会・家庭において、妖精・座敷童子・AIエンジニア・幹事・父を兼務。
愛娘の名前は凪(なぎ)で韻を踏んでいる。
「老兵は死なず、ただ消え去るのみ」のマインドで書籍関連業から退くべく若者のプロデュース(監修)業に邁進するも、数年前に行った”編集の悪魔”との契約に基づき地獄より召喚され本書の執筆に至る。
近年の訳書・監修書籍は『前処理大全』技術評論社(監修,2018)『効果検証入門』技術評論社(監修,2020)『施策デザインのための機械学習入門』技術評論社(監修,2021)『Federated Learning』共立出版(共訳,2022)等多数。
本書のはじめに、1章、付録を執筆、2章を共同執筆。
長田怜士
大阪電気通信大学情報通信工学部情報工学科卒業(学士)。
新卒でセキュリティエンジニアをしていたが、機械学習がしたい欲求に抗えず株式会社ALBERTに転職し、機械学習プロジェクトの経験を積む。その後スタートアップ2社を渡り歩き、現職の株式会社ユーザベースに入社。
現在はユーザベースのSaaS事業にて、機械学習を用いた機能開発・運用を主に担当。
ありそうで意外と見かけない「ビジネスの現場においてモデルの評価指標をどう設定すれば良いのか」という質問に答えられる書籍を作れればと思い、執筆に携わりました。ぜひ本書をお楽しみいただければと思います。
本書の3章、4章を執筆、2章を共同執筆。
登録情報
- ASIN : B0BT7GBF5L
- 出版社 : 技術評論社 (2023/2/18)
- 発売日 : 2023/2/18
- 言語 : 日本語
- ファイルサイズ : 12106 KB
- Text-to-Speech(テキスト読み上げ機能) : 有効
- X-Ray : 有効にされていません
- Word Wise : 有効にされていません
- 付箋メモ : Kindle Scribeで
- 本の長さ : 377ページ
- Amazon 売れ筋ランキング: - 74,149位Kindleストア (Kindleストアの売れ筋ランキングを見る)
- - 2,702位コンピュータ・IT (Kindleストア)
- - 5,027位コンピュータ・IT (本)
- カスタマーレビュー:
著者について
著者をフォローして、新作のアップデートや改善されたおすすめを入手してください。
2020年 総合研究大学院大学複合科学研究科博士課程修了, 博士(統計科学)。
徳島大学デザイン型AI教育研究センター客員准教授。情報処理学会 ビッグデータ研究グループ運営幹事・岩波データサイエンス刊行委員・Wonderful R編集メンバーなどを歴任。
近年の関連書籍は『評価指標入門』技術評論社(執筆)、『前処理大全』技術評論社(監修)、『効果検証入門』技術評論社(監修)、『施策デザインのための機械学習入門』技術評論社(監修)、『Federated Learning』共立出版(共訳)等多数。
著者の本をもっと発見したり、よく似た著者を見つけたり、著者のブログを読んだりしましょう
カスタマーレビュー
星5つ中4.3つ
5つのうち4.3つ
全体的な星の数と星別のパーセンテージの内訳を計算するにあたり、単純平均は使用されていません。当システムでは、レビューがどの程度新しいか、レビュー担当者がAmazonで購入したかどうかなど、特定の要素をより重視しています。 詳細はこちら
51グローバルレーティング
虚偽のレビューは一切容認しません
私たちの目標は、すべてのレビューを信頼性の高い、有益なものにすることです。だからこそ、私たちはテクノロジーと人間の調査員の両方を活用して、お客様が偽のレビューを見る前にブロックしています。 詳細はこちら
コミュニティガイドラインに違反するAmazonアカウントはブロックされます。また、レビューを購入した出品者をブロックし、そのようなレビューを投稿した当事者に対して法的措置を取ります。 報告方法について学ぶ
-
トップレビュー
上位レビュー、対象国: 日本
レビューのフィルタリング中に問題が発生しました。後でもう一度試してください。
2023年3月7日に日本でレビュー済み
Amazonで購入
2023年3月10日に日本でレビュー済み
Amazonで購入
他の方のレビューにあるとおり戦略的データサイエンスを薄めた感じです.それはそれでいいのですが,個人的には最初の数ページで怪しいと感じてしまい読むのにストレスを覚えました.というのも本書では目的関数を最小化することに統一すると書いてあったすぐあとに重みをgradient descent方向ではなくgradient方向に更新している図が載せられていました.脳がバグりましたがそんなことはないですよね...出鼻をくじかれた感じでその後もちょこちょこ微妙な記述が出てきました.期待していたので少し残念です.
2023年2月23日に日本でレビュー済み
あくまでオフラインでの学習時の指標のみでスコープが狭く物足りなかった。オフラインで作ったモデルをオンラインのA/BテストでどうビジネスKPIを確度高く達成するかの一連の流れがデータサイエンスで、オフラインとオンラインギャップと、オンラインでのインパクトを証明することが最も難しい部分。また、現実を再現するオフラインのデータセットの作り方や利用の仕方も難しくバイアスが多く潜んでおり、そこもなかったのが残念。たとえ評価指標はkpiにそっててもgarbage in garbage outになる可能性も高いと感じた。