機械学習で起こる致命的エラーを防ぐための本が公開されています。

Interpretable Machine Learning
A Guide for Making Black Box Models Explainable
という機械学習を使うときに知っていた方がよい大事な注意点に焦点を当てた本の翻訳版がネット上で公開されています。2021年公開ですので初版の翻訳になっていると思われます。
https://hacarus.github.io/interpretable-ml-book-ja/

原本は第二版がこちらに同じく公開されています。
https://christophm.github.io/interpretable-ml-book/
pdf版などは有料ですがオンライン版は無料で読めます。またこの本にでてくるコードはこちらにあつめられているので自分で動かしながら読めるようになっているのも魅力的ですね。
https://github.com/PacktPublishing/Interpretable-Machine-Learning-with-Python-2E

とりあえず初版の最初の物語の部分を日本語版で読んでみるとよいと思います。
https://hacarus.github.io/interpretable-ml-book-ja/storytime.html
機械学習の結果が、思わぬ事故を引き起こす話は必読です。単なるブラックボックスとしてAIを使う危険性がよくわかる話になっています。