ChatGPTを使うときの注意点、そのやさしい解説記事がでています!

今日は論文用の図をChatGPT-4oと相談しながら作っていました。解析サイトからhtmlファイルの形式で出力された図をhtmlファイルを修正して見やすくする作業です。図に記入されている説明部分の英語フォントの種類や大きさを変えたり、領域が狭すぎて説明が入らないところを入るようにする改変をChatGPTに教えてもらいながらやっていました。しかしフォントのサイズを小さくするところなどはちゃんとできるのですが、それ以外はだめですね。

このコードのこの部分を改変するとよいです」と自信をもって教えてくれるのですが、探してもそんなコードがないということが続出。「改良したhtmlファイルができたのでダウンロードして試してみてください」というので、ダウンロードしてブラウザでみても全然改良できていないというのが続出しました。VSCodeで表示したコードをアップロードしてChatGPTに作業内容を詳しく説明したりしたのですが、存在しないコードを教えてくれるだけで全然だめでした。ハルシネーションが今日はひどかったようで、だいぶ疲れました。4oはPythonやRは得意みたいですが、htmlは不得意みたいですね。コーディングが得意なモデルがあったのを思い出して、モデルを変えてやり直しました。

チャットを新しくはじめてモデルをo4-mini-highに変えて同じプロンプトで試しました。さすが『コーディングと視覚的な推論が得意』というモデルだけありました。htmlファイルをアップロードしてプロンプトを与えると、あっという間にちゃんと動くコードを返してきました。
ということで、結論は、ChatGPTでまともな回答が帰ってこない場合は、新しいチャットをはじめること。モデルをデフォルトの4oからコーディングの得意なモデルや推論の得意なモデルに変えることなどが有効ということです。

こうしたChatGPTの欠点や使うときの注意点については次のツイートにある今井先生の記事がおすすめです。


『ChatGPTの「ウソ」が巧妙化してきた…AI研究者が解説「ハルシネーションとうまく付き合うプロンプトの書き方」 「ノーベル文学賞を受賞したのは村上春樹を含め3人」と言われたら 』
https://president.jp/articles/-/96155

『だから女性は「彼氏より優しい」ChatGPTにハマる…研究者指摘「AIが急に媚びるようになったあまり喜べない理由」 Googleの最新GeminiでChatGPTは終わるのか』
https://president.jp/articles/-/96151