今日は論文用の図をChatGPT-4oと相談しながら作っていました。解析サイトからhtmlファイルの形式で出力された図をhtmlファイルを修正して見やすくする作業です。図に記入されている説明部分の英語フォントの種類や大きさを変えたり、領域が狭すぎて説明が入らないところを入るようにする改変をChatGPTに教えてもらいながらやっていました。しかしフォントのサイズを小さくするところなどはちゃんとできるのですが、それ以外はだめですね。
「このコードのこの部分を改変するとよいです」と自信をもって教えてくれるのですが、探してもそんなコードがないということが続出。「改良したhtmlファイルができたのでダウンロードして試してみてください」というので、ダウンロードしてブラウザでみても全然改良できていないというのが続出しました。VSCodeで表示したコードをアップロードしてChatGPTに作業内容を詳しく説明したりしたのですが、存在しないコードを教えてくれるだけで全然だめでした。ハルシネーションが今日はひどかったようで、だいぶ疲れました。4oはPythonやRは得意みたいですが、htmlは不得意みたいですね。コーディングが得意なモデルがあったのを思い出して、モデルを変えてやり直しました。
チャットを新しくはじめてモデルをo4-mini-highに変えて同じプロンプトで試しました。さすが『コーディングと視覚的な推論が得意』というモデルだけありました。htmlファイルをアップロードしてプロンプトを与えると、あっという間にちゃんと動くコードを返してきました。
ということで、結論は、ChatGPTでまともな回答が帰ってこない場合は、新しいチャットをはじめること。モデルをデフォルトの4oからコーディングの得意なモデルや推論の得意なモデルに変えることなどが有効ということです。
こうしたChatGPTの欠点や使うときの注意点については次のツイートにある今井先生の記事がおすすめです。
Presidentに私の取材記事が日本掲載されました。
最近流行り（？）の生成AIのハルシネーションや、人間に媚びた出力をすることに関する記事です。https://t.co/WTXreESSN3https://t.co/afWv0iueHq
だいぶ初歩的な内容ですが、興味がある方は是非ご覧ください。— 今井翔太 / Shota Imai@えるエル (@ImAI_Eruel) June 2, 2025
『ChatGPTの｢ウソ｣が巧妙化してきた…AI研究者が解説｢ハルシネーションとうまく付き合うプロンプトの書き方｣ ｢ノーベル文学賞を受賞したのは村上春樹を含め3人｣と言われたら 』
https://president.jp/articles/-/96155
『だから女性は｢彼氏より優しい｣ChatGPTにハマる…研究者指摘｢AIが急に媚びるようになったあまり喜べない理由｣ Googleの最新GeminiでChatGPTは終わるのか』
https://president.jp/articles/-/96151