【2024年版】ChatGPT4.0oで整形外科専門医試験を解いてみた結果

結果

今回、第36回整形外科専門医試験をChatGPT4.0o （2024年5月現在）で解いてみました。

結果は、、、正答率57/100（57%）！！画像問題を除いた正答率37/62（約60%）

全体の平均が65.3点だったため、おそらく合格点は60点あたりでしょうか。
そう考えると、文章問題だけならギリギリ合格という結果でした！

去年と比較して正答率がかなり高くなっていて、しかも去年はちゃんとした正答は実質10％程度（他はまぐれ当たり）でしたが、今回の正答率はほぼ結果通りと考えていいと思います。

考察

画像問題の正答率が高いのは、画像を見なくても比較的解ける問題も多いということと、文脈からの読み取り能力がかなり上がっているためと思われます。

また、2024年のアップデートからプラグインを入れなくても自動的にネットからリアルタイムで情報を検索して取り入れる機能も加わったのが大きいと考えられます。

唯一懸念点としては、他者のブログですでに問題の回答結果があげられており、それをAIアルゴリズムが参照している可能性は考えられますが、それであればもう少し解答率が上がっても良いはずなので、いまのところ考えにくいと思っています。

また、チャットGPT自体文章力が飛躍的に向上していて、4oバージョンにアップデートされてから解答速度も爆速になっています。

今後の予想

来年あたりにはChatGPTにデータを読み込ませて、自分色にカスタマイズできる機能が加わっていると予想されます（2024年5月現時点でもChatPDFなどのAIシステムが取り入れています）。

また、現在は文章のみの認識で画像データの解読ができませんが、おそらく画像データの解析も加わりはじめ、あと3年くらいで画像検査所見も認識率が90%近くになると考えています。

以上を踏まえたうえで今後の予想としては
・来年2025年には過去問のPDFデータをAIに読み込ませて正答率70%超え。
・2027年には画像所見の認識も可能になり、正答率80%後半。同時に「整形外科卒後Q＆A」も顔負けの解答解説が作成可能になる。

と予想しています。

来年以降も乞うご期待。

去年（2023年）バージョン↓