庭億老師的部落格

GPT-4 vs GPT-4o: 實測國中理化大會考題目，結果揭示模型效能

在現今的人工智慧發展中，GPT-4和GPT-4o被廣泛應用於各種自然語言處理任務。為了測試這些模型在實際應用中的表現，我對113年的國中理化大會考題目進行了測試，結果發現這兩個模型的答題正確率均約為60%，其中GPT-4o的表現略高且反應速度更快。然而，這些結果顯示這兩個模型並不如預期的強大，但透過一些技巧，可以顯著提高其答題的準確性。

模型測試結果分析

在測試中，GPT-4和GPT-4o的正確率平均為60%左右，而GPT-4o稍高一點且反應速度較快。這表明，儘管這些模型在某些方面有所改進，但整體上仍有較大的提升空間。

提升模型答題準確性的技巧

1. 自我評估與答案篩選：一個有效的方法是讓模型自我評估答案的正確率，然後刪除正確率較低的答案。然而，在實際測試中，模型往往過度自信。例如，當要求模型自行評估正確率時，它會給出最低75%至最高90%的正確率。然而，實際上正確率遠低於此。例如，模型評估正確率為80%的答案實際正確率僅為26%，評估正確率85%的答案實際正確率為65%，而評估正確率90%的答案實際正確率為71%。

2. 模型間答案對比：另一個提升準確率的方法是讓不同模型對同一題目進行解答，然後比較它們的答案是否一致。如果兩個模型的答案一致，則該答案的正確率較高。測試顯示，當兩個模型的答案一致時，正確率可達78%。

簡化指令以提高準確率

在測試過程中，我嘗試了各種指令，發現簡單的指令往往能提高模型的正確率。例如，當給模型下達「這是一份國中理化科的題目一共50題。包含物理、化學、生物和地球科學的題目。請給我這50題題目的每一個答案。」這樣簡單的指令時，模型的正確率達到了68%。相反，複雜的指令如要求模型扮演老師或學生角色進行答案比對，其正確率僅有60%。

結論

綜合以上測試結果，我們可以得出以下結論：

1. GPT模型的正確率有待提高：GPT-4和GPT-4o在國中理化大會考題目上的表現並不如預期的高。這可能是因為模型對題目的理解不夠深刻，例如圖形題目和中文閱讀題目的理解存在問題。

2. 簡化指令有助於提高準確率：簡單明瞭的指令往往能提高模型的答題正確率，而複雜的指令可能會使模型產生困惑，降低答題準確性。

3. 模型間的對比分析是提升正確率的有效方法：通過讓不同模型對同一題目進行解答並比較答案一致性，可以有效提高答案的可信度。

總的來說，雖然目前的GPT模型在答題上還有提升空間，但通過適當的方法和技巧，可以顯著提高其答題準確性。未來，隨著技術的進一步發展，我們期待這些模型能在更多領域中展現更強大的能力和更高的準確率。