論 OepnAI 開源 GPT-3，與近期 GPT-4 品質問題

我推論 GPT-3 的確會開源，我預測最晚明年。

English Translation: Discussing OpenAI's Open Sourcing of GPT-3 and Recent GPT-4 Quality Issues

OpenAI 開源 GPT-3?

• OpenAI's plans according to Sam Altman 原網站文章已應 OpenAI 要求撤下。這裡有過去存檔。

• 我覺得裡面的資訊符合認知，除了開源一事比較奇怪，應該不是假造的。

• 被要求撤下的原因，我猜可能這其實是閉門會議，並不是公開發言或採訪，也許有些資訊會影響到股價...

• 我推測 OpenAI 開源 GPT-3 是很有可能的，但原因並不是如他所說擔心其他人無法執行該模型。相信一定會有公司/機構有辦法跑得起來，也會有人做出精簡版讓更多人可以執行。

• 他的真正目的其實是希望打壓其他開源的作品，希望大家回來依賴 OpenAI 模型，而不是另行發展自己的，最後連 OpenAI 也擋不住。

• 開源 GPT-3 而不是 GPT-3.5? 是否包含 RLHF? 原始模型最強大但也危險，RLHF 後比較安全。若依負責任角度，應該要釋出包含 RLHF 版本。這樣讓惡意的人比較不好用，但對想賺錢的公司就好用多了。但我懷疑 OpenAI 可能只會釋出原始模型，讓大家再忙一陣子才能開始賺錢用。

• 何時會開放? 等到開源模型對 GPT-3 開始構成威脅的時候。

• 那是何時??? 依開源模型的進展速度，我預測是今年內，最晚明年。

GPT-4 品質

• 看其他人的反應說 GPT-4 最近速度變快，但品質變差，不過 API 似乎沒變。

• 我推測是 5/24 版本之後的變更。

• 我現在用 GPT-4，不但速度變快很多，單字顯示的速度已經快到閱讀跟不上了，而且內容精簡，直接答出，不再囉哩八嗦的。我沒有感覺到品質變差。

• 相信這是提升效能的成果，而且相信有重新訓練獎勵目標，讓 GPT 產生精簡的答案，減少佔用 GPU 時間，才能服務更多使用者。

• 這代表以前的訓練，人類訓練師偏好完整的答案。但現在大規模商業化之後，發現精簡的答案更符合公司與使用者的利益。