太嚇人了！如果真是這樣，能夠做出媲美GPT-4的中國公司恐怕少之又少！
首先假定：
1，英偉達的NeMo Framework框架在訓練GPT-3大模型的過程中能使硬件算力有效性能達到50%以上。
2，GPT-3大模型參數量1750億個，訓練樣本token數3000億個。
3，GPT-3大模型每次訓練時間在30天完成。
4，按谷歌每日搜索量35億次估計，即每次訪問提問4次，每次提問+回答需處理425字，平均每個字轉換為token比例為4/3，則每日GPT-3大模型需推理token數79330億個。
那么可以計算出一個參數量為1750億個的GPT-3大模型：
1，在訓練階段需要新增1558顆英偉達A100 GPU芯片，對應價值為2337萬美元，需要195臺DGX A100服務器。
2，在推理階段需要新增70.6萬顆英偉達A100 GPU芯片，對應價值為105.95億美元，需要8.8萬臺DGX A100服務器。
3，一臺DGX A100服務器售價19.9萬美元，則在訓練階段DGX A100服務器價值量為3880.5萬美元，在推理階段DGX A100服務器價值量為175.12億美元。
為了開發出實用性相當有限的GPT-3大模型（跟GPT-4相比差距很遠），僅僅是購買搭載英偉達A100 GPU芯片的服務器所需費用就超過175億美元。
訓練和推理GPT-3大模型，在硬件成本上需要花費至少175億美元；當然，也有其他方面的成本。例如，數據標注成本：需要對大量文本數據進行標注，以提供監督信號。數據標注是耗時和勞力密集的過程，需要雇傭人工標注者或使用其他方法生成偽標簽。電力成本：需要消耗大量的電力來保證服務器正常工作。電力成本也會隨著模型的規模，訓練時間和推理頻率發生變化。人力成本：要開發和維護GPT-3大模型，需要雇傭專業的工程師、研究員和管理人員。他們負責設計模型架構，選擇訓練數據，優化訓練過程，測試模型性能，解決模型問題，更新模型版本等等。
開發像ChatGPT這樣的大模型，除了有著如此高的資金門檻外，也存在非常高的技術門檻（尤其需要全球頂尖級的AI人才）——谷歌在人工智能領域算是世界一流水平，谷歌的Bard在面對OpenAI的GPT-4時都已顯著落于下風。
