在人工智慧領域，每天都有新的大型語言模型被推出，事情正在以驚人的速度變化。在短短几個月的發展中，我們現在可以在PC上離線執行一個類似ChatGPT的LLM。不僅如此，我們還可以訓練一個人工智慧聊天機器人，創造一個個性化的人工智慧助理。但最近讓我感興趣的是微軟對人工智慧開發的實踐方法。微軟目前正在開發一種高階形式的人工智慧系統，名為JARVIS（顯然是指漫威的鋼鐵俠），它連線到多個人工智慧模型，並以最終結果作出迴應。它的演示在Huggingface上託管，任何人現在都可以檢視JARVIS的能力。因此，如果你有興趣，馬上去學習如何使用微軟JARVIS（Hugging GPT）。
什麼是微軟JARVIS（Hugging GPT）？
微軟開發了一種獨特的協作系統，可以使用多個人工智慧模型來實現一個特定的任務。而在這一切中，ChatGPT充當了任務的控制器。該專案在GitHub上被稱為JARVIS（訪問），現在在Huggingface（因此稱為Hugging GPT）上供人們試用。在我們的測試中，它在處理文字、影象、音訊甚至視訊時都表現得非常出色。
它的工作原理類似於OpenAI用文字和影象展示GPT 4的多模態能力。然而，JARVIS更進一步，整合了各種影象、視訊、音訊等的開源LLMs。這裡最好的部分是，它還可以連線到網際網路並訪問檔案。例如，你可以從一個網站上輸入一個URL，並提出有關問題。這是非常酷的，對嗎？
你可以在一個查詢中新增多個任務。例如，你可以要求它生成一張外星人入侵的圖片，併為它寫詩。在這裡，ChatGPT會分析請求並計劃任務。之後，ChatGPT選擇正確的模型（託管在Huggingface上）來實現該任務。所選模型完成任務並將結果返回給ChatGPT。
最後，ChatGPT使用所有模型的推理結果生成響應。在這個任務中，JARVIS使用穩定擴散：
有多達20個模型與JARVIS（Hugging GPT）相連。其中一些是t5-base、stable-diffusion 1.5、bert、Facebook的bart-large-cnn、Intel的dpt-large等等。總而言之，如果你現在想要多模態功能，請馬上去看看微軟JARVIS。我們已經在這裡解釋瞭如何設定它並立即測試它：
Step 1: 獲得使用微軟JARVIS的鑰匙
1. 首先，前往此連結，登入您的OpenAI賬戶，並點選 “Create new secret key” 以獲得您的OpenAI API金鑰。將金鑰儲存在一個記事本檔案中，以便日後使用。
2. 接下來，開啟huggingface.co網站，建立一個免費賬戶。
3. 之後，點選這個連結，生成你的Hugging Face令牌。點選右側窗格中的 “New token“。
4. 在這裡，輸入一個名字（例如，我輸入的名字是 “jarvis”）。然後，將角色改為 “Write”，然後點選 “Generate a token“。
5. 接下來，點選 “copy” 按鈕，令牌將被複制到剪貼簿上。將令牌儲存到一個記事本檔案中。
Step 2: 開始使用微軟JARVIS（Hugging GPT）。
1. 要使用微軟JARVIS，請開啟此連結並在第一個欄位中貼上OpenAI API金鑰。之後，點選 “Submit”。同樣地，在第二個欄位中貼上Huggingface令牌，並點選 “Submit”。
2. 一旦兩個令牌都得到驗證，向下滾動並輸入你的查詢。為了開始，我向JARVIS詢問照片的內容，並分享了圖片的URL。
3. 它自動下載了圖片，並使用了三個人工智慧模型來完成任務，包括ydshieh/vit-gpt2-coco-en（將圖片轉換為文字），facebook/ detr-resnet-101（用於物件檢測），以及dandelin/ vilt-b32-finetuned-vqa（用於視覺問題回答）。最後，它得出的結論是，照片上有一隻貓在照鏡子。這不是很神奇嗎？
4. 在另一個例子中，我要求它轉錄一個音訊檔案，它使用OpenAI/whisper-base模型做到了。JARVIS有很多使用案例，你可以在HuggingFace上免費試用。
小結
所以這就是你如何使用Hugging GPT來完成一個使用不同AI模型的任務。我對JARVIS進行了多次測試，效果相當不錯，只是你需要經常到佇列後面去。你不能在任何半成品的PC上本地執行JARVIS，因為它需要至少16GB的VRAM和大約300GB的空間用於各種模型。
在Huggingface上也是如此，你不能克隆它並跳過免費賬戶下的佇列。你需要訂閱才能在Nvidia A10G–一種大型GPU上執行強大的模型，其費用為3.15美元/小時。總之，這就是我們的全部內容。如果你想在VS Code中使用CodeGPT，以便在程式設計時獲得幫助，請前往我們的連結指南。而要免費使用ChatGPT 4，我們為你準備了一份清單。最後，如果你有任何問題，請在下面的評論區告訴我們。
評論留言