跳到主要内容

調用本站非OpenAI模型

原理​

本站以OpenAI模型調用介面為標準，聚合了多個非OpenAI模型，包括但不限於穀歌的gemini-pro、Claude3等模型。調用非OpenAI模型和調用openAI模型一樣，只需要修改對應模型名字即可。模型名字見網站後臺設置頁面；
圖片

應用中-Lobe-chat為例​

通常情況下本網站提供的key僅可調用open ai模型（如GPT-3.5等等）。 圖片
如果想要調用聚合的模型，可以通過自訂模型名稱的方式實現。

  1. 首先打開設置介面，找到模型清單一欄。
    • 打開網站後臺設置頁面，找到模型清單。
    • 複製你想要使用的模型名稱（如gemini-pro或claude-3-opus-20240229）。
      圖片
      圖片
    • 輸入你想要使用的模型名稱並選擇。
    • 確認手動添加的模型出現在open ai一欄的下方。
      圖片
  4. 選擇open ai一欄中自己要使用的模型（比如gemini-pro），效果如下。
    圖片

開發調用-以官方庫為例子​

  • 使用官方庫示例代碼進行調用。以下是一個Python示例代碼：
from openai import OpenAI

client = OpenAI(
    # #將這裡換成你在aihubmix api keys拿到的金鑰
    api_key="sk-xxx",
    # 這裡將官方的介面訪問位址，替換成aihubmix的入口位址
    base_url="https://aihubmix.com/v1"
)

chat_completion = client.chat.completions.create(
    messages=[
        {
            "role": "user",
            "content": "Say this is a test",
        }
    ],
    model="claude-3-opus-20240229",
)

print(chat_completion)

特殊情況（Next Web用戶端）​

如果你使用的是Next Web用戶端，確保你已經升級到最新版本（v2.13.0）。在這個版本中，增加了自訂模型的方式：

  1. 輸入自訂模型名：
    • 由於Next Web用戶端會根據輸入的模型名稱自動判斷模型服務商，而本網站提供的key只適用於OpenAI介面。
    • 所以在輸入自訂模型名時，格式應為：“+‘想使用的模型名字’@OpenAI”。
    • 例如，若要使用gemini-pro模型，自訂模型名輸入：“+gemini-pro@OpenAI”。
    • 通過這種方式，可以把模型服務商手動指向OpenAI。
  2. 確認選擇：
    • 在選擇模型介面，確認手動添加的模型（OpenAI）出現在下方。
      圖片