将Mixtral和REST API:使用Huggingface Spaces将Mixtral-8x7B转换为一个API,保持HTML结构不变。

AI已经成为我们技术领域不可分割的一部分,使我们能够在语言处理和理解方面开辟新的疆域。Mixtral-8x7B是一款先进的大型语言模型(LLM),在其他LLM中脱颖而出。

通过利用高质量的稀疏专家混合模型(SMoE)与开放权重,该模型在大多数基准测试中能够与Llama 2 70B以及GPT3.5相匹配甚至超越其表现。

LLM Benchmarks comparing Mixtral 8x7B with GPT-3.5 & LLaMA 2 70B

在本文中,我将解释如何使用Huggingface spaces免费将Mixtral-8x7B转换为完全功能的API。

这将成为您利用人工智能革新应用程序和服务的起点。

要点摘要

  • Mixtral-46.7B可以转化为一个免费的LLM API,为AI创新和构建工具打开了新的可能性。
  • Huggingface Spaces提供了免费部署任何LLM的可能性。
  • 将Mixtral转化为一个API可以带来许多好处,包括增强的语言处理能力和个性化的用户体验。

创建一个Huggingface帐号

Hugging Face是一家法美创业公司,专注于开发机器学习工具。

它也是机器学习和人工智能领域最大的开源社区。我们将在本教程中使用它。

请确保在https://huggingface.co上创建一个Huggingface帐号。

复制我的Huggingface空间

在创建了一个Huggingface账户之后,前往以下网址:https://huggingface.co/spaces/iiced/mixtral-46.7b-fastapi/(这是我的Huggingface空间)。

去右上角按下三个点按钮,然后点击“克隆存储库”。

Cloning Respository on Huggingface

如果你做了一切正确的事情,你应该有一个看起来像这样的窗口:

发送 API 请求

完成上述步骤之后,现在我们将继续检查这个工作是否正确。

CURL请求将类似于这样:

curl -X POST \
-H "Content-Type: application/json" \
-d '{
"prompt": "What is the capital of France?",
"history": [],
"system_prompt": "You are a very powerful AI assistant."
}' \
https://iiced-mixtral-46-7b-fastapi.hf.space/generate/

为了测试这个,我们将复制这段代码并进入Postman。

如果你没有账户,请确保在https://www.postman.com上创建一个账户。

创建完您的Postman账户之后,仪表板应该类似于这样。

只需粘贴您之前复制的CURL请求,然后点击“发送”,您应该会收到如下的响应。

API Request in Postman to test the LLM API

注意:

请确保根据自己的喜好和使用情况修改提示和系统提示。

如果你找不到链接,只需返回到你的Huggingface空间,点击右上角的三个点,选择“嵌入此空间”,然后你将获得链接。

您的API Endpoint将会是这样的:

https://[YOUR-DIRECT-URL]/generate/

使用其他的LLMs

如果您想要使用其他的LLMs,请返回您的hugging face空间,进入“文件”然后点击“main.py”。

点击“编辑”,然后修改代码的第9行,就像下面所示。

注意:您可以通过浏览HuggingFace Hub找到其他的LLMs,它有许多免费的LLMs,您可以尝试使用这种方法。

  • 例如,如果我想要使用GPT-2模型,我会复制这个突出显示的部分,然后粘贴到代码“main.py”中并保存。

这是如何在使用Hugging Face spaces开发任何应用程序时将Mixtral-8x7B转化为可用的API的方式,这只是一个入门指南和我个人对这个项目的文档记录。

我希望这篇文章能给您带来启发,因为这是我第一次写的Medium文章!

我的学校社区

加入我的学校社区(免费终身有限访问权,待转换为付费):https://www.skool.com/hichems-team-3736/about

2024-02-03 04:20:00 AI中文站翻译自原文