使用 Vertex 和 Python 微调 Google LLM 系列的 AI 模型

微调是在预训练的 AI 模型之上专门化 AI 模型的强大武器。与提示相比，它可以让您进一步提高输出准确性，而与从头开始开发新的 AI 模型相比，成本要低得多。

在本文中，我们将详细介绍如何使用 Vertex 和 Python 微调 Google LLM 系列的 AI 模型。我们走吧！

目录：使用 Python 微调 Google AI 模型

• 什么是 AI 模型微调
• Google AI 模型调优的数据准备
• 调整模型创建
• 调整挂起以及如何使用 Python 调用
• Google AI 模型调整成本
• 总结

什么是AI模型微调

AI 模型微调是使用您自己的数据集在预训练的 AI 模型之上自定义输出并提高准确性的过程。微调的目的是保持预训练人工智能模型的原始人工智能功能，同时对其进行调整以适应更专业的用例。通过微调在现有复杂模型的基础上构建，机器学习开发人员能够更有效地为特定用例创建有效的模型。当计算资源有限或相关数据稀缺时，这种方法特别有用，因为没有必要从头开始创建预训练模型。

例如，我们假设您是一位博主和社交媒体内容创建者，您喜欢微调模型并使其能够以您时尚的语气回复评论嗓音。此外，用您独特的语气表达价值主张来撰写博客文章。在这种情况下，微调是您通过将其与工作流程集成来部署和自动化任务的一个选项

Google AI 模型调优的数据准备

使用Vertex AI语言部分的调优，需要开发人员使用这两个键（input_text和output_text）格式化JSON数据。开发者不能与他人一起更改密钥名称。

Input_text供您添加纯粹由AI生成的提示、上下文或内容示例。相反，如果 input_text 就像您的提示一样，output_text 是培养人工智能的地方，它会给出您期望的答案。以博主和社交内容创建者为例，您可以在output_text部分添加完整的帖子、文章或其他内容格式示例。

数据集准备好后，我们需要将其转换为 JSON 行，因为这是 Google Vertext AI 语言调整所需的格式。使用Pandas dataframe的示例如下：

<前><代码> df2.to_json('文件名.jsonl', orient='记录',lines=True) pdRead = pd.read_json('yourfilepath.jsonl',lines=True)

调整模型创建

所有数据集准备就绪后，现在就可以访问 Google Cloud Vertex。我们可以创建一个Google云帐户，然后进入Vertex Studio并选择语言部分，然后单击创建调整和提取任务，如下图

然后我们需要选择更多，例如方法、模型和区域。下面是监督模型，Gemini和us-central如下：

最后但并非最不重要的一点是，我们需要将准备好的 JSON 行数据集上传到 Google Cloud 存储并在此处选择

调优待定以及如何使用 Python 调用

在模型调优的过程中，我们可以去pipline查看状态或者返回语言部分查看状态。持续时间很大程度上取决于您用于调整预训练模型的数据集。就我而言，大约需要 5 个小时才能完成

调优完成后，我们可以转到模型花园并立即使用拥有的数据集选择用于调优的模型。或者你也可以使用Python来测试。以下是脚本示例

<前><代码> deftunedModel（自我，提示，字符）： 参数={ “max_output_tokens”：int（字符）， “温度”：0.9， “顶部_p”：1 } model = TextGenerationModel.from_pretrained("AI模型版本") model222 = model.get_tuned_model("项目/项目 ID/位置/区域名称/模型/调整后的模型 ID") 响应= model222.预测（ 迅速的， **参数 ） 返回响应.文本

Google AI 模型调优成本

有关 Vertext 调整定价的更多详细信息，我们建议您前往 Google 并在官方网页上查看其更新内容。就成本而言，我们为了内容创建而调整模型。我们平均每次花费 100 美元。每次EN字符总量为35万个，大约需要5个小时。希望这些数字可以给您使用Google AI调优的成本提供参考

与 OpenAI 或 Azure AI 相比，支出相似，尽管有时后者的收费可能较低。具体情况不同。

总结

微调是一种强大的武器，可以帮助您获得专门的、利基用途的、成本相当较低的尖端人工智能模型。它节省了成本，并且不需要您投资从头开始开发。

”