Groq

安装

要使用 GroqModel，您需要安装 pydantic-ai，或者安装带有 groq 可选组的 pydantic-ai-slim。

pipuv

pip install "pydantic-ai-slim[groq]"

uv add "pydantic-ai-slim[groq]"

配置

要通过 API 使用 Groq，请访问 console.groq.com/keys 并按照指引找到生成 API 密钥的地方。

GroqModelName 包含可用的 Groq 模型列表。

环境变量

获得 API 密钥后，可以将其设置为环境变量

export GROQ_API_KEY='your-api-key'

然后您就可以通过名称使用 GroqModel。

from pydantic_ai import Agent

agent = Agent('groq:llama-3.3-70b-versatile')
...

或者直接用模型名称初始化模型

from pydantic_ai import Agent
from pydantic_ai.models.groq import GroqModel

model = GroqModel('llama-3.3-70b-versatile')
agent = Agent(model)
...

provider 参数

您可以通过 provider 参数提供一个自定义的 Provider。

from pydantic_ai import Agent
from pydantic_ai.models.groq import GroqModel
from pydantic_ai.providers.groq import GroqProvider

model = GroqModel(
    'llama-3.3-70b-versatile', provider=GroqProvider(api_key='your-api-key')
)
agent = Agent(model)
...

您还可以使用自定义的 httpx.AsyncHTTPClient 来定制 GroqProvider。

from httpx import AsyncClient

from pydantic_ai import Agent
from pydantic_ai.models.groq import GroqModel
from pydantic_ai.providers.groq import GroqProvider

custom_http_client = AsyncClient(timeout=30)
model = GroqModel(
    'llama-3.3-70b-versatile',
    provider=GroqProvider(api_key='your-api-key', http_client=custom_http_client),
)
agent = Agent(model)
...