pydantic_evals.generation
用于为 pydantic_evals 生成示例数据集的工具。
该模块提供了用于生成样本数据集以进行测试和示例的函数,使用 LLM 创建具有正确结构的真实测试数据。
generate_dataset async
generate_dataset(
*,
dataset_type: type[
Dataset[InputsT, OutputT, MetadataT]
],
path: Path | str | None = None,
custom_evaluator_types: Sequence[
type[Evaluator[InputsT, OutputT, MetadataT]]
] = (),
model: Model | KnownModelName = "openai:gpt-4o",
n_examples: int = 3,
extra_instructions: str | None = None
) -> Dataset[InputsT, OutputT, MetadataT]
使用 LLM 生成一个测试用例数据集,每个测试用例包含输入、预期输出和元数据。
此函数创建一个具有指定输入、输出和元数据类型的结构正确的数据集。它使用 LLM 尝试生成符合类型模式的真实测试用例。
参数
名称 | 类型 | 描述 | 默认值 |
---|---|---|---|
path
|
Path | str | None
|
用于保存生成的数据集的可选路径。如果提供,数据集将被保存到此位置。 |
None
|
dataset_type
|
type[Dataset[InputsT, OutputT, MetadataT]]
|
要生成的数据集的类型,具有所需的输入、输出和元数据类型。 |
必需 |
custom_evaluator_types
|
Sequence[type[Evaluator[InputsT, OutputT, MetadataT]]]
|
要包含在模式中的自定义评估器类的可选序列。 |
()
|
model
|
Model | KnownModelName
|
用于生成的 Pydantic AI 模型。默认为 'gpt-4o'。 |
'openai:gpt-4o'
|
n_examples
|
int
|
要生成的示例数量。默认为 3。 |
3
|
extra_instructions
|
str | None
|
提供给 LLM 的可选附加指令。 |
None
|
返回
类型 | 描述 |
---|---|
Dataset[InputsT, OutputT, MetadataT]
|
一个结构正确的 Dataset 对象,包含生成的测试用例。 |
引发
类型 | 描述 |
---|---|
ValidationError
|
如果 LLM 的响应无法解析为有效的数据集。 |
源代码位于 pydantic_evals/pydantic_evals/generation.py
32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 |
|