如何在多个列上运行“大期望”期望？

Question

我想使用Great Expectations testing suite在许多列上运行相同的验证。我看到有一个封闭的feature request可以将其作为内置的期望值，但是可以使用列名的for循环来完成吗？

此外，我需要过滤要测试的列-我正在针对不同的类ID训练各种计算机视觉模型，因此我需要选择与类ID对应的所有列。

Answer 1

不幸的是，如果您在文档中搜索filter()，则没有任何文档记录，但是如果您查看type(batch)，就会发现它是great_expectations.dataset.pandas_dataset.PandasDataset，它是according to the docs的子类pandas.DataFrame。

因此，您可以像使用常规batch.filter()一样过滤列，并在列上运行for循环：

但是有一个陷阱：您不能直接在过滤的DataFrame上运行期望；相反，您必须对原始batch数据集运行期望值，否则当您尝试进行filtered_df.save_expectation_suite()

时会出错