KerasTuner超参数调优中集成自定义指标（F1、AUC等）的实践指南

本文旨在解决kerastuner在使用f1分数、auc等非默认指标作为超参数调优目标时遇到的`keyerror`问题。核心在于理解kerastuner如何识别并记录指标，并提供一套实用的方法，指导用户正确地在keras模型中编译这些指标，并以kerastuner期望的命名格式（如`val_f1_score`）来指定调优目标，从而顺利进行高效的超参数搜索。

KerasTuner超参数调优中集成自定义指标的挑战与解决方案

在使用KerasTuner进行深度学习模型超参数调优时，开发者常常希望以准确率（accuracy）以外的指标，如F1分数、AUC（曲线下面积）或ROC曲线（受试者工作特征曲线）等作为优化目标。然而，直接将这些指标的名称（例如"val_f1"）传递给kt.Objective时，KerasTuner可能会抛出KeyError，提示在训练日志中找不到对应的指标。这通常是因为KerasTuner未能识别或正确记录这些指标。

本教程将详细阐述KerasTuner如何处理调优目标，并提供一套清晰的步骤来集成自定义或非默认的Keras指标，确保它们能被KerasTuner正确地用于超参数搜索。

理解KerasTuner的调优目标与指标命名

KerasTuner在进行超参数搜索时，会从Keras模型训练过程中返回的logs字典中提取指标值。这些logs字典包含了每个epoch的训练和验证指标。为了让KerasTuner能够成功地找到并使用特定的指标作为调优目标，需要遵循以下两个关键原则：

1. 指标必须在Keras模型编译时指定。 无论是内置指标还是自定义指标，都必须在model.compile()方法的metrics参数中明确列出。
2. 调优目标的命名必须符合KerasTuner的约定。 对于验证集上的指标，其名称字符串通常遵循"val_metric_name_string"的格式。其中metric_name_string是该指标在Keras日志中记录的名称。

Keras指标类型及其命名约定

Keras支持两种主要类型的指标：

• 内置指标 (Built-in Metrics): Keras提供了许多常用的内置指标，如Accuracy, MeanAbsoluteError, F1Score, AUC等。这些指标可以直接通过其字符串名称（通常是类名的snake_case形式）或实例化对象在model.compile()中使用。例如，tf.keras.metrics.MeanAbsoluteError()对应的日志名称是"mean_absolute_error"。
• 自定义指标 (Custom Metrics): 如果内置指标无法满足需求，用户可以通过继承tf.keras.metrics.Metric类来创建自定义指标。自定义指标的日志名称通常是其类名的snake_case形式，或者在__init__方法中通过name参数指定。

重要提示： KerasTuner在寻找验证指标时，会在指标名称前加上val_前缀。例如，如果模型编译时使用了metrics=["f1_score"]，那么KerasTuner在kt.Objective中应指定为"val_f1_score"。

实践指南：在KerasTuner中使用F1分数作为调优目标

假设我们希望在二分类任务中，使用验证集上的F1分数作为KerasTuner的优化目标。以下是具体步骤：

步骤 1：导入并定义F1分数指标

TensorFlow 2.x及更高版本（或Keras 2.15+）内置了tf.keras.metrics.F1Score。对于二分类任务，我们可以直接使用它。

import tensorflow as tf
from tensorflow import keras
from tensorflow.keras import layers
from tensorflow.keras.models import Sequential
from tensorflow.keras.optimizers import Adam
import keras_tuner as kt

# 导入F1Score指标
from tensorflow.keras.metrics import F1Score, AUC

步骤 2：在Keras模型编译时包含F1分数

在HyperModel的build方法中，确保model.compile()的metrics参数中包含了F1Score的实例。

class MyHyperModel(kt.HyperModel):
    def build(self, hp):
        model = Sequential()
        model.add(layers.Flatten())
        model.add(
            layers.Dense(
                units=hp.Int("units", min_value=24, max_value=128, step=10),
                activation="relu",
            )
        )
        model.add(layers.Dense(1, activation="sigmoid")) # 二分类输出

        # 编译模型时，除了损失函数，还要添加F1Score和AUC作为评估指标
        # F1Score对于二分类通常可以直接使用，或者指定num_classes=1, average='binary'
        # AUC也类似，对于二分类任务，通常直接计算即可
        model.compile(
            optimizer=Adam(learning_rate=hp.Float('learning_rate', 5e-5, 5e-1, step=0.001)),
            loss='binary_crossentropy',
            metrics=[
                'accuracy', # 保持原有的准确率
                F1Score(name='f1_score'), # 使用F1Score，并显式命名为'f1_score'
                AUC(name='auc_score') # 使用AUC，并显式命名为'auc_score'
            ]
        )
        return model

    def fit(self, hp, model, *args, **kwargs):
        return model.fit(
            *args,
            batch_size=hp.Choice("batch_size", [16, 32, 52]),
            epochs=hp.Int('epochs', min_value=5, max_value=25, step=5),
            **kwargs,
        )

注意：

• F1Score和AUC的name参数是可选的，如果未指定，Keras会根据类名自动生成snake_case名称（例如，f1_score和auc）。显式命名可以提高代码可读性，并确保与KerasTuner的Objective名称匹配。
• 对于F1Score，在二分类场景下，num_classes通常设置为None或1，average参数可根据需求设置（如'binary'）。这里我们使用默认设置，它通常能正确处理二分类。

3. 在KerasTuner中指定F1分数作为调优目标

现在，当KerasTuner在RandomSearch中定义objective时，需要使用"val_f1_score"（如果F1Score的名称是f1_score）作为目标字符串。

# 假设X_train, y_train, X_test, y_test已经定义并加载
# 这里仅为示例，实际使用时请替换为您的数据
# from sklearn.datasets import make_classification
# from sklearn.model_selection import train_test_split
# X, y = make_classification(n_samples=1000, n_features=20, n_informative=10, n_redundant=5, random_state=42)
# X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

tuner = kt.RandomSearch(
    MyHyperModel(),
    # 将调优目标设置为验证集上的F1分数
    objective=kt.Objective("val_f1_score", direction="max"), # 注意名称是 val_f1_score
    max_trials=10, # 示例中减少试验次数以便快速运行
    overwrite=True,
    directory="my_dir",
    project_name="tune_hypermodel_f1",
)

# 开始搜索
# tuner.search(X_train, y_train, validation_data=(X_test, y_test), callbacks=[keras.callbacks.EarlyStopping('val_loss', patience=3)])

# 打印最佳超参数
# best_hps = tuner.get_best_hyperparameters(num_trials=1)[0]
# print(f"最佳超参数: {best_hps.values}")

通过以上修改，KerasTuner将能够正确地从训练日志中提取val_f1_score，并以此作为超参数优化的依据。

实践指南：在KerasTuner中使用AUC作为调优目标

集成AUC指标的步骤与F1分数类似：

1. 导入AUC指标： from tensorflow.keras.metrics import AUC
2. 在模型编译中包含AUC：

   model.compile(
       # ...
       metrics=[
           'accuracy',
           AUC(name='auc_score') # 添加AUC指标
       ]
   )

3. 在KerasTuner中指定目标：

   tuner = kt.RandomSearch(
       MyHyperModel(),
       objective=kt.Objective("val_auc_score", direction="max"), # 注意名称是 val_auc_score
       # ...
   )

总结与注意事项

• 指标命名是关键： 确保kt.Objective中指定的名称与Keras模型在model.fit()过程中日志里记录的验证指标名称完全匹配，并且带有val_前缀。
• 内置与自定义： 对于内置指标，通常是其类名的snake_case形式（如F1Score对应f1_score）。对于自定义指标，需确保其name属性或默认名称在日志中正确显示。
• 版本兼容性： 确保您使用的TensorFlow/Keras版本支持相应的内置指标。例如，tf.keras.metrics.F1Score是在较新版本中引入的。如果使用旧版本，可能需要手动实现F1分数作为自定义指标。
• 调试技巧： 如果仍然遇到KeyError，可以在MyHyperModel的fit方法中打印model.fit()返回的history.history字典，查看实际记录了哪些指标及其名称，以便准确地设置objective。

通过遵循上述指南，您将能够灵活地在KerasTuner中使用各种自定义或非默认指标作为超参数调优目标，从而更有效地优化模型的性能。