基于离散余弦变换的激活水印(DCT-AW)
本文题为《Watermarking Kolmogorov-Arnold Networks for Emerging Networked Applications via Activation Perturbation》,由台湾国立清华大学和工业技术研究院的研究团队撰写,发表于2025年。论文针对Kolmogorov-Arnold Networks(KAN)的知识产权保护问题,提出了一种新型水印方法——基于离散余弦变换的激活水印(DCT-AW)。以下是详细总结,内容按论文结构组织,确保覆盖核心贡献、方法、实验和结论。
一、引言与背景
随着机器学习在推荐系统、社交网络分析等关键领域的广泛应用,保护模型知识产权(IP)成为挑战。现有深度学习神经网络(DNN)水印技术(如CNN水印)在传统架构上表现良好,但不适用于新兴的Kolmogorov-Arnold Networks(KAN)。KAN基于Kolmogorov-Arnold表示定理,使用可学习的激活函数(如B样条),在复杂关系建模(如网络结构数据)中展现出强大潜力,但其独特设计引入了水印新挑战:
- 现有水印方法弱点:应用于KAN时暴露两大缺陷:
- W1: 任务依赖性(Task Dependency):多数DNN水印方法(如基于触发集或信号的方法)依赖特定任务假设(如分类任务决策边界),难以泛化到回归等其他任务。
- W2: 攻击脆弱性(Vulnerability to Attacks):KAN的可学习激活函数和架构使其易受水印移除攻击(如微调、剪枝、剪枝后重训练)。实验表明,传统方法在KAN上面对攻击时水印准确率显著下降(表I)。
- 研究动机:为填补KAN知识产权保护的空白,论文提出DCT-AW方法,旨在实现功能保持(水印嵌入不影响模型性能)和攻击鲁棒性(抵抗水印移除攻击)。
论文的核心贡献包括:
- 分析并验证了W1和W2弱点。
- 设计了首个针对KAN的水印框架DCT-AW。
- 通过实验证明DCT-AW的任务独立性和高鲁棒性。
二、相关工作和理论基础
- DNN水印技术综述:现有方法分为三类:
- 基于触发集(Trigger-set-based):如Adi et al. (2018) 和 Zhang et al. (2018),使用预定义样本作为水印密钥,但依赖任务标签。
- 基于特征(Feature-based):如Fan et al. (2021) 的护照水印,嵌入参数特定信息,但架构不兼容KAN。
- 基于信号(Signal-based):如Chien et al. (2024),通过输出扰动嵌入水印,但仅适用于分类任务。
- Kolmogorov-Arno