OpenAI Privacy Filter实战教程：Transformers与Transformers.js双框架调用指南

OpenAI Privacy Filter实战教程：Transformers与Transformers.js双框架调用指南

【免费下载链接】privacy-filter项目地址: https://ai.gitcode.com/hf_mirrors/openai/privacy-filter

OpenAI Privacy Filter是一款强大的双向令牌分类模型，专为文本中的个人身份信息（PII）检测和屏蔽而设计。本教程将详细介绍如何在Transformers和Transformers.js两个框架中调用这一模型，帮助新手和普通用户轻松实现文本隐私保护。

🌟 模型简介：为什么选择OpenAI Privacy Filter？

OpenAI Privacy Filter具有以下突出特点，使其成为隐私保护的理想选择：

• 宽松的Apache 2.0许可证：非常适合实验、定制和商业部署。
• 小巧的模型尺寸：可在Web浏览器或笔记本电脑上运行，总参数为1.5B，活动参数为50M。
• 可微调性：通过简单且数据高效的微调，使模型适应特定的数据分布。
• 长上下文：128,000令牌的上下文窗口，无需分块即可处理长文本，实现高吞吐量。
• 运行时控制：通过预设操作点配置精确率/召回率权衡和检测跨度长度。

🚀 Transformers框架调用指南

1️⃣ 使用pipeline API

Transformers库的pipeline API提供了一种简单快捷的方式来使用预训练模型。以下是使用OpenAI Privacy Filter进行令牌分类的示例代码：

from transformers import pipeline classifier = pipeline( task="token-classification", model="openai/privacy-filter", ) classifier("My name is Alice Smith")

2️⃣ 使用AutoModelForTokenClassification模型

如果需要更多的控制权，可以直接使用AutoModelForTokenClassification和AutoTokenizer类：

import torch from transformers import AutoModelForTokenClassification, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("openai/privacy-filter") model = AutoModelForTokenClassification.from_pretrained("openai/privacy-filter", device_map="auto") inputs = tokenizer("My name is Alice Smith", return_tensors="pt").to(model.device) with torch.no_grad(): outputs = model(**inputs) predicted_token_class_ids = outputs.logits.argmax(dim=-1) predicted_token_classes = [model.config.id2label[token_id.item()] for token_id in predicted_token_class_ids[0]] print(predicted_token_classes)

🌐 Transformers.js框架调用指南

对于Web开发，Transformers.js提供了在浏览器中运行模型的能力。以下是使用OpenAI Privacy Filter的示例：

1️⃣ 使用pipeline API

import { pipeline } from "@huggingface/transformers"; const classifier = await pipeline( "token-classification", "openai/privacy-filter", { device: "webgpu", dtype: "q4" }, ); const input = "My name is Harry Potter and my email is harry.potter@hogwarts.edu."; const output = await classifier(input, { aggregation_strategy: "simple" }); console.dir(output, { depth: null });

2️⃣ 示例输出

执行上述代码后，你将得到类似以下的输出：

[ { entity_group: 'private_person', score: 0.9999957978725433, word: ' Harry Potter' }, { entity_group: 'private_email', score: 0.9999990728166368, word: ' harry.potter@hogwarts.edu' } ]

📋 模型详情

模型描述

Privacy Filter是一个具有跨度解码功能的双向令牌分类模型。它分阶段训练，首先进行自回归预训练。然后，将预训练的语言模型修改并后训练为具有128带宽的双向带状注意力令牌分类器（有效注意力窗口：包括自身在内的257个令牌）。

输出类别

Privacy Filter可以检测8种隐私跨度类别：

1. account_number（账号）
2. private_address（私人地址）
3. private_email（私人电子邮件）
4. private_person（私人姓名）
5. private_phone（私人电话）
6. private_url（私人URL）
7. private_date（私人日期）
8. secret（秘密信息）

⚠️ 注意事项与局限性

• 过度依赖风险：Privacy Filter是一种编辑和数据最小化辅助工具，而非匿名化、合规性或安全保证。
• 静态标签策略：模型只会识别与训练标签分类和定义匹配的个人数据跨度。
• 性能差异：在非英语文本、非拉丁脚本、受保护群体命名模式或与模型训练相比分布外的领域上，性能可能会下降。
• 失败模式：模型可能会出现错误，如对不常见的个人姓名、区域命名约定、首字母缩写、荣誉头衔引用或特定领域标识符的检测不足等。

🛠️ 开始使用

要开始使用OpenAI Privacy Filter，请先克隆仓库：

git clone https://gitcode.com/hf_mirrors/openai/privacy-filter

然后根据上述教程，在Transformers或Transformers.js框架中调用模型，实现文本隐私保护。

OpenAI Privacy Filter为数据处理提供了强大的隐私保护能力，无论是在服务器端还是在浏览器中，都能轻松集成。希望本教程能帮助你快速上手这一工具，为你的应用添加可靠的隐私保护功能！

【免费下载链接】privacy-filter项目地址: https://ai.gitcode.com/hf_mirrors/openai/privacy-filter