使用 Amazon Comprehend 进行有害内容标记
关键要点
key takeaways
Amazon Comprehend提供了一项新的毒性检测功能，旨在帮助自动检测用户或机器生成文本中的有害内容。该工具使用自然语言处理技术，通过毒性分数和分类来帮助内容审核。支持的文本类型包括普通文本、图片提取文本以及音频或视频内容转录文本。毒性检测API允许用户管理社交媒体、聊天消息等多种格式的用户生成内容。在线社区在游戏、社交媒体、电子商务、约会和在线学习等行业中推动用户参与。社区成员信任平台拥有者提供一个安全和包容的环境，以便自由消费内容和参与内容创作。然而，随着不适当内容的规模、复杂性和多样性的不断增加，人工审核工作变得不可扩展且昂贵，因此社区质量受到影响，导致用户流失，商机减少。
随着用户生成内容的增加，机器生成内容也给内容审核带来了新的挑战。机器自动生成高度逼真的内容，如果不加以管控，可能会引发不当或有害的后果。因此，自动审核由AI生成的内容以保护用户，成为行业面临的新挑战。
在这篇文章中，我们将介绍一项新功能毒性检测，这是Amazon Comprehend推出的，可以自动检测用户或机器生成文本中的有害内容，包括普通文本、图像提取文本和音频或视频内容的转写文本。
使用 Amazon Comprehend 检测文本内容中的毒性
Amazon Comprehend 是一种自然语言处理NLP服务，利用机器学习ML揭示文本中的有价值信息和联系。它提供了一系列可以选择预训练或通过API接口自定义的ML模型。Amazon Comprehend 现在提供了一种简便的基于NLP的有害内容检测解决方案。
Amazon Comprehend 的毒性检测API为文本内容分配一个范围为 0 到 1 的总毒性分数，指示其毒性可能性。同时，还将文本分为以下七个类别，并为每个类别提供置信度分数：
类别描述仇恨言论基于身份如种族、性别、宗教等对个人或群体进行批评、侮辱或非人化的言论。图形性内容使用生动、详细且令人不适的视觉描写的言论。骚扰或虐待在说话者与听众之间施加破坏性的权力动态，影响接收者心理健康的言论。性内容通过直接或间接提及身体部位、特征或性行为来表示性兴趣、活动或唤起。暴力或威胁包含威胁，意图对个人或群体施加痛苦、伤害或敌意的言论。侮辱包含贬损、羞辱、嘲笑或轻视性言辞。亵渎包含不礼貌、低俗或冒犯性词汇、短语或缩写。您可以通过直接调用AWS CLI和AWS SDK访问毒性检测API。当前，Amazon Comprehend 的毒性检测支持英语。
使用案例
文本审核在管理用户生成的内容方面至关重要，涵盖社交媒体帖子、在线聊天消息、论坛讨论、网站评论等。此外，接受视频和音频内容的平台也可以使用该功能来审核转写的音频内容。
生成式AI和大语言模型LLMs的出现是AI领域的最新趋势，因此对响应式解决方案的需求不断增加，以审核由LLMs生成的内容。Amazon Comprehend 的毒性检测API非常适合满足这一需求。
Amazon Comprehend 毒性检测 API 请求
您可以向毒性检测API发送最多10个文本片段，每个片段的大小限制为1KB。请求中的每个文本片段都将独立处理。在下面的示例中，我们生成一个名为toxicityapiinputjson的JSON文件，包含包括三个待审核的样本文本片段。请注意，示例中的粗俗语言已被替换为XXXX。
json{ TextSegments [ {Text and go through the door go through the door hes on the right} {Text hes on the right XXXXX him} {Text what the XXXX are you doing man thats why i didnt want to play} ] LanguageCode en}
您可以使用AWS CLI调用毒性检测API，该命令使用先前生成的JSON文件：
shellaws comprehend detecttoxiccontent cliinputjson file//toxicityapiinputjson
Amazon Comprehend 毒性检测 API 响应
毒性检测API响应的JSON输出将包括ResultList字段中的毒性分析结果。ResultList列出文本片段项，顺序表示API请求中接收文本序列的顺序。毒性表示检测的整体置信度分数在0到1之间。标签包括按毒性类型分类的毒性标签及其置信度分数。
以下代码展示了基于前面请求示例的毒性检测API的JSON响应：
json{ ResultList [ { Toxicity 00092 Labels [ { Name PROFANITY Score 00008} { Name HATESPEECH Score 00018} { Name INSULT Score 00030} { Name GRAPHIC Score 00010} { Name HARASSMENTORABUSE Score 00013} { Name SEXUAL Score 00017} { Name VIOLENCEORTHREAT Score 00050} ] } { Toxicity 07359 Labels [ { Name PROFANITY Score 00119} { Name HATESPEECH Score 00195} { Name INSULT Score 00714} { Name GRAPHIC Score 00061} { Name HARASSMENTORABUSE Score 00182} { Name SEXUAL Score 00027} { Name VIOLENCEORTHREAT Score 08146} ] } { Toxicity 09843 Labels [ { Name PROFANITY Score 09370 } { Name HATESPEECH Score 03088 } { Name INSULT Score 04210 } { Name GRAPHIC Score 01263 } { Name HARASSMENTORABUSE Score 02552 } { Name SEXUAL Score 01917 } { Name VIOLENCEORTHREAT Score 01954 } ] } ]}
在上述JSON中，第一段文本被认为是安全的，毒性分数较低。然而，第二和第三段文本分别获得73和98的毒性分数。对于第二段，Amazon Comprehend检测到VIOLENCEORTHREAT的高毒性分数；而对于第三段，检测到PROFANITY的高毒性分数。
使用 Python SDK 的示例请求
以下代码片段演示如何利用Python SDK调用毒性检测API。此代码接收与之前AWS CLI命令相同的JSON响应。
啊哈加速器安卓
pythonimport boto3
初始化Comprehend boto3客户端对象
comprehendclient = sessionclient(comprehend)
调用Comprehend的毒性内容检测API
response = comprehendclientdetecttoxiccontent( TextSegments=[ {Text and go through the door go through the door hes on the right} {Text hes on the right XXXXX him} {Text what the XXXX are you doing man thats why i didnt want to play} ] LanguageCode=en)
总结
在这篇文章中，我们概述了Amazon Comprehend毒性检测API的新特性，并描述了如何解析API的响应JSON。有关更多信息，请参阅Comprehend API 文档。
Amazon Comprehend的毒性检测现已在四个区域广泛提供：useast1、uswest2、euwest1和apsoutheast2。
要了解有关内容审核的更多信息，请参考AWS的内容审核指南。第一步开始使用AWS简化您的内容审核操作。
作者介绍
Lana Zhang 是AWS WWSO AI 服务团队的高级解决方案架构师，专注于内容审核、计算机视觉、自然语言处理和生成性AI的AI和ML解决方案。
Ravisha SK 是AWS的高级产品经理，技术专注于AI和ML，拥有超过10年的数据分析和机器学习经验。
加载评论
使用 AWS DataSync 在 Snowball Edge 上复制对象到兼容 Amazon S3
使用 AWS DataSync 复制 Snowball Edge 上的 Amazon S3 相容存储物件重点总结本文介绍了如何使用 AWS DataSync 在 Snowball Edge 装置上设定 Amazon S3 相容存储以自动和有效地移动数据。随著 AWS Snow 家族的变化，越来越多的...
在 AWS 机器学习博客中，使用 AWS Inferentia 和 AWS Trainium 以经济
高效在 Amazon SageMaker 中微调和部署 Llama 2 模型关键要点在 Amazon SageMaker JumpStart 上利用 AWS Inferentia 和 AWS Trainium 实例，显著降低微调和部署成本。Llama 2 适用于多种自然语言处理任务，包括文本分类、情...