Microsoft Azure AI Content Safety는 유해 콘텐츠 감지를 위한 고급 방법을 소개합니다.

오늘 Microsoft는 생성적 AI 안전 기능에 대한 중요한 발표를 했습니다. 이 중 Azure AI 콘텐츠 안전 프레임워크 내의 새로운 도구가 도입되었는데, 이는 AI에서 생성된 환각 콘텐츠를 탐지하고 수정하는 것을 목표로 합니다. 또한 Microsoft는 Azure OpenAI 서비스가 DALL-E 3 모델을 통해 생성된 이미지에 보이지 않는 워터마크를 구현하기 시작할 것이라고 밝혔습니다.

또한 Microsoft는 Azure AI Content Safety 서비스 내에서 혁신적인 Multimodal API 의 공개 미리보기를 통해 AI 안전에 대한 집중을 계속하고 있습니다 . 이 API는 인간 제작자나 AI 도구에서 비롯된 유해하거나 부적절한 콘텐츠를 식별하도록 설계되었습니다.

Microsoft의 블로그 게시물에 따르면 :

멀티모달 API는 텍스트와 이미지 입력을 모두 수용합니다. 다중 클래스 및 다중 심각도 감지를 위해 설계되어 다양한 범주에 걸쳐 콘텐츠를 분류하고 각각에 심각도 점수를 할당할 수 있습니다. 모든 범주에 대해 시스템은 0, 2, 4, 6의 심각도 수준을 제공합니다. 숫자가 높을수록 콘텐츠의 심각도가 높아집니다.

새롭게 출시된 이 멀티모달 API는 텍스트와 이미지 모두에서 안전하지 않거나 부적절한 주제를 포함할 수 있는 이모지를 포함한 유해한 콘텐츠를 식별할 수 있습니다. 여기에는 노골적인 콘텐츠, 증오 표현, 폭력, 자해 및 성적 콘텐츠가 포함됩니다. Microsoft는 API가 텍스트와 이미지의 조합으로 나타나는 경우에도 이러한 콘텐츠를 감지할 수 있다고 강조하는데, 개별적으로 분석하면 그렇지 않으면 무해할 수 있습니다.

Microsoft는 성명에서 다음 사항을 강조했습니다.

이러한 목표를 달성함으로써 멀티모달 감지 기능은 더 안전하고 존중하는 사용자 경험을 제공하여 창의적이면서도 책임감 있는 콘텐츠 생성이 가능해집니다.

또한, Microsoft는 새로운 멀티모달 API가 유해한 콘텐츠를 신속하게 감지하여 다양한 애플리케이션이나 서비스 사용자에게 배포되지 않도록 할 수 있다고 밝혔습니다.

원천