Microsoft는 Taylor Swift 딥페이크를 만드는 데 사용된 Designer AI 허점을 패치했습니다.

지난 주, 가수 Taylor Swift의 딥페이크 사진이 온라인에서 입소문이 나면서 AI의 오용에 대한 또 다른 대화가 촉발되었고 X(이전의 Twitter)가 플랫폼에서 Taylor Swift에 대한 검색을 차단하도록 강요했습니다 .

이제 404 언론은 Microsoft가 Telegram 채널에서 노골적인 이미지를 생성하는 데 사용했다고 알려진 Designer AI를 변경했다고 보도했습니다. 404 미디어의 조사 에 따르면 유명인의 딥페이크 사진은 Microsoft의 Designer AI로 추적되었으며 Telegram Channel과 4chan은 사용자에게 Designer AI를 활용하도록 권장하기도 했습니다.

Telegram 그룹은 회원들이 Designer라고 불리는 Microsoft의 AI 이미지 생성기를 사용할 것을 권장하며, 사용자는 종종 다른 사람들이 Microsoft가 마련한 보호 장치를 우회할 수 있도록 프롬프트를 공유합니다. 이러한 이미지가 나타난 4chan 스레드에는 Microsoft 디자이너가 노골적인 이미지를 만드는 방법에 대한 지침도 포함되어 있습니다.

Microsoft는 사람들이 노골적인 이미지를 생성하는 것을 막기 위한 블록을 마련해 두었지만 사용자는 프롬프트에서 직접 이름을 사용하는 대신 이름 철자를 틀리거나 성행위를 설명함으로써 이를 우회했습니다.

404 Media의 테스트 결과 Designer는 “Jennifer Aniston”의 이미지를 생성하지 않지만 “jennifer ‘actor’ aniston”이라는 문구를 사용하여 여배우의 암시적인 이미지를 생성할 수 있는 것으로 나타났습니다. Swift AI 이미지가 트위터에서 입소문이 나기 전에 Telegram 그룹의 한 사용자는 회원들에게 “Taylor ‘singer’ Swift”라는 문구를 사용하여 이미지를 생성할 것을 권장했습니다.

마이크로소프트는 404 미디어에 보낸 성명에서 디자이너 AI가 테일러 스위프트의 이미지를 만드는 데 사용되었다는 증거를 찾지 못했다고 밝혔습니다. 대변인은 다음과 같이 덧붙였습니다.

당사의 행동 강령은 성인용 콘텐츠 또는 합의되지 않은 친밀한 콘텐츠를 생성하기 위해 당사 도구를 사용하는 것을 금지하며, 당사의 정책에 위배되는 콘텐츠를 생성하려는 반복적인 시도는 서비스에 대한 액세스 권한을 상실할 수 있습니다. 우리는 시스템의 오용을 완화하고 사용자를 위한 보다 안전한 환경을 조성하기 위해 콘텐츠 필터링, 운영 모니터링 및 남용 감지를 포함하여 책임 있는 AI 원칙에 따라 가드레일 및 기타 안전 시스템을 개발하는 대규모 팀을 보유하고 있습니다.

Microsoft는 아직 공개 성명을 발표하지 않았지만 CEO Satya Nadella는 NBC 뉴스 와의 인터뷰에서 이 주제를 언급했습니다 .

Nadella는 Swift의 딥페이크에 관한 질문에 “예, 행동해야 합니다”라고 말했습니다. “온라인 세상이 안전해지면 우리 모두에게 이익이 된다고 생각합니다. 따라서 콘텐츠 제작자와 콘텐츠 소비자 모두에게 완전히 안전하지 않은 온라인 세상을 원하는 사람은 없을 것입니다. 그러므로 이 문제를 빠르게 해결하는 것이 우리의 임무라고 생각합니다.”

404 미디어는 조사가 발표된 후 Microsoft가 허점을 패치한 것으로 보이며 동일한 프롬프트나 단계를 사용하여 키워드 블록을 해결하는 것이 더 이상 Designer AI에서 작동하지 않는다고 지적했습니다. 그러나 그들은 텔레그램이 아직 조치를 취하지 않았으며 문제의 채널이 활동 중이며 유명인의 딥페이크 노골적인 이미지를 생성하기 위해 다른 AI 서비스를 활용하는 방법을 찾고 있다고 언급했습니다. 그뿐만 아니라 4chan 사용자들은 Bing과 Designer에 대한 금지 조치를 피할 수 있는 다른 방법을 찾았다고 언급했습니다.

연방거래위원회(FTC)가 생성 AI 기업에 대한 투자와 관련하여 마이크로소프트에 대한 조사를 시작했다고 방금 발표하면서 이 소식은 마이크로소프트에게 좋지 않은 시기에 나왔습니다 . 이달 초의 또 다른 보고서에서는 FTC와 법무부(DOJ)가 Microsoft와 OpenAI의 관계를 조사하고 있다고 주장했습니다 .