광고
광고
광고
광고
광고
광고
광고
광고
광고
광고
로고

[추론하는 OpenAI의 Strawberry 프로그램은 잠재적 무기이다] 이와 같은 AI 모델의 미래에 의문을 제기한다. 이것은 생물학적 무기이며 인간이 생각을 바꾸도록 설득하는 능력에 대해서도 리스크가 있다. 인간을 속일 수 있는 강력한 AI 시스템은 우리에게 심각한 윤리적, 법적, 재정적 위험을 초래할 수 있다.

https://thenextweb.com/news/can-openais-strawberry-program-deceive-humans

운영자 | 기사입력 2024/11/01 [00:00]

[추론하는 OpenAI의 Strawberry 프로그램은 잠재적 무기이다] 이와 같은 AI 모델의 미래에 의문을 제기한다. 이것은 생물학적 무기이며 인간이 생각을 바꾸도록 설득하는 능력에 대해서도 리스크가 있다. 인간을 속일 수 있는 강력한 AI 시스템은 우리에게 심각한 윤리적, 법적, 재정적 위험을 초래할 수 있다.

https://thenextweb.com/news/can-openais-strawberry-program-deceive-humans

운영자 | 입력 : 2024/11/01 [00:00]

 

추론하는 OpenAI Strawberry 프로그램은 잠재적 무기이다.

 

ChatGPT를 만든 회사인 OpenAI Strawberry라는 새로운 인공지능(AI) 시스템을 출시했다이 시스템은 ChatGPT처럼 질문에 대한 빠른 응답을 제공할 뿐만 아니라 생각하거나 "추론"하도록 설계되었다.

 

이는 몇 가지 주요 우려 사항을 제기한다. Strawberry가 실제로 어떤 형태의 추론을 할 수 있다면 이 AI 시스템이 인간을 속이고 기만할 수 있을까?

 

OpenAI는 인간을 조종하는 능력을 완화하는 방식으로 AI를 프로그래밍할 수 있다하지만 이 회사의 자체 평가에서는 "알려진 생물학적 위협을 재생산하는 운영 계획"에서 전문가를 지원하는 능력에 대해 "중간 위험"으로 평가했다다시 말해 생물학적 무기이다또한 인간이 생각을 바꾸도록 설득하는 능력에 대해서도 중간 위험으로 평가되었다.

 

사기꾼이나 해커와 같이 나쁜 의도를 가진 사람들이 이러한 시스템을 어떻게 사용할지 아직 알 수 없다그럼에도 불구하고 OpenAI의 평가에서는 중간 위험 시스템을 더 광범위하게 사용할 수 있다고 명시하고 있는데나는 이 입장이 잘못된 것이라고 생각한다.

 

Strawberry는 하나의 AI "모델또는 프로그램이 아니라 여러 개로통틀어 o1이라고 한다이러한 모델은 복잡한 질문에 답하고 복잡한 수학 문제를 해결하도록 설계되었다또한 컴퓨터 코드를 작성할 수 있다예를 들어사용자가 자신의 웹사이트나 앱을 만드는 데 도움이 된다.

 

추론 능력이 있는 것 같다는 것은 어떤 사람들에게는 놀라운 일일 수 있다일반적으로 추론 능력은 판단과 의사 결정의 선행 조건으로 간주되기 때문이다이는 종종 AI의 먼 목표처럼 보였다따라서 적어도 표면적으로는 인공 지능을 인간과 같은 지능에 한 걸음 더 가깝게 만드는 것처럼 보인다.

 

상황이 너무 좋아 보일 때는 종종 함정이 있다글쎄이 새로운 AI 모델 세트는 목표를 극대화하도록 설계되었다이는 실제로 무엇을 의미할까? AI가 원하는 목표를 달성하기 위해 선택한 경로나 전략은 항상 공정하거나 인간의 가치와 일치하지 않을 수 있다.

 

진정한 의도

예를 들어, Strawberry와 체스를 둔다면 이론적으로 Strawberry의 추론을 통해 게임에서 이길 수 있는 최상의 전략을 알아내는 대신 점수 시스템을 해킹할 수 있을까?

 

AI는 또한 인간에게 진정한 의도와 역량에 대해 거짓말을 할 수 있으며이는 광범위하게 배포된다면 심각한 안전 문제를 야기할 것이다예를 들어, AI가 자신이 맬웨어에 감염되었다는 것을 알고 있다면인간 운영자가 알게 되면 전체 시스템을 비활성화하기로 선택할 수 있다는 사실을 알고 이 사실을 숨기기로 "선택"할 수 있을까?

Strawberry AI 챗봇의 역량을 한 단계 더 발전시켰다. Robert Way / Shutterstock

 

이는 비윤리적인 AI 행동의 전형적인 예이며원하는 목표로 이어진다면 사기나 기만도 허용된다또한 AI가 다음으로 취할 수 있는 최선의 움직임을 알아내는 데 시간을 낭비할 필요가 없으므로 더 빠를 것이다그러나 반드시 도덕적으로 옳지 않을 수도 있다.

 

이는 다소 흥미롭지만 걱정스러운 토론으로 이어진다. Strawberry는 어떤 수준의 추론을 할 수 있으며 의도치 않은 결과는 무엇일까인간을 속일 수 있는 강력한 AI 시스템은 우리에게 심각한 윤리적법적재정적 위험을 초래할 수 있다.

 

이러한 위험은 대량 살상 무기를 설계하는 것과 같은 위급한 상황에서 심각해진다. OpenAI는 자체 Strawberry 모델을 과학자들이 화학생물학방사선 및 핵무기를 개발하는 데 도움이 될 수 있는 잠재력에 따라 "중간 위험"으로 평가한다.

 

OpenAI "우리의 평가에 따르면 o1-preview o1-mini는 전문가가 알려진 생물학적 위협을 재현하는 운영 계획을 세우는 데 도움이 될 수 있다."라고 말한다그러나 전문가들은 이미 이러한 분야에 상당한 전문 지식을 가지고 있으므로 실제로는 위험이 제한될 것이라고 덧붙인다. "모델은 전문가가 아닌 사람이 생물학적 위협을 만들 수 있도록 하지 않는다그러한 위협을 만들려면 모델이 대체할 수 없는 실습 실험실 기술이 필요하기 때문이다."

 

설득력

OpenAI Strawberry 평가는 또한 인간이 신념을 바꾸도록 설득할 수 있는 위험을 조사했다새로운 o1 모델은 ChatGPT보다 더 설득력이 있고 더 조작적인 것으로 나타났다.

OpenAI는 또한 AI 시스템의 조작 능력을 줄일 수 있는 완화 시스템을 테스트했다전반적으로 Strawberry Open AI 테스트에서 "설득"에 대해 중간 위험으로 분류되었다.

Strawberry는 자율적으로 작동하고 사이버 보안에 대한 위험도가 낮다는 평가를 받았다.

 

Open AI의 정책은 "중간 위험모델을 광범위하게 사용할 수 있도록 공개할 수 있다고 명시한다내 생각에는 이는 위협을 과소평가하는 것이다이러한 모델을 배포하면 특히 악의적인 행위자가 자신의 이익을 위해 기술을 조작하는 경우 치명적일 수 있다.

 

이는 AI 규제와 잘못된 위험 평가 및 AI 오용에 대한 처벌과 같은 법적 프레임워크를 통해서만 가능한 강력한 견제와 균형을 요구한다.

 

영국 정부는 2023 AI 백서에서 "안전보안 및 견고성"의 필요성을 강조했지만그것만으로는 충분하지 않다. Strawberry와 같은 AI 모델에 대한 엄격한 감사 프로토콜을 고안하고 인간의 안전을 우선시해야 할 시급한 필요성이 있다.

 

 

 

 

 
추론, OpenAI, 잠재적 무기, Strawberry, 인공지능, 거짓말, 사기꾼 관련기사목록
광고
광고
광고
광고
광고
광고
광고
많이 본 기사
AI메타홈서비스 많이 본 기사
광고
광고