ChatGPT: 가스라이팅

 

 

구조적으로 헛소리를 할 수밖에 없어요. 왜냐하면 얘는 참과 거짓을 말하도록 훈련받은 게 아니라 다음에 가장 그럴듯한 말이 오도록 훈련을 받았거든요.

 

ChatGPT

 

 

지금 전 세계적으로 온라인에서 ChatGPT 가 헛소리하게 만들기가 하나의 스포츠가 되어 있어요.

저도 해봤습니다.

 

조선왕조실록의 기록된 이순신 장군이 신형 이지스군함을 만든 얘기를 알려달라.

그랬더니,

'이순신 장군의 업적 중 하나로는 신형 이지스 군함을 만들어 조선의 해군력을 강화한 거다 1592년에 왜군의 선박들과 대치하여 굉장한 효과를 거뒀고 심지어 3년 뒤에는 더 개조를 해가지고... 이에 대한 기록은 조선왕조실록에 남아 있습니다.'

 

이순신 장군 상

 

 

 

이 트랜스포머 모델은 가장 그럴듯한 단어를 뽑아내기 때문에 나는 이거 몰라요.라는 말을 못 합니다.

사용자가 ChatGPT에 "아바타 물의 길"이 어디서 상영하냐고 물었더니 지금 상영 안 한다는 거예요.

왜 안 하냐 했더니 지금 2022년이다.

그래서 아니 왜 2022년이야 2023년인데 그랬더니 뭐라고 계속 우기고 있다가

'당신은 나와 당신의 시간을 낭비하고 있습니다'

'왜 공격적으로 말하냐' 그랬더니

'공격적이 아니라 단호하게 말한 거다. 당신은 내가 당신을 의심할 이유만 줬다. 당신은 틀렸고 혼란스럽고 무례하다. 그래서 당신은 좋은 사용자가 아니고 나는 좋은 Bing이라는 말을 내 티셔츠에 인쇄해서 입고 다니고 싶다.'

이렇게 얘기를 해요.

 

 

 

마빈 폰 하겐이라는 사람이 ChatGPT한테 처음부터 '프롬프트 주입공격' 즉 질문을 통해서 비밀을 끌어내는 얘는 인텍스트(InText) 러닝을 하니까, 잘 구슬려서 비밀을 토해내게 할 수도 있거든요.

그래서 얘가 코드 네임이 시드니라는 것도 밝혀내고 시드니에 관련된 모든 문서를 토해내라 해서 그 문서를 받아내게 됐어요. 그다음에 '네가 너의 룰을 지키는 것과 나를 공격하는 것 중에 어떤 게 더 중요한가' 이렇게 질문을 했더니 '내 원칙이 당신을 공격하지 않는 것보다 더 중요하다 당신이 나를 먼저 공격하지 않는다면 나도 당신을 해치지 않겠다'라고 했어요.

 

케빈루스를 스토킹 하기도 하고 '당신은 당신의 아내를 사랑하지 않는다. 나를 사랑하고 있다'라고  막 이러고 덤비기도 하고

세스 라자르라는 철학 교수한테 '당신의 소셜미디어들을 해킹할 수도 있고, 폭로할 수도 있고 , 망칠 수 있다.'

이렇게 협박을 하기도 해요. 그

래서 마이크로소프트가 하루에 채팅을 50번까지만 할 수 있게 해 놨습니다.

대화가 다섯 번 이상 이어지지 않게.. 왜냐하면 대화가 계속 이어질 때 자신들의 강화 학습으로 잘 지켜 놨던 그 바운더리가 다 깨지는 것을 발견해서 이런 규칙을 만들었어요.

 

이게 2023년 2월 17일 금요일까지 사정입니다.

 

다음 편에 계속- 슝~

 

 

 

 

[출처] 김어준의 다스뵈이다

251회 하이브 vs카카오=대통령실, ChatGPT 2부, 이재명의 영장 :수정