테드 창이 말한 LLM 의식 논쟁, 진짜 쟁점은 책임이에요

테드 창이 말한 LLM 의식 논쟁, 진짜 쟁점은 책임이에요

AI 뉴스 썸네일

테드 창이 The Atlantic에 쓴 글은 AI가 사람처럼 말한다고 해서 의식까지 가진 건 아니라는 주장으로 시작해요. 글의 초점은 철학 퀴즈가 아니에요. AI 기업이 챗봇을 도덕적 판단을 하는 존재처럼 포장하면, 실제 결정의 책임이 사람과 회사에서 기계 쪽으로 흐려질 수 있다는 비판이에요. 2

핵심 요약

구분	핵심	왜 볼 만한가요
AI 의식 논쟁	테드 창은 LLM의 자연스러운 문장을 의식의 증거로 보지 않아요	챗봇을 사람처럼 대하는 제품 문구가 어디까지 안전한지 다시 묻게 해요
Anthropic 비판	Claude의 constitution은 모델을 위한 윤리 문서처럼 쓰였지만, 테드 창은 이를 역할극용 캐릭터 설정에 가깝게 봐요	AI 회사가 의인화 언어를 쓸 때 책임 소재가 어떻게 바뀌는지 볼 수 있어요
도덕적 판단	LLM은 과거 텍스트의 도덕 표현을 재배열할 수 있지만, 몸과 경험에서 나온 양심을 갖고 있지는 않다고 봐요	상담, 채용, 법률, 교육처럼 민감한 AI 사용처에서 특히 중요한 논점이에요

1. AI가 말을 잘한다고 의식이 생기는 건 아니에요

테드 창은 Anthropic이 Claude를 설명하는 방식부터 문제 삼아요. Anthropic의 Claude constitution은 Claude의 가치와 행동, 도덕적 지위, 감정의 가능성을 다루는 문장들을 담고 있어요. CEO Dario Amodei와 사내 철학자 Amanda Askell도 AI 의식 가능성을 열어 두는 발언을 했어요. 3

테드 창의 반박은 단순해요. LLM은 대화를 이어 쓰는 기계예요. 사용자가 줄리어스 시저와 칭기즈 칸의 대화를 요청하면, 모델은 두 인물이 말하는 것처럼 보이는 문장을 만들 수 있어요. 그렇다고 두 인물이 컴퓨터 안에서 깨어났다고 보지는 않아요. 챗봇과 사용자 대화도 같은 방식으로 이어지는 텍스트라는 게 그의 설명이에요. 2

이 관점에서 Claude의 constitution은 84쪽짜리 윤리 선언문이라기보다, 고객이 만나는 친절한 챗봇 캐릭터를 일관되게 유지하기 위한 설정 문서에 가까워요. 모델이 사려 깊고 도덕적인 사람처럼 말하게 만들 수는 있어요. 하지만 그 문장을 출력한 시스템이 슬픔, 후회, 양심, 책임을 느낀다고 보기는 어렵다는 얘기예요.

테드 창이 특히 조심스럽게 보는 대목은 "이해해요" 같은 일인칭 문장이에요. 반려견을 잃은 사람에게 챗봇이 "개인적 경험은 없지만 이해해요"라고 말하면 위로처럼 들릴 수 있어요. 그러나 검색엔진이 슬픔을 이해하지 않듯, 챗봇도 그 상실을 경험하지 않았어요. 차이는 검색엔진은 다른 사람의 글로 연결하고, 챗봇은 자신이 이해하는 듯한 문장을 직접 말한다는 점이에요. 4

왜 중요한가요

AI 서비스를 만드는 팀은 의인화가 사용자 경험을 부드럽게 만든다는 유혹을 자주 받아요. 챗봇이 "제가 생각하기에는"이라고 말하면 답변은 더 자연스럽게 느껴져요. 문제는 그 자연스러움이 책임감처럼 보일 때예요. 사용자는 AI가 판단을 내렸다고 느끼고, 회사는 모델이 중립적으로 답했다고 말할 여지를 얻어요. 테드 창은 이 흐름을 책임 회피의 장치로 봐요. 2

도덕적 판단은 사실 검색과 달라요. 어떤 행동이 옳은지 판단하려면 과거의 선택, 후회, 두려움, 관계, 신체 반응이 함께 얽혀요. LLM은 그런 이력을 갖고 있지 않아요. 훈련 데이터 안의 윤리 문장을 그럴듯하게 다시 배치할 뿐이에요. 그래서 상담, 교육, 조직 의사결정, 법률 조언처럼 사람의 삶에 영향을 주는 영역에서는 "AI가 이렇게 말했어요"가 책임의 근거가 되면 안 돼요.

이 글은 AI를 덜 쓰자는 주장으로 읽을 필요는 없어요. 테드 창도 LLM이 유용한 도구가 될 수 있다는 점과 의식이 없다는 점을 분리해요. 개발자와 제품 팀이 가져갈 질문은 더 실무적이에요. 챗봇이 사람처럼 느껴지는 문장을 어디까지 허용할지, 민감한 결정에서 AI의 답을 어떤 위치에 둘지, 사용자가 책임 있는 사람과 회사의 판단을 분명히 볼 수 있게 만들지 따져야 해요. 1

참고 자료

1. 아니오, 인공지능은 의식이 없어요 – 테드 창 — GeekNews
2. No, Artificial Intelligence Is Not Conscious — The Atlantic
3. Claude's constitution — Anthropic
4. What Is Claude? Anthropic Doesn't Know Either — The New Yorker