AI의 판단, 그것은 과연 중립일까

“AI는 인간보다 더 공정하다.” 이 말은 오랫동안 기술 신봉자들이 붙들어온 신화였다. 하지만 오늘날 우리는 AI의 ‘판단’이 결코 중립적이지 않다는 사실을 목격하고 있다. 채용 알고리즘이 여성 지원자를 탈락시키고, 범죄 예측 시스템이 흑인 피의자를 더 위험하다고 판단하며, 검색 엔진이 특정 정치적 입장을 강화한다.
AI의 편향은 단순한 기술적 결함이 아니라, 인간 사회의 구조적 불평등이 데이터 속에 녹아든 결과다. 그리고 그 판단은, 결국 “AI가 학습한 인간의 역사”그 자체를 반영한다.

AI의 판단은 논리와 수학의 언어로 표현되지만, 그 이면에는 인간이 설계하고, 인간이 수집한 데이터가 있다. ‘객관적인 기계’라는 환상은 결국 인간의 주관이 은밀히 스며든 산물이다. 따라서 질문은 이렇게 바뀌어야 한다.

“AI는 무엇을 학습했는가?”가 아니라 “AI는 누구를 닮았는가?”

데이터가 만들어낸 ‘사회적 거울’

4차 산업혁명의 핵심은 데이터다. 그리고 AI는 그 데이터를 먹고 자란다. 문제는, 그 데이터가 결코 ‘순수’하지 않다는 데 있다.
건국대학교와 국립국어원이 수행한 「문장 문법성 판단을 위한 기초 자료 구축」 사업에서도 밝혀졌듯, 인간의 언어 판단조차 약 83%의 일치율에 그쳤다. 즉, 사람 사이의 인식 차이가 그대로 데이터에 녹아든다. 언어 데이터, 이미지, 행동 로그—all of them are biased.

AI는 과거 데이터를 학습해 미래를 예측한다. 하지만 과거의 데이터는 언제나 사회적 불평등과 차별의 흔적을 품고 있다. 미국의 아마존은 한때 ‘남성’을 선호하는 채용 알고리즘을 사용했는데, 이유는 간단했다. 과거 10년간의 인사 데이터를 학습했기 때문이다. ‘남성 중심의 IT 업계 구조’가 곧 ‘우수 인재의 패턴’으로 해석된 것이다.

결국 AI의 편향은 사회가 만들어낸 불평등의 거울이다. 기계가 인간을 닮는 것이 아니라, 인간 사회가 기계를 통해 다시 자신을 복제하는 것이다.

기술, 철학, 그리고 윤리의 교차점

AI 편향에 대한 논의는 기술 문제를 넘어 철학적 영역으로 확장된다. 기술학자 캐시 오닐은 그녀의 저서 『대량살상 수학무기』에서 “데이터는 과거를 정당화하고 미래를 통제한다”고 말했다. 실제로 알고리즘은 ‘보이지 않는 규칙’으로 사회의 작동 원리를 다시 설계한다.

윤리학자 마이클 샌델은 “AI의 공정성은 계산의 문제가 아니라 책임의 문제”라고 강조했다. 즉, 우리는 AI가 내리는 판단의 결과를 기술적 결함으로만 볼 수 없다. 그것은 인간의 선택이 개입된 결과다.
한편, 기술업계는 이러한 문제를 ‘설계의 투명성’으로 해결하려 한다. 예컨대 구글은 알고리즘의 편향을 줄이기 위해 데이터셋의 출처, 수집 방식, 라벨링 기준을 공개하는 “모델 카드(Model Card)”제도를 도입했다.

하지만 단순한 기술적 조치만으로는 충분하지 않다. 편향은 코드에 있는 것이 아니라, 그 코드를 작성한 사람의 세계관에 있기 때문이다. 따라서 AI 편향 문제는 결국 인간의 철학적 문제로 귀결된다.

인간의 책임과 AI의 한계

AI의 의사결정은 수학적 모델을 기반으로 하지만, 그 ‘판단의 방향’은 인간이 정한다. 이는 국립국어원의 「표준 국어 문법 개발」 연구이 강조한 것과도 닮아 있다. 즉, 언어의 표준화를 위해선 사회적 합의와 가치 판단이 필요하듯, AI의 공정성 또한 사회적 판단의 산물이다.

AI의 판단은 인간의 ‘가정(assumption)’을 내장한다.

1. 데이터 선택: 어떤 데이터를 ‘대표적’이라 할 것인가?
2. 학습 기준: 무엇을 ‘정답’이라 정의할 것인가?
3. 결과 평가: 어떤 결과를 ‘공정하다’고 부를 것인가?

이 세 가지 질문은 전적으로 인간의 몫이다.
2023년 스탠퍼드대 연구에 따르면, AI 채용 시스템의 68%가 사회적 편향을 내포하고 있었고, 그 중 42%는 설계자의 무의식적 판단이 원인이었다. 즉, 기계의 문제는 곧 인간의 문제였다.

결국 책임은 ‘데이터를 만든 사람’, ‘알고리즘을 설계한 사람’, 그리고 ‘결과를 사용하는 사람’모두에게 있다. AI는 책임을 질 수 없다. 하지만 인간은 책임을 회피할 수 없다.

인간과 AI, 공존을 위한 윤리적 설계

AI가 인간의 판단을 닮아간다는 사실은 불안하면서도 동시에 희망적이다. 그것은 우리가 AI를 어떻게 설계하느냐에 따라 더 나은 사회를 만들 수도 있다는 가능성을 의미한다.

AI가 편향된 인간을 닮지 않게 하려면, 인간 스스로가 자신의 편향을 자각해야 한다. ‘기계의 공정성’을 논하기 전에, 우리는 먼저 ‘인간의 불완전함’을 인정해야 한다.
AI 시대의 윤리는 기술의 문제가 아니라, 인간의 성찰의 문제다. 기술이 인간의 결정을 대체할 수 없다면, 우리는 그 결정을 더 현명하게 내려야 한다.

AI가 인간을 닮아갈수록, 우리는 인간다움의 본질을 더 깊이 고민하게 된다.
AI에게 필요한 것은 더 많은 데이터가 아니라, 더 깊은 인간성이다.

기술이 사회를 닮게 할 것인가, 사회가 기술을 닮게 할 것인가는 결국 우리의 선택이다.