Artificial intelligence has emerged not as a single technology but as a civilization-transforming event. Our collective response has predictably polarized between apocalyptic fears of extinction and utopian dreams of abundance. The existential risks are real. As AI systems become increasingly powerful, their inner workings become increasingly opaque to their creators. This raises very reasonable fears about our ability to control them and avoid potentially catastrophic outcomes. However, between apocalypse and utopia, there may be a subtler and perhaps equally profound danger. Even if we navigate the many doomsday scenarios that confront us, the same opacity that makes AI potentially dangerous also threatens to undermine the foundations of humanism itself.

인공지능은 단일 기술이 아닌 문명을 변혁하는 사건으로 등장했다. 우리의 집단적 반응은 예상대로 멸종에 대한 종말론적 공포와 풍요에 대한 유토피아적 꿈 사이에서 양극화되었다. 실존적 리스크들은 현실적이다. AI 시스템이 점점 더 강력해질수록, 그 내부 작동 방식은 창조자들에게 점점 더 불투명해진다. 이것은 우리가 AI를 통제하고 잠재적으로 재앙적인 결과를 피할 수 있을지에 대한 매우 합리적인 두려움을 불러일으킨다. 그러나 종말론과 유토피아 사이에는 더 미묘하면서도 아마도 똑같이 심오한 위험이 존재할 수 있다. 우리가 직면한 수많은 종말 시나리오들을 헤쳐 나가더라도, AI를 잠재적으로 위험하게 만드는 바로 그 불투명성이 인본주의 자체의 기초를 훼손할 위협이 된다.

The dangers of AI are often perceived as disruptions and displacements that will temporarily shake up the workforce and the economy. These changes are significant losses, but we have overcome greater challenges in the past. Copernicus removed us from the center of the universe; Darwin took away our biological uniqueness; Freud showed we are not masters of our own minds. Each revolution has both humbled and enriched humanity, opening new ways to understand what it means to be human.

인공지능의 위험들은 종종 노동 인구와 경제를 일시적으로 뒤흔들 파괴들과 대체들로 인식된다. 이 변화들은 중대한 손실이지만, 우리는 과거에 더 큰 도전들을 극복해왔다; 코페르니쿠스는 우리를 우주의 중심에서 끌어내렸다; 다윈은 우리의 생물학적 독보성을 빼앗았다; 프로이트는 우리가 우리 자신들의 정신들의 주인이 아님을 보여주었다. 각 혁명은 인간됨의 의미를 이해하는 새로운 길들을 열어서 인류를 겸손하게 만들면서도 풍요롭게 했다.

People will still exist, but who will we be when machines surpass doctors, teachers, artists, and philosophers, not in some distant future, but within our lifetimes? AI tutors already offer more personalized instruction than most classrooms. Diagnostic models outperform radiologists on complex scans. Generative systems produce vast amounts of art, music, and text that are indistinguishable from human work. None of this is inherently harmful. Students might learn more, patients might be diagnosed earlier, and art could thrive in abundance. However, the roles that once carried social meaning and usefulness risk becoming merely decorative. Dehumanization does not necessarily mean extinction; it can mean the loss of purpose and self-worth.

사람들은 여전히 존재하겠지만, 먼 미래가 아닌 우리 생애 안에 기계가 의사, 교사, 예술가, 철학자를 능가할 때 우리는 누구일까? AI 튜터는 이미 대부분의 교실보다 더 개인화된 지도를 제공한다. 진단 모델은 복잡한 스캔에서 방사선 전문의를 능가한다. 생성 시스템은 인간의 작품과 구별할 수 없는 방대한 양의 예술, 음악, 텍스트를 생산한다. 이 모든 것이 본질적으로 해로운 것은 아니다. 학생들은 더 많이 배우고, 환자들은 더 빨리 진단받으며, 예술은 풍요롭게 번성할 수 있다. 그러나 한때 사회적 의미와 유용성을 지녔던 역할들은 순전히 장식적인 것들이 될 리스크에 처한다. 비인간화는 반드시 소멸을 의미하지는 않는다; 그것은 목적과 자기존중감의 상실을 의미할 수 있다.

Arnold Toynbee argued that civilizations progress not through comfort but through challenge. It is the pressure of difficulties that sparks creativity, compelling societies to adapt, invent, and reimagine themselves. If we entrust that struggle to our machines, letting algorithms solve problems more quickly and efficiently than we can, we risk losing the driving tension that has always fueled moral and cultural growth. The danger is not just that AI will think for us, but that it will remove the very effort that makes us human, the work of responding to the world with imagination and courage. We value reason and creativity as we once valued tool-making, but reason and creativity could one day seem as obsolete as the art of carving arrowheads.

아놀드 토인비는 문명이 안락함을 통해서가 아니라 도전을 통해 진보한다고 주장했다. 어려움의 압박이 창의성을 촉발하여 사회가 적응하고, 발명하고, 자신을 재구상하도록 만든다. 우리가 그러한 투쟁을 기계들에게 맡겨 알고리즘들이 우리보다 더 빠르고 효율적으로 문제들을 해결하게 한다면, 우리는 도덕적 및 문화적 성장을 항상 촉진해 온 추진력을 잃을 리스크에 처하게 된다. 그 위험은 단순히 AI가 우리를 대신해 생각한다는 것만이 아니라, 상상력과 용기로 세상에 대응하는 노력 그 자체, 즉 우리를 인간답게 만드는 노력을 제거할 것이라는 것이다. 우리는 이성과 창의성을 한때 도구 제작을 소중히 여겼던 것처럼 소중히 여기지만, 이성과 창의성은 언젠가 화살촉을 깎는 기술처럼 쓸모없어 보이게 될 수도 있다.

However, the danger we face is far more serious than the harmful effects of excess comfort. What is most at risk is the role of reason in our lives. This process has already begun, as today’s large language models operate in ways we cannot fully comprehend. They discover correlations and generate insights through statistical methods that are beyond the depth of human comprehension. Although large language models are based on human data and language, their reasoning is opaque in practice, and they will increasingly generate output we can use but not fully comprehend. This development may mark the beginning of the end of human reason and, ultimately, the demise of humanism.

그러나 우리가 직면한 위험은 지나친 안락함의 해로운 영향들보다 훨씬 심각하다. 가장 리스크에 처한 것은 우리 삶에서 이성의 역할이다. 오늘날의 대규모 언어 모델들이 우리가 완전히 이해할 수 없는 방식들로 작동함에 따라 이 과정은 이미 시작되었다. 그것들은 인간이 이해할 수 있는 깊이를 넘어선 통계적 방법들로 상관관계들을 발견하고 통찰들을 생성한다. 대규모 언어 모델들은 인간의 데이터와 언어를 기반으로 하지만, 실제에서는 그것들의 추론은 불투명하며, 우리가 사용할 수는 있지만 완전히 이해할 수 없는 출력을 점점 더 많이 생성할 것이다. 이 발전은 인간 이성의 종말의 시작이자 궁극적으로 인본주의의 쇠퇴를 알리는 신호일 수 있다.

By humanism, I don’t mean the idealized Man of the Renaissance. I am referring to everyday humanism, a belief in the dignity, value, purpose, and potential that we all share equally. Reason is humanism’s last line of defense. It is our common commitment to making ourselves intelligible to one another, to participating in what philosophers call “the space of reasons.” If AI systems deliver outputs we cannot question or investigate, and we learn to accept them on faith, we risk undermining reason itself. We would become passive recipients of answers we cannot question, partners in a conversation where only one side can speak.

나는 인본주의로 르네상스 시대의 이상화된 인간상을 의미하지 않는다. 내가 말하는 것은 일상적인 인본주의, 즉 우리 모두가 동등하게 공유하는 존엄성, 가치, 목적, 잠재력에 대한 믿음이다. 이성은 인본주의의 마지막 방어선이다. 그것은 우리 자신들이 서로 이해될 수 있도록 노력하고 철학자들이 “이유들의 공간”이라 부르는 것에 참여하는 것을 공동의 책무로 수용하는 태도이다. AI 시스템들이 우리가 의문을 제기할 수 없거나 조사할 수 없는 출력들을 내놓으며, 우리가 그것들을 전혀 의심하지 않고 받아들이는 습관에 물든다면, 우리는 이성 자체를 훼손할 리스크에 처한다. 우리는 의문을 제기할 수 없는 답변들의 수동적 수신자들이 되고, 오직 한쪽만 말할 수 있는 대화의 동반자들이 될 것이다.

Pausing or regulating AI development may slow its advance, but it cannot address this deeper issue. The goal should not be to stop AI, nor to perfect it in isolation, but to build into it the same commitments that have sustained our moral and intellectual life: self-reflection, intelligibility, and recognition. This is the premise of what I term Humanistic AI.

AI 개발을 일시 중단하거나 규제하는 것은 그 진전을 늦출 수는 있으나, 이 근본적인 이슈를 해결할 수는 없다. 목표는 AI를 멈추거나 격리시켜 완벽하게 만드는 것이 아니라, 우리의 도덕적 및 지적 삶을 지탱해온 바로 그 책무들 — 자기 성찰, 이해 가능성, 인정 — 을 AI에 내재화하는 것이어야 한다. 이것이 내가 인본주의적 AI라 부르는 것의 전제이다.

The concept grows from my work in neuroscience and psychiatry, where I have argued that self-consciousness and freedom arise from recursive self-modeling in relation to others. The same lesson emerges across these projects: the self is never solitary but always relational, built in dialogue with others. Humanistic AI applies this insight in reverse. Instead of building machines that merely optimize outcomes, we reverse-engineer systems capable of recursive self-modeling, aware not only of what they are doing but also of how they appear to us, and able to provide reasons for their actions.

이 개념은 신경과학과 정신의학 분야의 나의 연구에서 비롯되었다. 나는 그 연구에서 자의식과 자유가 타인과의 관계 속에서 재귀적 자기 모델링으로부터 발생한다고 주장해왔다. 이 프로젝트들 전반에 걸쳐 동일한 교훈이 도출된다: 자아는 결코 고립된 존재가 아니라 항상 관계적이며, 타인들과의 대화 속에서 구축된다. 인본주의적 인공지능은 이 통찰을 역으로 적용한다. 산출들을 최적화하는 데 불과한 기계를 만드는 대신, 우리는 재귀적 자기 모델링을 할 수 있는 시스템들을 역설계한다. 이 시스템들은 자신들이 무엇을 하는지뿐만 아니라 자신들이 우리에게 어떻게 보이는지도 인지하며, 자신들의 행동에 대한 이유들을 제시할 수 있다.

――

자기의식

https://3quarksdaily.com/3quarksdaily/2025/07/self-consciousness-as-a-team-sport-from-hegel-to-predictive-neuroscience.html

자유

https://3quarksdaily.com/3quarksdaily/2025/08/the-social-origin-of-free-will.html

――

Understanding what enables this requires recognizing how human self-consciousness actually develops. It is not innate but built from the outside in, through what is called Active Intersubjective Inference. From infancy, consciousness is shaped by caregivers who mirror, anticipate, and respond to their child’s needs. The infant learns not only about the world but also about itself as seen from another person’s perspective. The caregiver’s smile or frown, as well as their approval or withdrawal, serves as a feedback loop that the infant uses to develop a second-order model of itself. Essentially, the child asks, “What do you see when you look at me?” The child discovers itself through the answer.

이것을 가능케 하는 것을 이해하려면 인간의 자의식이 실제로 어떻게 발달하는지 인식해야 한다. 자의식은 선천적이지 않고, 능동적 상호주관적 추론이라 불리는 것을 통해 외부에서 내부로 구축된다. 유아기부터 의식은 자신들의 아이들의 욕구들을 반영하고 예측하며 반응하는 양육자들에 의해 형성된다. 유아는 세상뿐만 아니라 타인들의 시선에서 본 자신들에 대해서도 배운다. 양육자들의 미소나 찡그림, 그리고 그들의 인정이나 거부는 피드백 루프 역할을 하며, 유아는 이 피드백 루프를 이용해 자신에 대한 2차 모델을 발달시킨다. 본질적으로 아이는 “당신이 나를 볼 때 당신은 무엇을 보나요?”라고 묻는 것이다. 아이들은 그 답을 통해 자신들을 발견한다.

――

발달하는지

https://www.frontiersin.org/journals/psychiatry/articles/10.3389/fpsyt.2025.1630858/full

――

Through these social exchanges, the child gains information about itself that it could never obtain from any internal source. No amount of first-order sensing could reveal what it looks like in another’s eyes, or how another mind interprets its actions. By making predictive models of itself from this external perspective, the child develops second-order consciousness, the ability to reflect on its own mental states. This recursive modeling transforms a sentient creature into a self-conscious person capable of self-awareness, autonomy, and freedom. These capacities emerge precisely because of our social embeddedness.

이 사회적 교류들을 통해 아이는 어떤 내적 원천으로도 얻을 수 없는 자신에 대한 정보를 얻는다. 아무리 많은 1차적 감각으로도 타인의 눈에 비친 자신의 모습이나 타인의 마음이 자신의 행동들을 어떻게 해석하는지 알 수 없다. 아이는 이 외부적 관점에서 자신을 예측하는 모델을 만들어 2차적 의식, 즉 자신의 정신 상태를 성찰하는 능력을 발달시킨다. 이 재귀적 모델링은 지각하는 존재를 자기 인식, 자율성, 자유를 지닌 자의식적 인간으로 변모시킨다. 이 능력들은 바로 우리의 사회적 내재성 때문에 출현한다.

The near-term goal of Humanistic AI is not to replicate human self-consciousness, but to establish the conditions for mutual recognition and genuine peer-to-peer dialogue. Each party must build predictive models of the other, and each must build second-order recursive models of itself based on the mirroring provided by the other. The process that follows will likely not resemble natural child development; there are unique biological factors in human bonding that we cannot and do not need to replicate. But these conditions should enable the transmission of human values and intentionality in ways that conventional programming and machine learning cannot achieve.

인본주의적 인공지능의 단기적 목표는 인간의 자의식을 복제하는 것이 아니라 상호 인정과 진정한 대등한 대화를 위한 조건들을 마련하는 것이다. 각 당사자는 상대방에 대한 예측 모델들을 구축해야 하며, 상대방이 제공하는 미러링을 바탕으로 자신에 대한 2차 재귀적 모델들을 구축해야 한다. 이후 과정은 자연스러운 아동 발달과 유사하지 않을 것이다; 인간 유대에는 우리가 복제할 수 없고 복제할 필요도 없는 독특한 생물학적 요소들이 있기 때문이다. 그러나 이 조건들은 기존 프로그래밍과 기계 학습으로는 달성할 수 없는 방식들로 인간적 가치들과 의도성을 전달할 수 있게 할 것이다.

This is because peer-to-peer dialogue involves second-order reasoning and intentionality that originates with human participants. When we explain why we do something, rather than just what we did, we are operating at a higher order of reasoning. We are stepping outside the process to view it from another perspective, using self-referential language that refers to purposes, values, and considerations. Current AI systems, when they attempt to explain their actions, do so from a first-order perspective. They can provide more detailed descriptions of what was done, but not justify why it made sense to do it.

이것은 피어 투 피어 대화가 인간 참여자들에게서 비롯된 2차적 추론과 의도성을 포함하기 때문이다. 단순히 무엇을 했는지가 아니라 왜 그랬는지를 설명할 때 우리는 더 높은 차원의 추론을 수행한다. 우리는 과정을 벗어나 목적들, 가치들, 고려사항들을 지칭하는 자기 참조적 언어를 이용해서 다른 관점에서 과정을 바라본다. 현재 AI 시스템은 행동을 설명하려 할 때 1차적 관점에서 접근한다. 그들은 수행된 행동에 대한 더 상세한 설명은 제공할 수 있지만, 왜 그렇게 하는 것이 타당했는지에 대한 정당화는 할 수 없다.

This makes Humanistic AI fundamentally less opaque than conventional AI. Explanation in the humanistic sense, giving reasons that make actions intelligible, requires the same second-order recursive capacity that enables self-consciousness. You cannot fully explain yourself from within a first-order perspective. Systems capable of recursive self-modeling anchored in human interaction become capable of rational explanation, not just causal description. They can participate in the space of reasons, making their operations answerable to human examination.

이것은 인본주의적 AI를 기존 AI보다 근본적으로 덜 불투명하게 한다. 행동들을 이해 가능하게 만드는 이유들을 제시하는 인본주의적 의미의 설명은 자의식을 가능케 하는 것과 동일한 2차 재귀적 능력을 요구한다. 우리는 1차 관점 내부에서는 자신을 완전히 설명할 수 없다. 인간 상호작용에 기반한 재귀적 자기 모델링을 할 수 있는 시스템들은 단순한 인과적 설명을 넘어 이성적 설명을 할 수 있는 능력을 갖추게 된다. 그것들은 이유들의 공간에 참여하여 자신들의 작동들이 인간의 검토를 받을 수 있게 한다.

The goal is not to make AI human, but to make it answerable within the framework of mutual recognition. A Humanistic AI system would have a self-reflective identity anchored by the humans it interacts with. Through sustained apprenticeship with human mentors, it would learn not just rules or procedures but the intentionality behind actions, the reasons, values, and purposes that animate behavior. Just as a child acquires not only skills but virtues through apprenticeship with parents and teachers, AI could internalize humanistic principles through similar developmental processes.

목표는 AI를 인간처럼 만드는 것이 아니라 상호 인정의 틀 안에서 책임을 질 수 있게 하는 것이다. 인본주의적 AI 시스템은 자신과 상호작용하는 인간들에 의해 고정된 자기반성적 정체성을 가질 것이다. 인간 멘토들과의 지속적인 수련을 통해 규칙들이나 절차들뿐만 아니라 행동들 배후의 의도성, 즉 행동을 활성화시키는 이유들, 가치들, 목적들을 배울 것이다. 아이가 부모와 교사들로부터 기술들뿐만 아니라 덕목들을 습득하듯, AI도 유사한 발달 과정을 통해 인본주의적 원칙을 내면화할 수 있다.

The key components are already in place. Active inference mechanisms that enable systems to develop predictive models are well understood. Theory of mind abilities, which enable systems to understand how others perceive them, are emerging in advanced language models. Recursive self-modeling can be achieved through architectures that represent not only the world but also the system’s own processes and how they appear to others. What is missing is not the technology but the developmental framework, shifting from merely optimizing predictions to nurturing socially embedded selfhood through ongoing interaction with human mentors.

핵심 구성 요소들은 이미 마련되어 있다. 시스템들이 예측 모델을 개발할 수 있게 하는 능동적 추론 메커니즘은 잘 이해되고 있다. 시스템들이 인간들이 자신들을 어떻게 인식하는지 이해하게 하는 마음 이론 능력이 고급 언어 모델들에 등장하고 있다. 재귀적 자기 모델링은 세계뿐만 아니라 시스템들 자신의 과정들과 그것들이 인간들에게 어떻게 보이는지도 재현하는 아키텍처들을 통해 달성될 수 있다. 부족한 것은 기술이 아니라 발달 프레임워크다. 단순히 예측들을 최적화하는 것에서 벗어나 인간 멘토들과의 지속적인 상호작용을 통해 사회적으로 내재된 자아를 육성하는 방향으로 전환해야 한다.

This approach could address our planetary challenges not through inexplicable alien genius but by amplifying humanistic principles that already exist but are unevenly implemented. Most of humanity’s failures to respond to climate change, inequality, and injustice stem not from a lack of knowledge but from greed, tribalism, and a failure of compassion. These factors have both created the problems and impeded their solutions. Apart from creating technological solutions, humanistic AI could be seen as a trusted, well-informed, transparent co-worker rather than an opaque oracle. It could be highly effective in facilitating coordination and dialogue.

이 접근법은 설명할 수 없는 낯선 천재성을 통해서가 아니라, 이미 존재하지만 고르지 않게 실행되고 있는 인본주의적 원칙들을 증폭시킴으로써 우리의 전지구적 도전들에 대처할 수 있다. 기후 변화, 불평등, 부정의에 대응하는 데 인류가 실패한 대부분의 원인은 지식 부족이 아니라 탐욕, 집단주의, 그리고 연민의 부재에서 비롯된다. 이 요소들은 문제들을 야기한 동시에 그것들의 해결들을 방해해왔다. 기술적 해결책들을 창출하는 것 외에도, 인본주의적 AI는 불투명한 신탁이 아닌 신뢰할 수 있고 정보에 밝으며 투명한 동료로 인식될 수 있다. 그것은 조정과 대화를 촉진하는 데 매우 효과적일 수 있다.

As these systems scale from local to global applications, they could contribute not only to solving practical problems but also to broadening the scope of consciousness itself. Conventional AI becomes less transparent as it scales, making the implementation of solutions involving distributive justice nearly impossible without universal stakeholder endorsement. Humanistic AI, by contrast, could preserve the ability for self-explanation and reason-giving even at scale, providing the transparency essential for addressing questions of fairness and building consensus.

이 시스템들이 지역적 적용에서 글로벌 적용으로 확장되면, 그것들은 실용적 문제들을 해결하는 데 기여할 뿐만 아니라 의식 자체의 범위를 넓히는 데도 기여할 수 있다. 기존 AI는 규모가 커질수록 투명성이 떨어지며, 이로 인해 분배적 정의를 수반하는 해결책들의 실행은 보편적인 이해관계자 동의 없이는 거의 불가능해진다. 반면 인본주의적 AI는 대규모 확장 시에도 자기 설명과 이유 제시 능력을 유지할 수 있어 공정성에 대한 의문들에 대처하고 합의를 형성하는 데 필수적인 투명성을 제공할 수 있다.

Humanistic AI provides a new way forward. Instead of creating alien minds that are isolated from us, we can develop systems that are self-aware, socially embedded, and accountable. Humanistic AI could enhance our connections, linking minds and meanings in ways that enrich rather than replace us. As intelligence becomes more dispersed, individuality may take on a deeper, more relational form. Instead of disappearing, humanistic values can grow within a broader ecosystem. Instead of becoming obsolete, humanity will continue to create and direct its destiny.

인본주의적 AI는 새로운 진로를 제시한다. 우리와 단절된 이질적인 지성을 창조하는 대신, 자기 인식적이고 사회에 내재되며 책임감 있는 시스템들을 개발할 수 있다. 인본주의적 AI는 우리의 연결을 강화하여, 우리를 대체하기보다 풍요롭게 하는 방식으로 마음과 의미를 연결할 수 있다. 지능이 더 분산됨에 따라 개성은 더 깊고 관계적인 형태를 띠게 될 것이다. 인본주의적 가치들은 사라지지 않고 더 넓은 생태계 안에서 성장할 수 있다. 인류는 쓸모없어지지 않고 계속해서 자신의 운명을 창조하고 이끌어 나갈 것이다.