마이크로소프트가 자사 AI의 행동 규칙을 공개합니다 — MAI 행동강령과 인간 통제라는 조건
AI 뉴스 SVIL 마이크로소프트 사티아 나델라 MAI 앤스로픽 다리오 아모데이 AI 안전

마이크로소프트가 자사 AI의 행동 규칙을 공개합니다 — MAI 행동강령과 인간 통제라는 조건

SVIL - Singularity Visual Intelligence Lab 22 min read

9월 13일 토요일 밤, 마이크로소프트 CEO 사티아 나델라가 X에 짧은 글을 하나 올렸습니다. 요지는 한 문장으로 줄어듭니다. 자사가 직접 만든 AI 모델이 지켜야 할 행동강령(Code of Conduct)을 다음 날 공개해 여론 수렴에 부치겠다는 것이었습니다.

회사가 자기 AI에게 무엇을 시키고 무엇을 못 하게 하는지, 그 규칙 문서 자체를 바깥에 내놓겠다는 이야기입니다. 마이크로소프트가 자사 모델의 행동 기준을 문서 형태로 공개하는 것은 이번이 처음입니다.

그런데 이 글은 혼자 나온 것이 아닙니다. 하루 전 앤스로픽 CEO 다리오 아모데이가 「프런티어의 속도를 조절해야 한다」는 에세이를 냈고, 업계가 거기에 줄줄이 반응하는 중이었습니다. 오늘은 그 흐름 안에서 마이크로소프트가 무엇을 내놨고, 그게 실제로 무엇을 바꾸는지 차근차근 보겠습니다.

어둠 속에 홀로 선 거대한 매끄러운 수직 판과 윤곽을 따라 흐르는 청록 빛 — 공개된 규칙 문서를 표현한 개념 이미지

토요일 밤 나델라가 올린 글 한 편

나델라의 글은 길지 않았습니다. 초지능을 좇는 일이 무엇에 뿌리를 둬야 하는지부터 못박았습니다. 우리가 만드는 AI가 인류를 돕지 않고 인간의 통제 아래 있지 않다면, 그건 좇을 가치가 없다는 취지였습니다.

그리고 세 가지를 함께 적었습니다. AI 스택의 모든 계층에서 폭넓은 접근과 선택권을 보장할 것, 학습 루프와 모델에 대한 통제권을 기업 고객이 쥐게 할 것, 그리고 자사 MAI 모델의 바탕에 깔린 행동강령을 다음 날 공개해 여론 수렴에 부칠 것.

세 가지 모두 같은 방향을 가리킵니다. 통제권을 어디에 둘 것인가라는 질문입니다.

무엇이 발표됐나 — MAI 행동강령 공개 협의

핵심은 세 번째입니다. 마이크로소프트가 자체 개발한 MAI 계열 모델이 어떤 기준으로 답하고 어떤 요청을 거절하는지, 그 기준을 담은 문서를 공개한다는 것입니다.

표현도 눈여겨볼 만합니다. 그냥 공개가 아니라 공개 협의(public consultation)입니다. 던져 놓고 보라는 게 아니라 의견을 받아 고치겠다는 뜻을 담은 말입니다.

규모를 생각하면 작은 일이 아닙니다. MAI 모델은 마이크로소프트 파운드리를 통해 기업 고객에게 공급되고, 코파일럿 계열 제품의 기반으로도 쓰입니다. 그 모델의 행동 규칙이 공개 문서가 되면 기업 고객은 처음으로 계약서 밖에서 기준을 확인할 수 있게 됩니다.

닫힌 어두운 판에 생긴 가느다란 청록 균열로 빛이 새어 나오는 모습 — 비공개였던 기준이 열리는 장면을 표현한 개념 이미지

행동강령은 어떤 문서인가

AI 모델의 행동강령은 법이 아니라 설계 지침에 가깝습니다. 모델이 무엇을 우선하고, 요청이 서로 부딪칠 때 무엇을 먼저 따르고, 어떤 요청은 아예 거절하는지를 적어 둔 문서입니다.

쉽게 말하면 이렇습니다. 사람을 새로 뽑았을 때 건네는 업무 수칙 같은 것입니다. 다만 대상이 사람이 아니라 모델이고, 그 수칙이 학습과 평가 과정에 직접 반영된다는 점이 다릅니다.

이런 문서가 바깥에 나오면 바뀌는 게 하나 있습니다. 모델이 이상하게 굴었을 때 그게 설계대로인지 아니면 어긋난 것인지를 회사 밖에서도 따져 볼 수 있게 됩니다.

왜 지금인가 — 아모데이의 에세이가 먼저 있었다

9월 12일, 앤스로픽 CEO 다리오 아모데이가 「We Must Pace the Frontier」라는 에세이를 냈습니다. AI 능력이 올라가는 속도를 늦춰야 한다는 주장이었습니다.

논지는 이렇습니다. 위험을 막는 쪽의 기술과 제도가 따라올 시간을 벌어야 하는데, 지금 속도로는 그게 불가능하다는 것입니다. 진보가 여전히 빠르게 느껴지겠지만 그렇게 번 시간을 현명하게 써야 한다는 말도 덧붙였습니다.

프런티어 모델을 직접 만드는 회사의 CEO가 스스로 속도를 늦추자고 한 것이라 파장이 컸습니다. 나델라의 글은 그 에세이에 대한 응답 성격이 강합니다.

매끄러운 어두운 정육면체 하나가 반질거리는 바닥 한가운데 놓인 모습 — 한 권의 행동 기준 문서를 표현한 개념 이미지

아모데이가 요구한 세 가지

에세이는 3단계 계획을 담았고, 앤스로픽은 그중 첫 단계를 일방적으로 먼저 이행하겠다고 했습니다.

첫째가 제3자 평가기관에게 영구적이고 직원 수준인 접근권을 주는 것입니다. 안전 조치를 실제로 지키는지 검증하고, 사고를 보고하고, 훈련 도중 모델의 정렬 상태를 평가하게 하겠다는 내용입니다.

나머지는 미국의 모든 프런티어 AI 기업을 대상으로 한 규제 도입 요구로 이어집니다. 자발적으로 협조할 생각이 없는 회사까지 묶으려면 결국 법이 필요하다는 논리입니다.

앤스로픽이 먼저 내놓은 약속 — 상주 평가자

여기서 중요한 단어가 「직원 수준 접근권」입니다. 외부 감사가 정해진 날에 방문해 정해진 자료만 보고 가는 방식이 아니라, 내부 직원이 보는 것을 상시로 본다는 뜻입니다.

AI 평가에서 이 차이는 큽니다. 완성된 모델만 던져 주고 시험을 보게 하면 그 시험을 잘 보도록 다듬는 일이 가능해집니다. 반면 훈련 중간 과정을 계속 보면 그 여지가 줄어듭니다.

다만 이건 아직 한 회사의 약속입니다. 계약으로 강제되는 것도, 법으로 요구되는 것도 아닙니다.

높이가 다른 두 정육면체가 좁은 틈을 사이에 두고 마주 보며 옅은 청록 빛줄기로 이어진 모습 — 에세이와 응답을 표현한 개념 이미지

올트먼과 머스크의 반응

샘 올트먼은 아모데이의 주장에 동의한다고 밝혔습니다. 독립 평가기관에 직원에 준하는 접근권을 주기로 약속하는 것은 좋은 생각이고, 오픈AI도 같은 일을 하겠다고 적었습니다.

일론 머스크의 반응은 더 짧았습니다. X에 다리오가 옳다고만 썼습니다.

경쟁이 가장 치열한 세 회사가 같은 방향을 말한 셈이라, 이 주의 뉴스는 대부분 이 합의를 어떻게 봐야 하는지에 몰렸습니다.

나델라가 고른 표현 — 신중한 속도 조절

나델라는 「감속」이나 「중단」 같은 말을 쓰지 않았습니다. 대신 정렬을 설계 목표로 삼는 데 필요한 신중한 속도 조절(deliberate pacing)을 환영한다고 썼습니다.

단어 선택이 미묘합니다. 멈추자는 쪽과 달리기로 이기자는 쪽 사이에서, 속도를 관리 가능한 것으로 다시 정의한 표현이기 때문입니다.

연구와 집중도 함께 환영한다고 덧붙였습니다. 속도 조절을 비용이 아니라 설계 과제로 놓은 프레임입니다.

어두운 바닥에서 나란히 솟은 세 개의 청록 기둥, 가운데가 조금 더 높은 모습 — 세 갈래 요구를 표현한 개념 이미지

임베디드 평가자라는 장치

나델라가 구체적으로 지지한 아이디어 하나가 임베디드 평가자(embedded evaluators)입니다. 평가하는 쪽이 바깥에 서 있는 게 아니라 개발 과정 안에 들어가 있는 구조를 말합니다.

그는 이런 아이디어와 함께, 이 논의가 말잔치에 그치지 않게 할 장치를 만드는 넓은 노력도 환영한다고 적었습니다.

말이 아니라 장치라는 단어를 쓴 게 이 문단의 핵심입니다. 선언문이 아니라 작동하는 절차를 만들자는 쪽에 손을 든 것입니다.

휴머니스트 초지능이라는 목표

마이크로소프트의 MAI 슈퍼인텔리전스 팀이 내건 목표는 휴머니스트 초지능(Humanist Superintelligence)입니다.

정의는 이렇습니다. 사람과 조직에 봉사하도록 만들어진 고성능 AI 시스템으로, 인간의 목표에 종속되고, 사람이 언제나 통제권을 쥐는 것입니다.

「종속」이라는 단어를 회사가 스스로 쓴 점이 눈에 띕니다. 능력을 최대로 끌어올린다는 목표 대신, 능력 위에 통제라는 조건을 얹은 문장이기 때문입니다.

어두운 구체에 가느다란 청록 막대가 깊이 박히고 그 자리에서 빛이 번지는 모습 — 내부에 들어간 평가자를 표현한 개념 이미지

MAI 슈퍼인텔리전스 팀은 누가 이끄나

이 팀은 2025년 11월에 꾸려졌고, 무스타파 술레이만이 이끕니다. 딥마인드 공동창업자이자 인플렉션AI를 거쳐 마이크로소프트에 합류한 인물입니다.

팀의 성격을 나델라는 「언덕을 계속 올라가는 기계」에 빗댔습니다. 컴퓨트를 더 쓰고, 데이터를 개선하고, 평가를 날카롭게 할수록 조직 자체가 계속 나아지는 구조를 뜻합니다.

즉 한 번의 큰 도약보다 반복 개선을 설계한 조직이라는 자기 규정입니다.

MAI 모델은 지금 어디까지 왔나

2026년 4월 2일, 마이크로소프트는 MAI-Transcribe-1, MAI-Voice-1, MAI-Image-2를 마이크로소프트 파운드리에서 처음 선보였습니다.

받아쓰기 모델은 25개 언어를 지원하며 출발했고, 음성 생성 모델은 1초 만에 60초 분량의 오디오를 만들어 냅니다. 이미지 모델은 공개 평가에서 상위권에 올랐습니다.

빌드 2026에서는 MAI-Thinking-1을 필두로 일곱 개 모델이 한꺼번에 나왔습니다. 받아쓰기와 음성 모델도 각각 1.5와 2로 세대가 올라갔습니다.

작고 흐릿한 두 구체가 훨씬 크고 밝은 청록 구체 쪽으로 기울어진 모습 — 동조하는 반응들을 표현한 개념 이미지

마이크로소프트가 자체 모델을 만드는 이유

이유는 단순합니다. 코파일럿 계열 제품 대부분이 오픈AI 모델 위에 세워져 있었고, 그 의존도를 낮추려는 것입니다.

의존을 줄이면 가격 협상력이 생기고, 제품 로드맵을 남의 출시 일정에 맞출 필요가 없어집니다. 모델을 자사 하드웨어와 데이터센터에 맞춰 최적화할 수도 있습니다.

행동강령 공개도 이 맥락에서 보면 자연스럽습니다. 남의 모델을 빌려 쓸 때는 행동 기준도 남의 것이지만, 자기 모델이면 자기 기준을 내놓을 수 있습니다.

오픈AI와의 관계는 어떻게 되나

자체 모델을 키운다고 해서 협력이 끝나는 것은 아닙니다. 마이크로소프트는 여전히 오픈AI의 최대 후원자이자 인프라 공급자입니다.

다만 구도는 분명히 바뀌었습니다. 한쪽 모델만 쓰던 회사에서, 여러 모델을 두고 고르는 회사가 됐습니다.

나델라가 「AI 스택의 모든 계층에서 폭넓은 접근과 선택권」을 강조한 것도 이와 이어집니다. 선택권은 쓰는 쪽의 언어이면서, 동시에 파는 쪽의 전략이기도 합니다.

넓은 수평 청록 빛줄기가 어두운 공간을 가로지르며 완만하게 아래로 휘는 모습 — 속도를 낮추는 조절을 표현한 개념 이미지

공개 협의가 보통 문서 공개와 다른 점

문서를 그냥 올리는 것과 의견을 받겠다고 하는 것은 무게가 다릅니다. 후자는 받은 의견을 어떻게 처리했는지에 대한 부담을 스스로 지는 일이기 때문입니다.

규제 기관이 쓰는 절차와 비슷한 형식을 기업이 자발적으로 가져온 셈입니다. 여기에는 실리도 있습니다. 나중에 규제가 들어올 때 이미 그 형식에 익숙한 회사가 됩니다.

물론 의견을 받는 것과 반영하는 것은 별개입니다. 이 구분은 문서가 개정될 때 처음 확인할 수 있습니다.

클로드 헌법·모델 스펙과 무엇이 다른가

행동 기준을 문서로 공개한 사례는 이미 있습니다. 앤스로픽은 클로드의 원칙을 정리한 문서를 공개해 왔고, 오픈AI도 모델이 따라야 할 사양을 문서로 냈습니다.

그래서 마이크로소프트의 이번 공개는 새로운 발명이라기보다 업계 관행에 합류한 것에 가깝습니다.

의미는 다른 데 있습니다. 세 곳이 모두 같은 형식을 갖추면, 문서끼리 비교하는 일이 가능해집니다. 비교가 가능해야 검증도 가능해집니다.

반투명한 어두운 프리즘 안에 작고 밝은 청록 점 하나가 멈춰 떠 있는 모습 — 내부에 심어진 평가 장치를 표현한 개념 이미지

규칙을 공개하면 생기는 일 — 검증 가능성

가장 큰 변화는 다툼의 언어가 생긴다는 점입니다. 모델이 특정 요청을 거절했을 때, 그게 규칙에 따른 것인지 아니면 실수인지 문서를 두고 이야기할 수 있습니다.

기업 고객 입장에서는 도입 심사가 쉬워집니다. 지금까지는 벤더가 말로 설명하던 것을 문서로 확인하게 됩니다.

연구자에게도 재료가 생깁니다. 선언된 규칙과 실제 동작이 어긋나는 지점을 찾아내는 것 자체가 연구 주제가 됩니다.

규칙을 공개하면 생기는 일 — 우회 시도

반대쪽 효과도 분명합니다. 규칙을 알면 그 규칙을 피해 가는 방법도 설계하기 쉬워집니다.

이건 보안 분야에서 오래된 논쟁입니다. 방어 규칙을 숨겨 얻는 안전은 얕지만, 공개하면 공격자도 같은 정보를 얻습니다.

업계의 판단은 대체로 공개 쪽으로 기울어 왔습니다. 숨긴다고 오래 숨겨지지 않고, 공개해서 얻는 외부 검증의 값이 더 크다고 보기 때문입니다.

거대한 청록 고리가 작고 어두운 각진 덩어리들의 줄 위에 떠 있는 모습 — 상위 목표와 그 아래 구성 요소를 표현한 개념 이미지

분산형 거버넌스라는 나델라의 주장

나델라의 글을 관통하는 또 하나의 축은 통제권을 한곳에 모으지 말자는 것입니다. 기업 고객이 학습 루프와 모델에 대한 통제권을 쥐어야 한다는 대목이 그렇습니다.

이 주장에는 경쟁 구도가 깔려 있습니다. 소수의 프런티어 연구소가 기준을 정하고 나머지가 따르는 구조가 굳어지면, 플랫폼 회사의 자리가 좁아집니다.

그래서 같은 안전 논의여도 회사마다 강조점이 갈립니다. 모델을 만드는 쪽은 평가와 속도를, 파는 쪽은 선택권과 통제권을 앞세웁니다.

반대편의 목소리 — 데이비드 색스

속도 조절 주장이 전부 환영받은 것은 아닙니다. 트럼프 행정부에서 AI 정책을 맡았던 데이비드 색스는 X에 날 선 반응을 올렸습니다. 속도를 늦추자는 동기가 순수하게 이타적인 척하지 말라는 취지였습니다.

이 비판의 골자는 이렇습니다. 앞서가는 회사가 속도 조절을 주장하면 결과적으로 자기 위치를 굳히게 된다는 것입니다.

실제로 규제가 도입되면 준수 비용을 감당할 수 있는 큰 회사가 상대적으로 유리해지는 면이 있습니다. 이 지적 자체는 근거가 없지 않습니다.

어두운 벌판 위 낮은 덩어리들 사이로 홀로 높이 솟은 탑 모양 구조 — 자체 모델로 올라선 위치를 표현한 개념 이미지

차마스 팔리하피티야의 오픈소스 우려

투자자 차마스 팔리하피티야는 더 나아갔습니다. 이번 움직임을 권력 장악으로 규정하고 오픈소스 AI를 위협한다고 했습니다.

우려의 지점은 접근권 제도에 있습니다. 제3자 평가와 사고 보고 체계를 갖추는 데는 사람과 돈이 듭니다. 그 부담을 개인 개발자나 작은 팀이 지기는 어렵습니다.

즉 안전 절차가 표준이 되면 그 표준 자체가 진입 장벽이 될 수 있다는 이야기입니다.

트럼프 행정부의 입장

행정부의 반응은 간결했습니다. 트럼프는 속도를 늦추자는 발상을 일축하며, 미국이 중국을 앞서고 있고 그 상태를 유지하고 싶다고 말했습니다. AI에서 이기는 쪽이 전부를 가져간다는 표현도 덧붙였습니다.

이 발언은 기업들의 자발적 조치가 곧 정책으로 이어지기는 어렵다는 뜻이기도 합니다.

결과적으로 지금 구도는 이렇습니다. 회사들은 자발적 약속을 쌓고 있고, 정부는 속도 유지 쪽에 서 있습니다.

일곱 장의 매끄러운 어두운 사각 판이 기울어진 기둥으로 쌓이고 층마다 청록 이음선이 빛나는 모습 — 잇따라 나온 모델 세대를 표현한 개념 이미지

시장은 어떻게 반응했나

금융시장은 이 논쟁을 곧바로 가격에 반영했습니다. AI 관련 자산을 추종하는 예측 시장에서 오픈AI 연계 계약은 에세이 공개 직후 몇 시간 사이 7퍼센트가량, 앤스로픽 연계 계약은 2.8퍼센트가량 내렸습니다.

해석은 단순합니다. 속도를 늦추겠다는 말이 곧 실적이 늦어진다는 신호로 읽힌 것입니다.

안전 논의가 더 이상 연구실 안의 주제가 아니라는 점을 보여주는 대목이기도 합니다.

실제 사례: 기업 도입 담당자에게 생기는 변화

국내 기업에서 AI 도입을 검토하는 담당자를 떠올려 보겠습니다. 지금까지 벤더 심사에서 가장 답하기 어려운 항목이 「이 모델은 어떤 요청을 거절합니까」였습니다.

행동강령이 공개되면 이 질문에 문서로 답할 수 있게 됩니다. 내부 승인 문서에 첨부할 근거가 생기는 셈입니다.

다만 문서가 곧 보증은 아닙니다. 도입 심사에서는 문서와 함께 실제 동작을 샘플로 확인하는 절차를 같이 두는 편이 안전합니다.

두 개의 굵고 어두운 수직 덩어리가 멀어지며 청록 빛줄기 한 가닥으로 아직 이어져 있는 모습 — 느슨해진 협력 관계를 표현한 개념 이미지

실제 사례: 저시력 사용자와 음성 모델

MAI 계열에는 음성 생성과 받아쓰기 모델이 들어 있습니다. 화면을 읽기 어려운 분들에게는 이 두 가지가 곧 접근 수단입니다.

행동 규칙이 공개되면 이런 질문에도 근거를 댈 수 있습니다. 음성 모델이 어떤 요청을 거절하는지, 받아쓰기 결과에 오류가 있을 때 어떻게 표시하는지 같은 것들입니다.

접근성 도구는 틀렸을 때 사용자가 알아채기 어렵다는 특성이 있습니다. 그래서 기준이 공개돼 있는지가 다른 분야보다 더 중요합니다.

자발적 공개의 한계

이번 발표를 과대평가하지 않는 편이 좋습니다. 공개도 자발이고, 개정도 자발이고, 지키지 않았을 때의 결과도 정해져 있지 않습니다.

METR로 자리를 옮긴 안전 연구자들이 같은 주에 지적한 것도 이 지점이었습니다. 지금 기업에서 나오는 위험 투명성은 사실상 전부 자발적이라는 것입니다.

그래서 이 문서가 의미를 가지려면 다음 두 가지가 뒤따라야 합니다. 개정 이력이 남는 것, 그리고 위반이 확인됐을 때 외부에서 그것을 말할 수 있는 통로가 있는 것입니다.

완전한 어둠 속에 곧게 선 밝은 청록 직사각형 개구부와 그 사이로 흐르는 옅은 안개 — 열린 검증 통로를 표현한 개념 이미지

핵심 정리

첫째, 마이크로소프트가 자사 MAI 모델의 행동강령을 처음으로 공개하고 여론 수렴에 부쳤습니다. 나델라가 9월 13일에 예고했고 다음 날 공개하겠다고 밝힌 문서입니다.

둘째, 배경에는 아모데이의 속도 조절 에세이가 있습니다. 올트먼과 머스크가 동조했고, 나델라는 「신중한 속도 조절」과 「임베디드 평가자」를 지지하는 쪽으로 답했습니다.

셋째, 반대편도 뚜렷합니다. 데이비드 색스는 동기를 의심했고, 차마스 팔리하피티야는 오픈소스 위축을 걱정했으며, 트럼프 행정부는 감속 자체를 일축했습니다.

넷째, 남은 것은 검증입니다. 문서가 개정될 때 무엇이 어떻게 바뀌는지, 그리고 그 기준을 바깥에서 확인할 수 있는지가 다음에 볼 지점입니다.

참고하실 만한 것

SVIL은 AI 소식을 큰 글씨와 쉬운 설명으로 정리해 전해 드립니다. 화면을 읽기 어려우신 분도 흐름을 놓치지 않으시도록 문단을 짧게 끊고 대비를 높여 만들고 있습니다.

이 글이 도움이 되셨다면 블로그를 북마크해 두시고, 유튜브 채널에서 같은 내용을 영상으로도 보실 수 있습니다.

궁금하신 주제나 더 자세히 다뤄 주셨으면 하는 소식이 있으시면 협업문의 메일로 편하게 알려 주세요.

출처

협업문의 : kuroicode@gmail.com
블로그 : https://blog.svil.dev/
홈페이지 : https://svil.dev/