AI에게 규칙을 지키게 하는 법 — 문서가 아니라 기계로

AI에게 규칙을 지키게 하는 법 — 문서가 아니라 기계로

대상: AI에게 규칙을 줬는데 자꾸 어겨서 매번 다시 말하고 있는 사람

가격: 12,900원

이 가이드가 근거로 삼은 것

한 영상의 댓글이 문제를 정확히 짚었습니다.

*"단순 md파일 만들어서 AI가 지켜야 할 규칙을 나열한 것보다,
md파일이 없어도 AI가 절대 하면 안 되는 행동을 했을 때 막아주는 게 진짜 하네스인 것 같습니다.
MD파일은 평상시엔 잘 지키다가 모델이 바뀔 때 갑자기 먹통이 되는 경우가 많습니다.
깃 훅이라든가 코딩으로 절대적으로 지켜야 할 것들을 세팅해 둬야 AI가 함부로 못 하지,
단순 MD 파일로는 언젠가 사고 터집니다."*

그리고 우리가 그 사고를 냈습니다. 이 가이드는 그 기록입니다.

1. 왜 지금까지 안 됐는가 — 규칙을 기억에 맡겼다

규칙을 문서에 적으면 AI는 대체로 지킵니다. 대체로가 문제입니다.

문서 기반 규칙이 깨지는 세 지점:

1. 대화가 길어질 때 — 앞부분이 밀려나면서 규칙이 흐려집니다

2. 모델이 바뀔 때 — 같은 문서를 다르게 읽습니다

3. 규칙이 많아질 때 — 20개를 다 기억하며 일하지는 않습니다

우리 문서에는 규칙이 스무 개 넘게 있습니다. 그중 하나는 이렇게 적혀 있었습니다 —

*"새 기법은 규율로 적어두고 끝내지 말고 즉시 실물로 만들어라."*

그리고 저는 바로 그 다음 작업에서 새 도구를 "제안 문서"로만 적고 끝냈습니다.

문서에 적힌 규칙을, 그 문서를 읽고 있는 상태에서 어겼습니다.

같은 날 두 번째도 있었습니다. *"계측 질의는 중립어로만"*이라고 제가 직접 원장에 적어놓고,

바로 다음 측정에서 질의어에 고통어를 넣어 점수를 부풀렸습니다.

두 번 다 "기억하고 있었다면" 막혔을 일입니다. 기억은 막지 못합니다.

2. 첫 주에 할 것 — 어떤 규칙을 기계로 옮길지 고른다

전부 옮길 필요는 없습니다. 어겼을 때 되돌리기 어려운 것만 옮깁니다.

"조용히 틀림"이 가장 위험합니다. 에러가 안 나기 때문입니다.

우리 사례: 중국 도매 사이트는 검색어를 특정 인코딩으로 받는데,

다른 인코딩으로 보내면 에러 없이 전혀 다른 상품이 돌아옵니다.

문서에 "주의"라고 적어두면 언젠가 또 틀립니다. 코드가 막아야 합니다.

3. 2~4주 실행 플랜 — 3층으로 막는다

1층. 함수 안에서 막는다 (가장 싸다)

규칙이 걸린 값을 함수가 직접 만들게 합니다.

"인코딩을 조심하라"가 아니라, 인코딩을 처리하는 함수만 쓰게 합니다.

그러면 조심할 일이 없어집니다.

2층. 자기 검사를 붙인다

그 함수에 자체 테스트를 답니다. 우리 기준은 이렇습니다 —

"이 규칙을 어긴 입력을 넣었을 때 테스트가 실패하는가."

실패하지 않으면 그 테스트는 규칙을 지키는 게 아니라 통과만 시키는 것입니다.

특히 한 번 낸 실수를 테스트에 박아 넣으십시오.

우리는 고통 측정 사전이 소상공인 말투를 못 잡은 뒤,

실제로 놓쳤던 문장 3개를 테스트에 그대로 넣었습니다. 이제 그 실수는 다시 안 납니다.

3층. 커밋 시점에 막는다 (진짜 하네스)

여기가 댓글이 말한 지점입니다. 앞의 두 층은 작성자가 그 함수를 쓸 때만 작동합니다.

새 코드를 다른 방식으로 쓰면 뚫립니다.

커밋 직전에 검사를 걸면 어떤 경로로 왔든 막힙니다.

우리 시스템에는 핵심 수치를 검사하는 코드가 이미 있었습니다.

그런데 그건 감시 프로그램이 30분마다 부를 뿐, 커밋 시점에는 아무것도 막지 않았습니다.

있는데 안 걸어둔 상태였습니다.

점검 질문: 여러분의 검사 코드는 언제 돕니까? 사람이 부를 때만이라면 아직 1층입니다.

4. 막히는 지점과 해결

"규칙을 코드로 옮기니 너무 빡빡합니다"

빡빡하게 만든 규칙이 잘못 고른 규칙입니다. 2장 표로 돌아가십시오.

되돌릴 수 있는 것은 막지 마십시오. 막을수록 우회하게 됩니다.

"AI가 검사를 우회합니다"

검사를 끄는 것도 규칙 위반이면, 그것도 검사 대상으로 만드십시오.

다만 이 층까지 오면 관리 비용이 큽니다. 정말 되돌릴 수 없는 것에만 쓰십시오.

"격리해 뒀는데 다른 걸 봅니다"

같은 영상의 다른 댓글이 이걸 지적했습니다 —

*"작업 공간을 지정해뒀는데 딴 것을 읽고 있었습니다. 99% 그럴 일은 없겠지만

한 번 일어나다 보니 신뢰성이 조금 떨어집니다."*

격리를 100%로 가정하고 설계하지 마십시오. 격리는 확률을 낮추는 것이지 0으로 만들지 않습니다.

되돌릴 수 없는 작업은 격리에만 맡기지 말고 3층까지 거십시오.

"결과물은요?"

같은 영상에서 가장 아픈 댓글이 이것이었습니다 —

*"어떤 하네스를 쓰든 결국 결과물이 중요한 건데, 이 하네스로 만든 결과물이 궁금하네요."*

맞습니다. 규칙 장치를 늘리는 것 자체는 성과가 아닙니다.

장치를 하나 붙일 때마다 "이게 무엇을 막았는가"를 기록하십시오.

석 달간 아무것도 안 막았으면 그 장치는 비용입니다.

5. 지속 시스템 만들기

분기마다 이 표를 채웁니다.

장치 이름: ( )

언제 도나: (함수 안 / 테스트 / 커밋 시점)

지난 분기에 막은 것: ( 건)

막은 사례 한 줄: ( )

"막은 것 0건"이 두 분기 연속이면 규칙을 잘못 골랐거나 장치가 안 도는 것입니다.

둘 중 어느 쪽인지 확인하십시오. 대개 후자입니다.

이 방법을 어떻게 골랐나

같은 목표(AI가 규칙을 지키게 하기)를 다른 방법으로 다룬 두 사례를 비교했습니다.

• A — 하네스 엔지니어링. 깃 훅으로 강제. 도구가 공개돼 있음
• B — 자가진화 스킬. AI가 스스로 규칙을 갱신하며 학습

고른 것: A. 둘의 차이는 이것입니다 —

B는 더 잘 기억하려는 시도이고, A는 기억에 의존하지 않습니다.

기억이 문제인 상황에서 더 나은 기억으로 푸는 것은 같은 실패를 미루는 일입니다.

구매 방법

12,900원 — 아래 계좌로 입금해 주세요.

• 카카오뱅크 3333-37-6095850 (예금주: 이현진)

입금하신 뒤 입금자명을 actorlee007@gmail.com 로 알려주시면 확인 후 바로 보내드립니다.

주문 페이지에서 바로 알려주셔도 됩니다 → https://cheonoksystem.com/order.html

먼저 말씀드립니다 — 위 본문이 방법의 전부입니다. 이 페이지에서 그대로 읽고

따라 하셔도 됩니다. 값을 받는 건 그 방법이 아니라 아래 세 가지입니다.

• 인쇄용 한 장짜리 PDF — 광고·메뉴 없이 본문만. 출력해서 옆에 두고 쓰는 용도
• 표와 체크리스트가 채워 넣게 정리된 서식 — 본문의 빈칸 표를 바로 쓸 수 있게
• 내용이 설명과 다르면 전액 환불 — 받아보시고 판단하셔도 됩니다

필요 없으시면 안 사셔도 됩니다. 본문은 계속 열려 있습니다.

※ 본 가이드는 정보·방법론 제공이며 특정 수익·효과·결과를 보장하지 않습니다.

결과는 개인 상황에 따라 다릅니다.