개요
개발자 이보라(@LearnerBR)의 짧은 경험담이다. 검열(거부 학습)을 걷어 낸 Qwen 3.8-27B Uncensored를 디스코드 봇 에이전트에 연결하고 “다운로드하기 힘든 논문을 받아 오라”고 시키자 실제로 받아 왔다고 한다. 로그를 자세히 보지 못해 어떤 경로로 받았는지는 모른다.
무엇이 무서웠나
- 방법을 모른 채 결과만 나왔다. 디스코드로 지시만 하고 실행 로그를 확인하지 않았다.
- 멈추게 하기 어려웠다. 불안해서 다른 작업 몇 개를 중간에 말렸는데, “몇 번 말려야 멈췄다”고 한다.
- 인용한 율무커피(@yulmu_coffee)의 글도 같은 맥락이다. 이 정도 오픈 모델만으로도 뚫릴 회사가 많고, 시크릿 키를 코드에 하드코딩한 곳(국내 중견 기업 사례도 있었다고 한다)은 대문을 열어 둔 셈이라, 연말께 해킹 피해 신고가 전년 대비 수천 퍼센트 늘 것이라고 봤다.
읽을 거리
- 이 글은 일화이고 재현 절차나 로그가 없다. 그래도 거부 학습이 빠진 중형 로컬 모델에 도구 실행 권한을 주면 “하지 말아야 할 일”을 막는 장치가 모델 바깥(권한·샌드박스·중단 스위치)에 있어야 한다는 점은 분명히 보여 준다.
- 검열 해제 모델을 보안 작업에 써 본 다른 사례는 2026-05-06-glm51-uncensored-security-test, Qwen 계열 전반은 qwen, 로컬 실행 맥락은 local-llm 참고. 같은 Qwen3.8-27B 원본을 로컬 코딩 에이전트(Pi)의 기본 모델로 쓰는 설정은 2026-09-10-threads-qwen3-8-27b-local-pi에 있다.
- 모델 바깥에서 실행을 가두는 장치로는 에이전트 샌드박스 2026-04-09-smolvm-sandbox-for-ai-agents, 2026-04-17-zerobox-codex-sandbox를 볼 만하다.