폐쇄망이라서 AI를 못 쓴다는 말에 대하여

클라우드 아니면 포기, 라는 이분법

보안 조직의 AI 검토는 흔히 두 갈래로 끝납니다. 하나는 클라우드 사용을 위한 예외 승인을 시도하다 좌초하는 길이고, 다른 하나는 검토 자체를 미루는 길입니다. 어느 쪽이든 결론은 같습니다. 조직 바깥에서는 AI로 일하는 방식이 표준이 되어 가는데, 안에서는 아무것도 달라지지 않습니다.

중간을 택한 조직도 있습니다. 소형 모델을 형식적으로 들여놓는 경우입니다. 그러나 성능이 업무 기준에 미치지 못하면 사용자는 금방 떠나고, "폐쇄망 AI는 역시 안 된다"는 결론만 강해집니다.

흐름이 바뀌었다는 사실

이 이분법은 몇 년 전의 사실에 기초해 있습니다. 지금은 다릅니다. 공개 가중치(open-weights) 모델, 즉 가중치가 공개되어 자체 서버에서 구동할 수 있는 모델의 성능이 프론티어급에 근접했고, 추론 서버 기술은 상용 수준으로 성숙했습니다. 데이터를 내보내는 대신 모델을 들여오는 선택지가 실제로 열린 것입니다.

남은 문제는 가능성이 아니라 공학입니다. 어떤 모델을 고를 것인가, 어떤 하드웨어에 어떻게 올릴 것인가, 수십·수백 명이 쓸 때의 처리량을 어떻게 확보할 것인가, 그리고 누가 어떻게 운영할 것인가.

KDX Labs가 하는 방식

KDX Labs는 이 공학 문제를 처음부터 끝까지 다룹니다. 요구 규모와 용도를 진단해 서버를 설계하고, 업무 기준에 맞는 오픈소스 모델을 선정·검증해 반입합니다. 추론 최적화로 같은 하드웨어에서 더 많은 동시 사용자를 감당하게 만들고, 키 발급·사용량·로그 관리 체계까지 갖춰 운영 가능한 상태로 넘깁니다.

방산 협력사의 폐쇄망 환경에 실제로 구축해 운용해 온 방식이 그대로 표준 절차가 되었습니다. 반입 절차와 보안 요건을 존중하면서 진행하는 것. 이 도메인에서는 그것이 기술만큼 중요합니다.

보안망 안의 표준 인프라로

폐쇄망 LLM은 특수한 실험이 아니라 보안 조직의 표준 인프라가 될 것입니다. 전력망이나 내부 전산망처럼, 있는 것이 당연한 기반이 되는 것입니다. KDX Labs는 그 기반을 가장 엄격한 환경에서부터 만들어 갑니다. 데이터는 나가지 않고, 모델이 들어옵니다.