모델이 조금은 느려졌으면 좋겠다

새벽에 핸드폰으로 원격 서버에 접속합니다. 여러 tmux 세션에서 커서 예닐곱 개가 제각기 다른 속도로 깜빡이고 있습니다. 하나는 코드 리뷰 끝, 하나는 리팩터 끝, 하나는 아직 한창 기능 구현 중. 이걸 보고 있으면 "모델이 조금은 느려졌으면 좋겠다"는, 1년 전만 해도 이해 못했을 문장이 머릿속에 떠오릅니다. 에이전트 토큰 리밋보다 '브레인 토큰' 리밋에 빨리 도달하고 있기 때문입니다.

Claude Code에도, Codex CLI에도 /fast 모드가 있죠. 클코는 추가 과금 대상이라서 안 쓰지만, 코덱스는 추가 과금 없이 정액제 리밋 내의 토큰이 소모되는 구조(속도 1.5배 + 토큰 소모 2배)라서 빈번한 핑퐁이 필요할 때 애용하고 있습니다.

그런데 가끔은 거꾸로 Slow 모드가 있으면 좋겠다는 생각도 듭니다. 저렴한 Batch API(50% 할인, 24시간 SLA)는 이미 있으니, 인터랙티브 코딩 에이전트에도 비슷한 걸 넣어주면 어떨까 싶은 거죠. 어차피 내가 제때 다음 프롬프트를 넣을 수 없는 상황이라면 퀄리티는 보장하되, 토큰 비용은 적게 나가게 해주고(어차피 Anthropic이나 OpenAI나 워크로드에 시달리고 있으니) 천천히 응답하는 겁니다. 더 저렴한 택배 배송 옵션 선택하듯.

예를 들어 이럴 때 유용할 듯해요.

1. 다른 집중할 만한 메인 작업 도중에 짬짬이 작업 돌릴 때
2. 잠자는 동안, 즉 대충 6-8시간 안에만 끝나면 되는 작업 시킬 때
3. 에이전트 안 쓰는 작업에 집중해야 할 때

여기서 가장 중요한 건 3번입니다. 솔직히 Slow 모드에서 에이전트의 토큰 비용이 적게 나가는 건 엄청 중요하진 않습니다. 브레인 토큰 비용이 적게 나가는 게 더 중요합니다. 내가 병목이라는 느낌과 함께 떨어지는 효능감도 브레인 토큰의 효율을 낮추기 때문에 더욱 그렇습니다.

요즘 3-4개 프로젝트에서 총 6-7개씩 병렬 작업 돌리다 보니, 창 돌아다니며 다음 프롬프트 입력하느라 오히려 중요한 작업이 자꾸 느려지는 느낌을 받았거든요. '놀고 있는' 세션에서 다음 지시를 기다리며 깜빡이는 AI의 커서를 무시하는 데에도 은근한 멘탈 에너지가 소모되고요.

그래서 애초에 내가 감당할 수 있는 속도로 피드백이 오면 좋겠다는 생각이 든 거예요. 물론 '유의미한' 다음 작업을 무한히 + 자동으로 줄 수만 있다면 이상적이겠지만 이게 그리 쉽지 않습니다. Ralph 루프나 Auto-research 돌릴 소재가 무한한 것도 아니고, 진짜로 무한히 돌려버린다면 정말 내게 필요한 작업을 할 토큰이 없을 테니까요. 오케스트레이션 잘 하면 된다지만, 뭐 해법이 하나일 필요도 없으니까요.

몇 년 전만 해도, 팀장으로서 미팅 폭탄 맞던 날에나 했던 고민을 요즘 매일같이 하고 있네요. 폴 그레이엄이 2009년에 쓴 Maker's Schedule, Manager's Schedule이라는 글을 읽었던 기억이 나는데 이제는 모두가 Maker이면서 동시에 Manager가 되어야 할 판입니다.

예전엔 캘린더가 쪼개졌는데, 요즘은 세션이 쪼개지고 뇌가 쪼개집니다. 여러분은 브레인 토큰 관리를 어떻게 하고 계신가요?