AI 도구로 제품 구현이 훨씬 수월해졌습니다. 만드는 것도 중요하지만, 유저의 병목이 어디인지 찾고 그 문제를 해결하는 기능 중심으로 생산과 실험을 반복하는 것이 더 중요해졌는데요. 그런데 실험의 워크플로우는 생각보다 복잡하고 어렵습니다. 그로스를 하는 입장에서 이 부분을 효율화하는 게 핵심이라 생각했고, 여러 가지를 시도해본 경험을 공유합니다.
——
✅반복되는 업무를 줄입니다
가설을 찾는 과정은 고통의 연속입니다. 수많은 차트와 인과, 상관 관계를 고려해 우선순위를 판단하는데요. 이 과정에서 수반되는 맥락과 실험 문서, 우선순위 기준은 우리 조직 안에 이미 존재합니다. 저는 이 자원을 클로드 코드와 Amplitude MCP로 자동화했습니다. 클로드 코드가 Amplitude MCP를 통해 매일 핵심 지표와 연결된 차트들을 가져오고, Amplitude Builder 스킬로 분석한 뒤 내부에서 표준화한 형식의 실험 문서 초안을 생성합니다.
다만 가설 아웃풋의 완성도를 높이는 작업은 여전히 진행 중입니다.
✅실험 결과를 학습해 가설을 발전시킵니다
실험이 끝나면 롤백 또는 롤아웃이 결정됩니다. 이 판단 자체가 쉽지 않습니다. 앰플리튜드 익스페리먼트는 primary, guardrail, sub 지표를 함께 보여주지만, 지표 간 방향이 엇갈리거나 유의미성이 모호하게 나타나는 경우가 있기 때문입니다. 클로드 코드가 앰플리튜그 MCP로 실험 결과를 불러와 분석하면 이 모호함을 줄일 수 있습니다. 실험이 쌓일수록 어떤 가설이 제품에 실제로 영향을 미쳤는지, 어떤 목표 설정이 틀렸는지를 누적해서 학습하도록 설계했습니다. 잘못된 세팅을 반복하거나 유사한 가설을 수립하는 것을 방지할 수 있습니다.
✅실험 세팅을 가속화합니다
잘 구조화된 실험 설계는 실제 셋업을 훨씬 수월하게 만듭니다. 클로드 코드가 앰플리튜드 MCP로 실험 스펙을 직접 생성하면, 개발, 디자인팀이 동일한 맥락에서 작업을 시작할 수 있습니다. 논의했던 내용이 왜곡되거나 잘못 설정돼 무의미한 실험이 반복되는 것을 줄입니다.
———
사실 제가 하던 일을 클로드에게 대신 시킨 것이나 다름없습니다. 아쉬운 결과물도 많지만 생각지 못했던 관점에서 좋은 제안을 주는 경우도 적지 않습니다. 잘 생각해보면 그로스 실험이라는 시스템을 내부적으로 갖추고 있었기 때문에 자동화도 가능한 것 같습니다. 자동화 이전에 자체적인 시스템을 구축하는 것이 먼저입니다🙌
해시태그#Growth 해시태그#Claude 해시태그#Amplitude