잠시만 기다려주세요
LLM이 텍스트를 처리하는 최소 단위. 사람이 읽는 '단어'와 일치하지 않는 경우가 많으며, LLM의 비용 산정·컨텍스트 윈도우 관리·프롬프트 설계 등 실무적 의사결정에 직접 영향을 미치는 핵심 개념이다.
SEO 전문가 Dan Petrovic이 수행한 mDeBERTa-v3-base 모델 파인튜닝 실험을 중심으로, 텍스트 내 링크 예측을 위한 토큰 분류 모델 훈련 과정과 체크포인트 선택 기준을 정리한다. 마케터 관점에서 ML 실험이 SEO·콘텐츠 자동화에 어떻게 활용될 수 있는지 실무적 시사점을 다룬다.
