작은 모델이 휴대폰과 브라우저 안에서 돌아가기 시작하면서, 모든 요청을 서버로 보낼 이유가 줄었습니다. 문장 다듬기, 간단한 분류, 오프라인 초안은 기기 안에서 끝낼 수 있습니다. 반대로 최신 문서 검색, 긴 맥락, 여러 시스템을 잇는 도구 호출은 아직 클라우드가 유리합니다.
고를 때 파이랩이 적는 표는 세 열입니다. 사용자가 기다리는 시간, 요청당 비용, 원문이 기기 밖으로 나가도 되는지. 셋 중 하나라도 빨간 칸이면 그 경로는 위치를 바꿉니다. 성능 리더보드의 순위는 네 번째 열입니다.
혼합이 가장 흔한 결론입니다. 기기에서 초안과 분류를 하고, 사용자가 동의한 경우에만 서버의 큰 모델이 문서와 도구를 봅니다. 이 경계가 코드에 없으면 나중에 로그에 고객 문장이 쌓입니다. 위치 결정은 모델 선택이면서 개인정보 설계입니다.
운영도 다릅니다. 온디바이스는 앱 업데이트로 모델이 바뀌고, 클라우드는 서버 설정으로 바뀝니다. 둘을 쓰면 평가 세트도 둘입니다. 한쪽에만 테스트를 두면 다른 쪽이 조용히 퇴보합니다.
