클로드 3.5 Sonnet New 버전이 출시되었습니다.

• 새로운 모델 발표: Claude 3.5 Sonnet의 업그레이드와 새로운 모델인 Claude 3.5 Haiku가 발표되었다.
• 가격 정보: Claude 3.5 Haiku의 가격은 1MTok입력/1MTok입력/5 MTok 출력으로 설정되었다.
• 기능 개선: Claude 3.5 Sonnet은 이전 모델에 비해 전반적인 성능이 향상되었으며, 특히 코딩 분야에서의 성능이 두드러진다.
• 속도 및 성능: Claude 3.5 Haiku는 이전 세대의 Haiku와 유사한 속도로 Claude 3 Opus와 비슷한 성능을 보여준다.

Claude 3.5 Sonnet의 개선 사항

• 성능 향상: 업그레이드된 Claude 3.5 Sonnet은 SWE-bench Verified에서 33.4%에서 49.0%로 성능이 향상되었다.
• 도구 사용 능력: TAU-bench에서의 성능도 향상되어, 소매 분야에서 62.6%에서 69.2%로, 항공사 분야에서는 36.0%에서 46.0%로 증가하였다.
• 가격 및 속도: 새로운 Claude 3.5 Sonnet은 이전 모델과 동일한 가격과 속도로 제공된다.
• 고객 피드백: GitLab과 Cognition 등에서의 초기 피드백은 AI 기반 코딩의 큰 도약을 나타낸다.

새로운 기능: 컴퓨터 사용

• 혁신적인 기능: Claude는 컴퓨터 사용이라는 새로운 기능을 공개 베타로 제공하고 있다.
• 개발자 활용: 개발자들은 Claude가 사람처럼 컴퓨터를 사용할 수 있도록 지시할 수 있으며, 이는 API를 통해 가능하다.
• 실험적 단계: 현재 이 기능은 실험적이며, 때때로 어려움과 오류가 발생할 수 있다.
• 사례 연구: Replit은 Claude 3.5 Sonnet의 컴퓨터 사용 기능을 활용하여 앱 평가 기능을 개발하고 있다.

고객 피드백 및 성능 평가

• 고객 피드백: 초기 고객 피드백에 따르면, 업그레이드된 Claude 3.5 Sonnet은 AI 기반 코딩의 중요한 발전을 나타낸다.
• 성능 비교: Cognition은 새로운 모델을 사용하여 코딩, 계획 및 문제 해결에서 이전 버전보다 상당한 개선을 경험하였다.
• 안전성 평가: Claude 3.5 Sonnet은 US AI Safety Institute와 UK Safety Institute의 공동 사전 배포 테스트를 통해 평가되었다.
• 위험 평가: 모델의 재난 위험에 대한 평가 결과, ASL-2 표준이 여전히 적절하다고 판단되었다.

Claude 3.5 Haiku의 특징

• 차세대 모델: Claude 3.5 Haiku는 가장 빠른 모델의 차세대 버전이다.
• 성능 향상: Claude 3.5 Haiku는 모든 기술 세트에서 개선되었으며, 코딩 작업에서 특히 강력하다.
• 지속적인 발전: Claude 3.5 Haiku는 SWE-bench Verified에서 40.6%의 점수를 기록하며, 많은 공개 모델을 초월하였다.
• 사용자 경험: 낮은 지연 시간과 향상된 지시 따르기, 더 정확한 도구 사용으로 인해 사용자 대면 제품에 적합하다.

컴퓨터 탐색 교육

• 기본 원칙: Claude는 특정 도구를 만드는 대신 일반적인 컴퓨터 기술을 가르치고 있다.
• API 활용: 개발자들은 API를 통해 Claude가 지시를 컴퓨터 명령으로 변환할 수 있도록 할 수 있다.
• 성능 평가: OSWorld에서 Claude 3.5 Sonnet은 스크린샷 전용 카테고리에서 14.9%의 점수를 기록하였다.
• 현재 한계: 현재 Claude의 컴퓨터 사용 능력은 불완전하며, 스크롤, 드래그, 확대와 같은 작업에서 어려움을 겪고 있다.

안전한 배포를 위한 조치

• 위험 요소: 컴퓨터 사용은 스팸, 허위 정보, 사기와 같은 익숙한 위협의 새로운 경로를 제공할 수 있다.
• 사전 예방적 접근: 안전한 배포를 촉진하기 위해 새로운 분류기를 개발하여 해로운 사용을 식별하고 있다.
• 연구 과정: 새로운 기술의 연구 과정과 안전 조치에 대한 논의는 컴퓨터 사용 개발에 대한 포스트에서 확인할 수 있다.
• 개발자 권장 사항: 개발자들은 저위험 작업으로 탐색을 시작할 것을 권장받고 있다.

미래 전망 및 피드백 요청

• 기술 초기 배포: 초기 배포에서 학습한 내용은 AI 시스템의 잠재력과 함의를 이해하는 데 도움이 될 것이다.
• 모델 탐색: 새로운 모델과 컴퓨터 사용의 공개 베타를 탐색할 것을 기대하고 있다.
• 피드백 요청: 사용자들은 피드백을 공유하여 Claude와의 작업 방식에 대한 새로운 가능성을 열어줄 것을 기대하고 있다.
• 창의적 활용: 이러한 발전이 사용자가 창조할 수 있는 것에 대한 기대감을 높이고 있다.

참고자료

 

Introducing computer use, a new Claude 3.5 Sonnet, and Claude 3.5 Haiku