GPT 4.1 이 개발자도구마다 API설계마다 다르겠지만 제가 써본 도구에서는 기만질과 없다고 주장 거짓말. 자기는 한적없다는 등 의 모습을 보이는데 제미니 2.5 프로 구글어드밴스를 최근 이용해보고 아무래도 GPT스럽더라구요. 추론과정도그렇고 해서 라이브 음성으로 자연스럽게 유도해보니 GPT로써, 라고 하는걸 보면 초반 딥시크의 모습을 볼 수 있는데 구글은 정말 자신들의 힘만으로도 순수  AI를 만든게 아닌거같다는 생각을 했습니다. 협업을 통해 빠르게 완성했다는 뇌피셜을 담아보네요 ㅋㅋ

 

지금까지 다양한 방법으로 제미니 를 써본결과 코딩모델로는 아주 심각하게 별로고...최근 윈드서퍼 무료로 진행중인 모델보다 떨어지고 프롬프트 생성용으로는 좋은 말 그대로 GPT 같이 심심풀이 대화, 일반업무용으로 문장 정리정도밖에 못해주는 결론입니다. 제대로 쓰려면 API로 제미니 2.5 프로 프리뷰 키값으로, node.js로 프롬프트, 코드베이스탐색, 중간 참조 파일 식으로 정교하게 새로 만들어야 일반 에이전트들 처럼 쓸 수 있다는게 대안이네요. 

 

일반적으로 오버클럭 대회처럼 극한의 환경에서 작은 조건으로만 벤치마킹돌린게 아닌가 싶습니다.

실무자들을 대상으로 판매를 해야하고, 벤치를 돌리려했다면 순수 오버클럭같이 수치만 뽑아내는 벤치마크가 아닌 에이전트 모드로 각 지역별 언어를 제대로 해석해서, 요구사항을 정리하고 응답시간 몇초안에 얼마나 정확하게 프롬프트를 진행하는가로 측정했어야할거같은데 웹상에 떠도는 벤치마크지표가 무슨 기준들인지 참 애매하더라구요.