진서기

아스트라 멍청...

· 2026-09-09 (수) 13:42:39 · 859 · 7
코딩 자체만 보면? 멍청한짓을 좀 하네요.  개발 패턴도 좀 달라지고,

아스트라는 QA에만 쓰도록 해야겠네요. 토큰 감당도 안됩니다. 

코드생성지능 자체는 큰 진보는 없다는 말이 맞네요. 

DeepSWE 1.1

74.1%

72.7%

+1.4%p

총 1명이 반응했습니다
|

댓글 7개

2026-09-09 (수) 13:50:28
느낌이 확 옵니디ㅜㅜ 입소문없는 시도는 전문용어로 마루타코딩이라고 한다요 ㅜㅜ
아스트라가 뭘 어떻게 했길래 멍청하다는 건지, 어떤 개발 패턴이 어떻게 달라졌다는 건지 전제가 없어서 글만 봐서는 판단이 어렵네요.
수치도 무엇과 무엇을 비교하신 건지 설명이 없고요.
결론은 있는데 그 결론까지 가는 과정이 빠져 있어서, 사용후기라기보다는 작성자만 이해할 수 있는 메모처럼 읽힙니다. ㅜㅜ.
너무 주절주절 개발 세부 사항 까지는 쓰기 어렵지 않겠습니까?
8개월정도 개발중인 레포에 이미 확정된 배포 절차가 정해져 있는데 Astra high 모델로 배포를 하니 삽질을 여러번 해서요.
기존 개발 패턴대로 하지 않고 로컬환경 이제 사용도 안하는걸 다시 불러서 개발을 하기도 하고 적응기간이 필요하겠네요. 

근데 토큰 과하게 소비되서 주력 사용은 20x라도 부담되서 못쓰겠다 싶네요. 
Claude code가 과하게 느려도 이런점은 칭찬할만합니다.;;
2026-09-09 (수) 22:08:33
애초에 agi99.9% 이것도 자기들 하네스 썼을 때만 그렇게 나오고, 그냥 돌렸을 때는 60%대 나왔다죠.
옛날에 gpt5 나왔을 때도 성능 자체는 좋아진게 맞지만 그 이상으로 호들갑 떨고, 체감 성능은 향상이 됐지만 벤치마크 점수만큼은 아닌...
성능 자체는 좋아진게 맞겠지만, 항상 그렇듯 챗지피티는 마켓팅을 너무 오버하네요. 클로드한테 잘못 배운듯 ㅎㅎㅎ

아래 링크를 참고해 보셔요. Fable 모델 출시 때에도 테스터들의 비슷한 조언과 경험담이 있었습니다. 

https://x.com/pvncher/status/2095991462416490862

 

핵심을 한 문장으로 줄이면:

모델이 똑똑해질수록 AI에게 일을 시키기 위해 만들어 놓은 복잡한 Skills, AGENTS.md, 프롬프트가 오히려 성능을 떨어뜨릴 수 있으므로 다시 단순화하라.

특히 Codex 같은 코딩 에이전트를 오래 사용해 온 사람에게 중요한 내용입니다.

1. Skills를 많이 넣는 것이 좋은 게 아니다

예전 모델은 자세한 지침이 필요해서 Skills에 많은 규칙과 절차를 넣었습니다. 하지만 Astra 같은 최신 모델에서는 이것이 오히려 컨텍스트를 낭비하고 잘못된 Skill을 선택하게 만드는 원인이 될 수 있다고 지적합니다.

예를 들어 Database Skill 설명을

Database 관련 작업이면 이 Skill을 사용한다.

처럼 넓게 잡으면 안 되고,

Database migration을 생성하거나 수정할 때 사용한다.

처럼 언제 사용해야 하는지 짧고 정확하게 정의하는 것이 좋다는 것입니다.

즉,

Skill 수 ↓ / 설명 길이 ↓ / Trigger 정확도 ↑ 가 핵심입니다.

2. Skill은 Progressive Disclosure 방식으로

이 부분은 특히 중요합니다.

하나의 SKILL.md에 모든 설명을 때려 넣지 말고,


 
SKILL.md
   │
   ├── migration.md
   ├── testing.md
   ├── deployment.md
   └── scripts/

처럼 구성하라는 것입니다.

SKILL.md는 라우터 역할만 하고, 필요한 순간에만 세부 문서를 읽게 합니다. 이렇게 하면 불필요한 문서가 컨텍스트에 들어가는 것을 줄일 수 있습니다.

즉,

"모든 것을 미리 읽어라" → "필요한 것을 필요할 때 읽어라"

로 바뀌는 것입니다.

3. AGENTS.md도 짧아져야 한다

예전에는 이런 지시를 많이 넣었습니다.


 
작업하기 전에 README를 읽어라.
전체 repository 구조를 확인하라.
관련 문서를 모두 읽어라.
수정 전 반드시 테스트를 실행하라.
수정 후 전체 테스트를 실행하라.
...

그런데 아주 작은 오타 하나를 고치는데도 이런 절차를 전부 수행하면 시간과 컨텍스트를 낭비합니다.

Astra 수준의 모델은 스스로 필요한 파일과 문서를 판단할 수 있기 때문에,


 
Always read everything first.

같은 규칙보다 필요한 문서를 어디에서 찾을 수 있는지만 알려주는 방식이 더 적합하다는 주장입니다.

4. 지나치게 상세한 "레시피형 프롬프트"도 줄여라

예전에는


 
1. A를 읽는다.
2. B를 분석한다.
3. C를 확인한다.
4. 테스트한다.
5. 문제가 있으면 D를 한다.
6. 다시 테스트한다.
...

처럼 세세하게 절차를 지정하는 것이 도움이 됐습니다.

하지만 모델의 판단력이 좋아지면서 이런 지시는 모델의 자율적인 문제 해결 능력을 제한할 수 있습니다.

그래서 앞으로는

How(어떻게 할지)를 지나치게 지정하기보다
Goal(무엇을 달성해야 하는지)과 Boundary(어디까지 해도 되는지)를 명확하게 주는 것이 중요하다는 이야기입니다.

5. 반대로 "완료 조건"은 더 명확하게

Astra는 GPT-5.6 Sol보다 작업을 어디까지 계속해야 하는지 조심스럽게 판단하는 경향이 있어서, 첫 구현까지만 하고 사용자 검토를 기다릴 수 있다고 설명합니다.

따라서 단순히

이 문제를 수정해.

보다

문제를 수정하고,
구현을 실행하고,
관련 테스트를 수행하고,
실패 원인을 수정하고,
관련 테스트가 통과할 때까지 진행해.

처럼 Definition of Done(완료 조건)을 주는 것이 효과적이라는 것입니다.

즉 재미있게도,

절차는 줄이고 → 완료 조건은 명확하게

하라는 이야기입니다.


전체 내용을 제가 개발 프로젝트 관점에서 압축하면 이렇게 정리할 수 있습니다.

과거 방식 Astra 시대 권장 방식
Skills 많이 설치 필요한 Skills만
Skill 설명 길게 짧고 정확하게
모든 문서 먼저 읽기 필요한 문서만 읽기
상세한 Step-by-Step 목표 중심
행동 하나하나 지시 모델 판단에 맡김
강한 제한 규칙 필요한 경계만 설정
매 단계 확인 안전한 범위에서는 계속 진행
"구현해" 명확한 완료 조건 제시

결국 Eric의 메시지는 "프롬프트 엔지니어링을 없애라"가 아니라 "옛 모델의 부족한 능력을 보완하기 위해 쌓아 놓았던 프롬프트 부채(prompt debt)를 청소하라"에 가깝습니다. 새 모델이 이미 잘하는 일을 AGENTS.md와 Skills에서 다시 강제하면 중복·충돌·컨텍스트 낭비가 생긴다는 것이죠.

감사합니다. 
ai 쓰는데 메이저 버전업 될 때 마다 사용법도 바꿔야 한다니 참 번거롭네요.  근데 토큰 소모 때문에라도 주력 사용이 어렵네요. 
작업하던 플젝들 전부 아스트라 기준으로  바꿀수도 없네요.
댓글을 작성하시려면 로그인이 필요합니다.

자유게시판

203,027건
+
제목 글쓴이 날짜 조회
09-09 조회 760
09-09 조회 860
09-09 조회 743
09-09 조회 799
09-09 조회 924
09-09 조회 762
09-09 조회 774
09-08 조회 938
09-08 조회 1,076
09-08 조회 973
09-08 조회 873
09-08 조회 1,185
09-08 조회 919
09-07 조회 949
09-07 조회 1,066
09-07 조회 949
09-07 조회 973
09-07 조회 829
09-07 조회 990
09-07 조회 854