MI300X

열한 명이 GPU를 안 바꾸고 추론을 30배 빠르게 하겠답니다 — 프랑스 코그와 초당 3천 토큰

파리의 열한 명짜리 스타트업 코그가 GPU를 바꾸지 않고 소프트웨어만으로 추론을 최대 30배 빠르게 하겠다고 말합니다. AMD MI300X 8장에서 초당 3천 토큰이라는 실측이 어디까지 검증된 숫자인지 짚었습니다.