열한 명이 GPU를 안 바꾸고 추론을 30배 빠르게 하겠답니다 — 프랑스 코그와 초당 3천 토큰
파리의 열한 명짜리 스타트업 코그가 GPU를 바꾸지 않고 소프트웨어만으로 추론을 최대 30배 빠르게 하겠다고 말합니다. AMD MI300X 8장에서 초당 3천 토큰이라는 실측이 어디까지 검증된 숫자인지 짚었습니다.
AMD
AMD가 AI 모델을 칩에 통째로 새기는 회사를 샀습니다 — 탈라스 인수와 추론 비용의 재설계
AMD가 8월 6일 캐나다 스타트업 탈라스(Taalas)를 인수했습니다. 학습된 모델의 가중치를 소프트웨어가 아니라 트랜지스터에 직접 새겨 넣는 회사입니다. 초당 1만 7천 토큰, 전력 10분의 1, 제조비 20분의 1이라는 숫자가 무엇을 뜻하는지 정리했습니다.
앤트로픽이 직접 칩을 만들기 시작했어요 — 클로드 추론비용 절반이 목표
앤트로픽이 자체 AI 칩 설계팀 채용에 들어갔습니다. 목표는 클로드의 토큰당 추론비용 절반. 트레이니엄·TPU·엔비디아·AMD를 함께 쓰는 멀티칩 전략과 어떻게 맞물리는지 정리했어요.
이틀 만에 다시 13% 올랐어요 — 삼성·SK하이닉스 폭락과 AI 반도체 반등, 무슨 일이 있었나
7월 28일 코스피가 10.8% 빠지고 삼성전자·SK하이닉스가 13~14% 급락했는데, 30일에는 인텔·AMD가 13%씩 반등했어요. 이 널뛰기가 왜 일어났는지, AI 투자 지속가능성 논쟁의 핵심이 뭔지 정리했습니다.
GPU를 반으로 쪼갠다 — AMD·세레브라스가 손잡고 노리는 '와트당 5배' AI 추론
7월 28일 AMD와 세레브라스가 발표한 분리형 AI 추론 시스템. 추론을 프리필과 디코드로 쪼개 각각 최적 칩에 맡겨 와트당 최대 5배 효율을 노리는 전략을, 비유로 쉽게 풀었어요.
AMD Helios 등장, 마이크로소프트가 엔비디아 대신 선택한 이유
마이크로소프트가 AMD의 랙 단위 AI 시스템 Helios를 애저에 대규모 도입하기로 하며 AMD 주가가 5% 넘게 급등했어요. 엔비디아 독주 체제에 첫 균열이 생기는 걸까요?