IBM 메인프레임 코어가 Arm 명령어를 직접 읽습니다 — 2나노 11코어 듀얼 아키텍처 칩 공개
IBM이 핫칩스에서 IBM Z와 Arm 명령어를 같은 코어에서 네이티브로 실행하는 첫 프로세서를 공개했습니다. 2나노 공정, 11코어, 5.7기가헤르츠, 실시간 사기 탐지용 AI 추론 가속기까지 정리했습니다.
AI 추론
세레브라스가 웨이퍼 세 장을 한 랙에 묶었습니다 — CS-4와 초당 4400토큰
CS-4는 세레브라스의 첫 멀티 웨이퍼 시스템입니다. 웨이퍼 한 장이 트랜지스터 4조 개·코어 90만 개이고, 세 장이면 750 페타플롭스입니다. 다만 새 실리콘이 아니라 클럭을 두 배로 올린 것이고 44기가바이트 한계는 2021년부터 그대로입니다.
열한 명이 GPU를 안 바꾸고 추론을 30배 빠르게 하겠답니다 — 프랑스 코그와 초당 3천 토큰
파리의 열한 명짜리 스타트업 코그가 GPU를 바꾸지 않고 소프트웨어만으로 추론을 최대 30배 빠르게 하겠다고 말합니다. AMD MI300X 8장에서 초당 3천 토큰이라는 실측이 어디까지 검증된 숫자인지 짚었습니다.
AMD가 AI 모델을 칩에 통째로 새기는 회사를 샀습니다 — 탈라스 인수와 추론 비용의 재설계
AMD가 8월 6일 캐나다 스타트업 탈라스(Taalas)를 인수했습니다. 학습된 모델의 가중치를 소프트웨어가 아니라 트랜지스터에 직접 새겨 넣는 회사입니다. 초당 1만 7천 토큰, 전력 10분의 1, 제조비 20분의 1이라는 숫자가 무엇을 뜻하는지 정리했습니다.