AI 뉴스 SVIL 틱톡 허깅페이스 TikTok Hugging Face AI 학습 데이터 데이터 스크레이핑

틱톡 영상 45억 건이 공개 데이터셋이 됐습니다 — 289GB와 3주간의 비공식 API

SVIL - Singularity Visual Intelligence Lab 2026. 09. 04 18 min read

틱톡에 올라온 영상 45억 건의 기록이, 하룻밤 사이에 누구나 내려받을 수 있는 공개 데이터셋이 됐습니다.

한 개인 연구자가 틱톡 안드로이드 앱이 쓰는 비공식 API를 3주 동안 긁어 모은 결과입니다. 용량은 289기가바이트, 올라간 곳은 AI 모델과 데이터셋이 모이는 허깅페이스입니다.

수집한 사람 스스로 틱톡 약관을 어겼다고 데이터셋 설명에 적어 두었습니다. 그런데도 파일은 지금도 공개되어 있습니다. 오늘은 이 일이 왜 논쟁이 됐는지, AI 학습 데이터를 둘러싼 규칙이 지금 어디까지 와 있는지 차근차근 정리해 드립니다.

칠흑 속에서 홀로 타오르는 거대한 청록 사면체 — 방대한 수집물이 한자리에 모인 상태를 표현한 개념 이미지

45억 건이 하룻밤 사이 공개 데이터셋이 됐습니다

2026년 9월 3일, 허깅페이스에 올라온 데이터셋 하나가 개발자 커뮤니티를 술렁이게 했습니다. 틱톡 영상 45억 건의 기록이 담긴 파일이었습니다.

45억이라는 숫자는 감이 잘 오지 않습니다. 지구 인구를 80억으로 잡으면 두 사람 중 한 사람 몫의 영상 기록이 한 폴더에 들어간 셈입니다. 그 파일을 누구나, 계정만 있으면, 무료로 내려받을 수 있는 상태가 됐습니다.

무엇이 올라갔나 — 289GB, 파케이 형식

데이터셋의 전체 용량은 289기가바이트입니다. 저장 형식은 파케이(Parquet)로, 표 형태의 대용량 데이터를 다룰 때 쓰는 압축 포맷입니다.

파케이를 쓴다는 것은 이 데이터가 처음부터 분석용으로 설계됐다는 뜻입니다. 사람이 눈으로 읽으라고 만든 것이 아니라, 프로그램이 한꺼번에 불러다 통계를 내거나 모델 학습에 넣으라고 만든 형태입니다.

거대한 어두운 정육면체와 아주 작은 청록 정육면체가 멀찍이 떠 있는 모습 — 289기가바이트라는 규모 대비를 표현한 개념 이미지

영상 파일은 없고 메타데이터만 있습니다

가장 먼저 짚어야 할 사실은, 이 289기가바이트 안에 영상 파일 자체는 한 개도 없다는 점입니다. 들어 있는 것은 영상에 붙은 기록, 이른바 메타데이터입니다.

다만 수집자는 개별 영상을 틱톡 API로 요청해 받아 올 수 있는 코드를 함께 제공했습니다. 즉 영상이 데이터셋 안에 없을 뿐, 이 기록을 출발점으로 삼으면 실제 영상까지 이어지는 길이 열려 있습니다. 이 점이 논쟁을 훨씬 복잡하게 만듭니다.

한 줄에 무엇이 담겼나 — 캡션과 조회·좋아요·댓글·저장

한 건의 기록에는 영상 캡션 원문, 조회 수, 좋아요 수, 댓글 수, 저장 수가 들어 있습니다. 여기에 그 영상이 쓴 사운드 정보도 함께 붙어 있습니다.

숫자만 보면 무해해 보입니다. 그러나 캡션은 사용자가 직접 쓴 문장이고, 반응 수치는 그 계정이 어떤 콘텐츠로 얼마나 호응을 얻었는지를 그대로 드러냅니다. 45억 줄이 모이면 이것은 통계가 아니라 초상이 됩니다.

크기가 제각각인 청록 육각형 다섯 개가 한 줄로 늘어선 모습 — 한 건의 기록에 담긴 여러 항목을 표현한 개념 이미지

국가와 게시 시각까지 들어 있습니다

기록에는 영상이 올라온 국가와 게시 시각도 포함되어 있습니다. 이 두 항목이 결합하면 데이터의 성격이 달라집니다.

시각과 지역이 붙으면 특정 사건 전후에 어느 나라에서 무엇이 얼마나 올라왔는지를 재구성할 수 있습니다. 여론 분석에는 귀한 재료지만, 같은 재료로 특정 집단의 활동 패턴을 추적하는 것도 가능합니다. 도구는 하나인데 쓰임은 둘로 갈립니다.

어떻게 모았나 — 안드로이드 앱의 비공식 API

수집자는 틱톡이 공식적으로 공개한 연구용 API를 쓰지 않았습니다. 대신 안드로이드 앱이 서버와 주고받는 내부 통신 경로, 이른바 비공식 API를 흉내 냈습니다.

공식 API에는 신청 절차와 사용량 제한, 용도 심사가 붙습니다. 앱 내부 경로에는 그런 문턱이 없습니다. 문턱을 넘은 것이 아니라 문턱이 없는 옆문을 찾아낸 셈입니다.

청록 빛줄기가 어두운 정육면체 옆면의 좁은 틈으로 들어가는 모습 — 앱 내부의 비공식 통신 경로를 표현한 개념 이미지

기기 지문과 서명 방식을 흉내 냈습니다

앱 내부 경로로 들어가려면 서버가 요청을 진짜 앱에서 온 것으로 믿어야 합니다. 그래서 수집자는 기기 지문(device fingerprint)과 요청 서명 방식을 재현했습니다.

기기 지문은 어떤 단말에서 온 요청인지 식별하는 값이고, 서명은 그 요청이 위조되지 않았음을 증명하는 값입니다. 이 두 가지를 흉내 냈다는 것은 틱톡의 보호 장치를 분석해 되짚었다는 뜻이고, 대부분의 서비스 약관이 명시적으로 금지하는 행위입니다.

3주라는 수집 기간이 말해 주는 것

전체 수집에 걸린 시간은 3주였습니다. 45억 건을 3주에 나누면 하루에 약 2억 건, 초당 2천 건이 넘는 속도입니다.

이 속도는 사람이 앱을 넘기며 얻을 수 있는 것이 아닙니다. 자동화된 요청을 여러 갈래로 동시에 던지고, 차단을 피해 가며 계속 돌렸다는 뜻입니다. 3주라는 숫자는 규모보다 오히려 지속성을 보여 줍니다. 3주 내내 아무도 막지 못했습니다.

어두운 가로선 위 흐릿한 청록 점들 끝에 훨씬 크고 밝은 점 하나 — 3주에 걸친 수집의 누적을 표현한 개념 이미지

속도 제한은 어떻게 넘었나

모든 대형 서비스에는 짧은 시간에 너무 많은 요청이 들어오면 차단하는 속도 제한(rate limiting)이 걸려 있습니다. 수집자는 이 장치를 우회했다고 밝혔습니다.

우회 방법 자체는 크게 새롭지 않습니다. 요청 출처를 분산하고, 간격을 조절하고, 차단 신호가 오면 잠시 물러났다가 다시 들어가는 식입니다. 문제는 이런 기법이 이제 개인 한 명이 3주 안에 수십억 건을 확보할 만큼 성숙했다는 사실입니다.

수집자는 약관 위반임을 스스로 적었습니다

데이터셋 설명란에는 이 수집이 틱톡 약관에 어긋난다는 문장이 직접 적혀 있습니다. 숨기지 않았습니다.

이 자백이 상황을 묘하게 만듭니다. 위반 사실이 다툼의 대상이 아니라 이미 확정된 전제이기 때문입니다. 남은 질문은 위반했느냐가 아니라, 위반한 결과물이 공개된 채로 남아 있어도 되느냐입니다.

어두운 정육면체가 정중앙으로 갈라지며 청록 빛이 새어 나오는 모습 — 약관 위반을 스스로 드러낸 상황을 표현한 개념 이미지

데이터셋 카드의 금지 조항은 기술이 아니라 약속입니다

수집자는 데이터셋 카드에 신원 확인, 프로파일링, 표적화 용도로는 쓰지 말라는 조항을 달아 두었습니다. 취지는 이해가 갑니다.

그러나 이 조항은 코드가 아니라 문장입니다. 내려받은 파일에는 그 문장을 강제할 아무 장치도 붙어 있지 않습니다. 파일을 열고 무엇을 하든 막을 방법이 없습니다. 데이터가 공개되는 순간, 용도 제한은 기술이 아니라 신뢰에 기대게 됩니다.

스크레이퍼 코드는 699달러에 팔리고 있습니다

데이터셋 자체는 무료입니다. 그런데 수집에 쓴 Go 언어 스크레이퍼 코드는 699달러에 판매되고 있습니다.

이 구조가 커뮤니티에서 가장 강한 반발을 샀습니다. 무료 공개가 연구 기여로 읽히는 동안, 실제 수익은 그 결과물을 재현할 수 있는 도구에서 나오기 때문입니다. 데이터셋은 사실상 성능을 보여 주는 진열장 역할을 합니다.

훨씬 큰 어두운 육각 홈 안에 놓인 청록 정육면체 — 도구가 값에 매겨져 거래되는 상황을 표현한 개념 이미지

60바이트라는 숫자 — 커뮤니티가 의심한 지점

해커뉴스 토론에서 가장 날카로운 지적은 산수에서 나왔습니다. 289기가바이트를 45억으로 나누면 한 줄에 약 60바이트입니다.

60바이트는 한글로 스무 자 남짓입니다. 캡션 원문과 다섯 가지 수치, 사운드 정보, 국가, 게시 시각을 모두 담기에는 지나치게 작습니다. 압축을 감안해도 빠듯합니다. 그래서 데이터셋이 광고하는 내용을 실제로 담고 있느냐는 의문이 제기됐습니다.

데이터셋 설명문이 AI로 쓰였다는 지적

여러 참여자가 설명문의 문체를 문제 삼았습니다. 전문 용어가 빽빽하게 들어찼는데 정작 기술적으로 앞뒤가 안 맞는 대목이 섞여 있다는 것입니다.

AI가 대신 쓴 설명문이라는 추정이 나왔습니다. 이 지적이 중요한 이유는 문체 취향 때문이 아니라, 데이터셋 카드가 검증의 유일한 근거이기 때문입니다. 설명을 믿을 수 없으면 안에 무엇이 들었는지 확인할 방법 자체가 사라집니다.

똑같은 어두운 정육면체 둘 중 하나만 모서리가 청록으로 빛나는 모습 — 설명과 실제가 어긋난 상태를 표현한 개념 이미지

공개된 데이터라는 말의 함정

이런 논쟁에는 늘 같은 반론이 등장합니다. 어차피 누구나 볼 수 있게 공개된 게시물이니 모아도 되지 않느냐는 것입니다.

그러나 한 사람이 앱에서 하나씩 보는 것과, 45억 건을 한 파일에 담아 통계와 학습에 쓰는 것은 성격이 다릅니다. 개인정보 보호 논의에서 이를 집합 효과라고 부릅니다. 낱개로는 무해한 정보가 규모가 커지면 새로운 힘을 갖습니다.

저작권 — 메타데이터에도 본문 텍스트가 있습니다

영상이 없으니 저작권 문제도 없다고 보기 쉽습니다. 하지만 캡션은 사용자가 쓴 창작 표현이고, 그 원문이 통째로 들어 있습니다.

커뮤니티에서 저작권 삭제 요청 가능성이 거론된 이유가 여기 있습니다. 짧은 문장이라도 45억 개가 모이면 상당한 규모의 텍스트 말뭉치가 됩니다. 이 말뭉치는 언어 모델 학습에 그대로 쓸 수 있는 형태입니다.

거대한 어두운 정육면체가 훨씬 작은 청록 정육면체를 위에서 내리누르는 모습 — 창작 표현에 가해지는 압력을 표현한 개념 이미지

미성년자 문제가 가장 무겁습니다

토론에서 가장 무겁게 다뤄진 지점은 이용자 연령이었습니다. 틱톡은 이용자 상당수가 청소년인 서비스입니다.

성인이 자기 게시물의 공개 범위를 판단하는 것과, 미성년자가 올린 글이 본인도 모르는 사이 대규모 데이터셋에 편입되는 것은 다른 문제입니다. 각국의 아동 개인정보 규정이 성인보다 훨씬 엄격한 것도 같은 이유입니다.

허깅페이스는 어떤 위치에 서 있나

허깅페이스는 AI 모델과 데이터셋을 올리고 내려받는 공유 플랫폼입니다. 올라온 자료를 사전에 일일이 심사하지는 않습니다.

구조가 코드 공유 플랫폼과 비슷합니다. 누구나 올리고, 문제가 제기되면 사후에 처리합니다. 이 방식은 개방성을 지키는 대신, 문제가 있는 자료가 발견되기 전까지는 그대로 배포된다는 대가를 치릅니다.

얇은 어두운 막대로 짜인 고리 한가운데 아무것에도 닿지 않은 청록 정육면체가 떠 있는 모습 — 심사 없이 놓인 공유 구조를 표현한 개념 이미지

테이크다운 기록은 공개되어 있습니다

허깅페이스는 받은 삭제 요청을 별도 저장소에 연도별로 공개하고 있습니다. 어떤 자료에 누가 어떤 근거로 삭제를 요청했는지 남는 구조입니다.

이런 투명성 장치는 드뭅니다. 다만 기록이 남는다는 것과 빠르게 내려간다는 것은 다른 이야기입니다. 요청이 접수되고 검토되는 동안에도 파일은 계속 내려받힙니다. 한 번 퍼진 사본은 원본이 사라져도 남습니다.

유럽 일반개인정보보호법(GDPR)에는 본인의 개인정보를 지워 달라고 요구할 권리가 있습니다. 허깅페이스도 개인정보 삭제 요청을 접수하는 창구를 두고 있습니다.

문제는 실행 가능성입니다. 45억 줄에서 내 기록만 골라 지우려면 우선 어느 줄이 내 것인지 특정해야 합니다. 이미 다른 사람이 내려받은 사본에는 그 요청이 닿지 않습니다. 권리는 있는데 도달 범위가 좁습니다.

청록 빛줄기가 어두운 정육면체에 닿아 완전히 흡수되는 모습 — 삭제 요청이 닿지 않는 지점을 표현한 개념 이미지

틱톡이 취할 수 있는 조치

틱톡 입장에서 가능한 대응은 몇 가지로 나뉩니다. 플랫폼에 삭제를 요청하는 방법, 약관 위반을 근거로 법적 조치를 검토하는 방법, 그리고 API 보호 장치를 강화하는 방법입니다.

앞의 두 가지는 이미 벌어진 일을 되돌리는 데 한계가 있습니다. 실질적인 대응은 세 번째입니다. 다만 그것은 이번 건을 해결하는 조치가 아니라 다음 건을 어렵게 만드는 조치입니다.

왜 이런 데이터셋이 계속 나오나 — 학습 데이터의 갈증

이런 일이 반복되는 배경에는 학습 데이터 수요가 있습니다. 모델을 키우려면 사람이 실제로 쓴 문장과 실제 반응 기록이 필요합니다.

공개 웹 텍스트는 상당 부분 이미 소진됐다는 이야기가 나온 지 오래입니다. 그래서 아직 덜 긁힌 곳, 특히 소셜 플랫폼 내부로 관심이 옮겨 갑니다. 이번 데이터셋은 그 압력이 어디까지 왔는지 보여 주는 사례입니다.

점점 커지고 밝아지는 육각형들이 사선으로 늘어선 모습 — 학습 데이터 수요의 증가를 표현한 개념 이미지

실제 사례 — 연구용 공개와 무단 수집 사이

구분선은 데이터의 종류가 아니라 절차에 있습니다. 정식 연구 데이터셋은 대개 세 가지를 갖춥니다. 수집 근거를 밝히고, 개인 식별 정보를 제거하고, 접근에 심사를 둡니다.

이번 데이터셋은 세 가지 중 어느 것도 갖추지 않았습니다. 근거는 약관 위반이고, 캡션 원문이 그대로 있으며, 접근은 완전히 열려 있습니다. 그래서 같은 재료를 다뤄도 연구용 공개와는 다른 자리에 놓입니다.

실무에서 이 구분은 그대로 판단 기준이 됩니다. 어떤 데이터셋을 업무에 쓰기 전에 물어볼 것은 세 가지입니다. 출처가 밝혀져 있는가, 개인 식별 정보가 정리됐는가, 사용 조건이 기술적으로 강제되는가. 세 개 중 하나라도 답이 없으면 그 데이터는 조직의 위험으로 들어옵니다.

넓은 청록 빛줄기가 두 어두운 덩어리 사이를 지나며 날카롭게 좁아지는 모습 — 연구와 무단 수집을 가르는 기준을 표현한 개념 이미지

핵심 정리

첫째, 틱톡 영상 45억 건의 메타데이터가 289기가바이트 데이터셋으로 허깅페이스에 공개됐고, 수집 기간은 3주, 경로는 안드로이드 앱의 비공식 API였습니다.

셋째, 커뮤니티는 한 줄 60바이트라는 산수와 AI로 작성된 듯한 설명문을 근거로 데이터셋의 실제 내용까지 의심하고 있습니다. 이용자 다수가 청소년이라는 점이 가장 무거운 쟁점으로 남아 있습니다.

참고하실 만한 것

AI 데이터셋을 업무에 들이실 계획이 있다면, 파일을 받기 전에 데이터셋 카드부터 끝까지 읽어 보시길 권해 드립니다. 출처와 수집 방법이 적혀 있지 않은 자료는 나중에 조직의 책임으로 돌아옵니다.

SVIL 연구소는 AI 기술 소식을 큰 글씨와 쉬운 설명으로 전해 드리고 있습니다. 같은 내용을 영상으로도 정리하고 있으니 편하신 쪽으로 보셔도 좋습니다.

출처

협업문의 : kuroicode@gmail.com
블로그 : https://blog.svil.dev/
홈페이지 : https://svil.dev/