Key Takeaways
- 스케일링 시대는 끝났습니다. — 데이터 고갈과 모델 붕괴(Model Collapse) 위험으로, '더 크게, 더 많이'의 접근법은 더 이상 유효하지 않습니다.
- AI 경쟁력은 이제 '데이터의 질'이 결정합니다. — LIMA 연구가 증명했듯, 52배 적은 고품질 데이터가 대량의 일반 데이터를 압도합니다.
- 파운데이션 데이터가 해답입니다. — 바운드포는 신한카드(94.3%), KETI(95%) 등 실제 현장에서 검증된 '믿을 수 있는 핵심 데이터'로 AI 성공을 이끌고 있습니다.
1. 스케일링 법칙의 종말, 데이터 고갈 시대
“우리는 이미 가장 좋은 데이터를 썼고, 더 이상은 없을 것입니다” ChatGPT 개발을 주도한 오픈AI 공동창업자이자 전 CTO 일리아 수츠케버는 ‘데이터와 컴퓨팅 자원을 투입하면 이에 비례해 AI모델 성능이 개선된다’는 스케일링 법칙이 더 이상 유효하지 않다고 주장합니다. 그는 AI 성능 향상에 도움이 될 만한 데이터는 이미 바닥을 드러냈다고 말합니다. 단순히 규모를 키우는 스케일링 법칙에 따른 접근법은 한계에 이르렀다는 것입니다. AI가 학습할 데이터가 고갈되면서 생성형 AI 모델 훈련이 어려워질 것으로 예상하는 이유입니다.
2020년부터 2025년까지 '스케일링의 법칙'이 방 안의 모든 공기를 빨아들였습니다. 너나 할 것 없이 모두가 같은 행동만 하고 있다는 뜻입니다. “One consequence of the age of scaling is that scaling sucked out all the air in the room. Because scaling sucked out all the air in the room, everyone started to do the same thing” - Dwarkesh Podcast “Ilya Sutskever - We’re m oving from the age of scaling to the age of research
지난해 에포크AI(Epoch AI)에 따르면, AI 모델 훈련에 사용할 수 있는 인간 생성 공개 텍스트 데이터의 총량은 약 300조 토큰으로 추정되는데, 현재의 스케일링 추세가 지속될 경우 2026~2032년 사이에 이 데이터가 완전히 소진될 것으로 전망합니다. 이후 데이터 고갈에 대한 우려가 확산되자 합성 데이터를 활용한 데이터 증강의 중요성이 강조됐습니다.
하지만 '합성 데이터'가 만능열쇠는 아니라는 경고가 나왔습니다. 2024년 국제 학술지 네이처(Nature)에 발표된 연구에 따르면, AI가 생성한 데이터로 다시 AI를 학습시키는 과정을 반복할 경우 모델의 지능이 급격히 퇴화하는 '모델 붕괴(Model Collapse)' 현상이 발생합니다.
마치 원본 문서를 복사한 뒤 그 복사본을 다시 복사하기를 반복하면 글자가 뭉개져 알아볼 수 없게 되는 것처럼, AI도 세대를 거듭할수록 독창적이고 희귀한 정보(꼬리 데이터)는 잊어버리고 획일화된 뻔한 답변만 내놓으며 현실을 왜곡하게 된다는 것입니다. 연구진은 이 같은 실험 결과를 통해 합성 데이터만으로는 성장에 한계가 있으며, AI의 지속적인 발전을 위해서는 인간이 만든 '진짜 데이터'의 수혈이 필수라고 강조했습니다.
2. 양의 시대에서 질의 시대로
해답은 '데이터 양(Volume)'이 아닌 '질(Quality)'에 있었습니다. 메타(Meta)가 발표한 LIMA는 1,000개의 데이터로 무려 52,000개의 데이터로 학습한 경쟁 모델을 압도적으로 이겼습니다. 심지어 연구 당시 가장 우수한 성능을 보인 GPT-4와 맞붙었을 때도 10번 중 4번 이상 대등하거나 더 뛰어난 답변을 내놓았습니다. 이는 이미 전공 지식을 다 꿴 천재 학생에게는 무의미한 문제 풀이 반복보다, 답안을 세련되게 작성하는 법을 알려주는 소량의 '모범 답안'이 훨씬 효과적인 것과 같은 원리입니다. 무조건 방대한 데이터를 쏟아붓는 것보다 소량이라도 완벽하게 준비된 데이터가 AI 성능을 극대화하는 핵심임을 시사합니다.
마이크로소프트의 'Textbooks Are All You Need' 연구는 AI에게도 '무엇을 공부하느냐'가 가장 중요하다는 사실을 증명했습니다. 연구진은 인터넷상 잡다한 정보를 무작위로 주입하는 대신, 마치 교과서처럼 논리적이고 정제된 '고품질 합성 데이터'를 만들어 작은 AI(Phi-1)에게 집중적으로 공부시켰습니다. 그 결과, 이 작은 AI는 자신보다 덩치가 100배나 더 큰 거대 모델들보다 코딩 능력 평가에서 오히려 더 뛰어난 성적을 거뒀습니다. 이는 "AI의 지능은 데이터의 양에 비례한다"는 기존의 통념을 깨고, 잘 정리된 교과서 한 권이 도서관의 무작위 독서보다 훨씬 강력할 수 있음을 보여주는 결정적인 사례입니다.
3. 3년을 앞서 예견한 바운드포 ‘파운데이션 데이터’
학계가 이제야 '데이터 품질'의 중요성을 외치고 있을 때, 바운드포(Bound4)는 이미 3년 전부터 이 패러다임의 변화를 예견하고 준비해왔습니다. 바운드포가 제시하는 해답은 바로 '파운데이션 데이터(Foundation Data)'입니다. 이는 앞서 LIMA 연구가 증명했던 '소량의 고품질 데이터'를 산업 현장에 맞춰 구현한 개념으로, AI가 최상의 성능을 낼 수 있도록 전략적으로 설계되고 정제된 '믿을 수 있는 핵심 데이터(Trustworthy)'를 의미합니다. 마치 AI에게 시중의 흔한 문제집이 아닌, 최고의 전문가가 만든 '명품 교과서'를 쥐여주는 것과 같습니다.
바운드포 '파운드리(Foundry) 서비스'는 이 파운데이션 데이터를 고객사의 환경에 맞춰 설계부터 생산, 검증까지 A to Z로 위탁 생산합니다. 핵심은 앞서 네이처(Nature)가 경고한 '모델 붕괴(Model Collapse)'를 원천 차단하는 방식에 있습니다. AI가 만든 데이터를 무작정 쓰는 것이 아니라, '현실 데이터 수집 → 시뮬레이션 → 인간 전문가의 검증'이라는 순환 구조를 통해 97% 이상의 정확도를 보장합니다. 합성 데이터의 효율성을 챙기되, 인간의 꼼꼼한 검수를 더해 AI가 현실을 왜곡하거나 멍청해지는 것을 막는 가장 현실적이고 안전한 대안입니다.
이러한 접근법은 이미 현장에서 놀라운 수치로 증명되고 있습니다. 신한카드는 쓸모없던 비정형 데이터를 되살려 AI 상담원의 답변 정확도를 94.3%까지 끌어올렸습니다. 또한 한국전자기술연구원(KETI)은 단 2개월 만에 5만 장의 실전 데이터를 구축해 로봇의 행동 모델 성능 95%를 달성했습니다. 이는 좋은 데이터가 어떻게 AI의 성능을 비약적으로 높이는지를 보여주는 확실한 증거들입니다.
4. 지금이 ‘파운데이션 데이터’ 준비할 적기
이제 AI 시장의 게임의 규칙이 바뀌었습니다. "누가 더 많이 가졌나"를 겨루던 단순한 덩치 싸움은 끝났고, "누가 더 알짜배기(고품질) 데이터를 가졌나"를 겨루는 승부가 시작되었습니다. 아직도 남들을 따라 데이터의 양만 늘리는 데 급급하다면, 이제는 멈춰서 전략을 점검해야 할 때입니다. 바운드포는 신한카드와 KETI의 성공 사례로 이미 검증된 '파운데이션 데이터'를 통해 가장 확실하고 효율적인 해답을 제시합니다.
데이터 품질 혁명은 먼 미래가 아닌 바로 오늘의 이야기입니다. 지금 바로 바운드포와 함께 우리 기업에 딱 맞는 성공적인 AI 전략을 설계해 보세요.
Posted by. 황인호 바운드포 Co-Founder, CEO | ‘기술은 저절로 발전하지 않는다’고 믿습니다. ‘단 하나의 아이디어로 세상을 바꿀 수 있다’는 비전 아래, 바운드포를 ‘AI 데이터 파운드리 기업’으로 성장시키고 있습니다. AI가 ‘사람의 열망에서 시작되어, 인류의 진보에 기여’하는 기술이 되도록, 오늘도 우리 구성원들과 최선을 다하고 있습니다.
Share article