[기사 스크랩] “크고 비싼 LLM 대신 가성비 높은 sLLM”... 빅테크 개발 전쟁에 韓 기업들도 동참

AI 뉴스

 

기사 제목 : “크고 비싼 LLM 대신 가성비 높은 sLLM”... 빅테크 개발 전쟁에 韓 기업들도 동참

기사 링크 : https://biz.chosun.com/it-science/ict/2024/05/03/TILI5ZARGVDX5JICKRAHP7H6RA/

“크고 비싼 LLM 대신 가성비 높은 sLLM”... 빅테크 개발 전쟁에 韓 기업들도 동참

---

본문 및 헤드라인

 

 최근 메타 공식 블로그에는 한국의 인공지능(AI) 스타트업 업스테이지와 매스프레소의 ‘매스(MATH) GPT’ 사례가 올라왔다. 메타 공식 블로그에는 주로 자사 제품이나 연구 성과가 소개되는데, 한국 스타트업의 기술 소개가 올라온 것은 이례적이다.

 매스 GPT의 매개변수(파라미터)는 130억개 수준으로 GPT-4(1조개)와 비교하면 작지만, 수학 능력에서는 세계 최고 수준이다. 1만2500개의 고난도 수학경시 문제로 구성된 ‘매스 벤치마크’에서 1점 만점에 0.488점을 받아 오픈AI의 GPT-4(0.425점)를 제쳤다. 업스테이지는 “챗GPT가 단순 데이터 양으로 학습을 해왔다면, 매스 GPT는 매스프레소가 보유한 고급 수학 데이터를 기반으로 수학 능력에 특화한 AI 모델”이라고 설명했다.

 구글, 마이크로소프트(MS), 메타 등 빅테크 기업들이 올 들어 소형언어모델(sLLM)을 선보이면서 국내 기업들도 잇따라 이 시장에 뛰어들고 있다. 훈련과 구동에 엄청난 비용이 드는 거대언어모델(LLM) 대신 가성비가 좋은 sLLM이 주목받고 있는 것이다. 업스테이지 같은 스타트업 뿐만 아니라 대기업, 보안업체까지 sLLM을 내놓고 있다.

 3일 업계에 따르면 구글은 최근 sLLM인 ‘제미나이 나노’를, MS는 ‘파이(Phi)-3 미니’를, 메타는 ‘라마3′를 공개했다. 매개변수는 AI 모델이 얼마나 많은 복잡한 명령어를 이해할 수 있는 지를 나타내는데, sLLM의 경우 매개변수가 수억~수십억개 수준이다. 제미나이 나노와 파이-3 미니, 라마3의 매개변수는 각각 18억개, 38억개, 80억개 수준이다. 거대언어모델의 경우 매개변수가 1000억개 이상이다. 샘 올트먼 오픈AI 최고경영자(CEO)는 과거 LLM 기반 챗GPT 구동에 들어가는 비용이 “눈물 날 정도로 비싸다”고 언급한 바 있다.

 sLLM은 경량화를 통해 응답 속도를 향상시켰고 입력 데이터 최적화 등으로 LLM 못지않은 효율을 낼 수 있다는 점이 장점이다. sLLM은 또 ‘온디바이스 AI’로 활용되기에 적합하다. 온디바이스 AI는 클라우드가 아니라 스마트폰, 노트북 등 기기 자체에 AI 서비스가 탑재된 것을 말하는데, 제한된 성능과 공간에서 AI를 구동하려면 작은 모델이 더 적합하다. 아울러 B2B(기업대기업) 시장에서는 ‘최소 비용, 최고 성능’을 내는 게 중요하기 때문에 sLLM이 보다 경쟁력이 있다.

 이에 국내 기업들도 sLLM을 속속 내놓고 있다. 네이버는 최근 하이퍼클로바X의 신규 경량화 모델인 ‘HCX-대시’를 선보였다. 기존 모델 대비 5분의 1 수준 가격으로 이용할 수 있다는 점이 특징이다. 문장 생성이나 요약과 같은 단순 업무부터 보고서를 작성하거나 맞춤형 챗봇을 구현하는 데 적합하다.

 업스테이지는 지난 3월 ‘솔라 미니’를 아마존 세이지메이커 점프스타트·AWS 마켓플레이스 등에 오픈소스로 공개했다. 고객사가 솔라 미니를 미세 조정해 자사의 맞춤형 생성 AI 서비스를 만들 수 있게 한 것이다. 에듀테크 산업용 sLLM도 출시했다. 업스테이지는 리걸테크 스타트업 로앤컴퍼니와 함께 ‘솔라-리걸’을 개발하겠다는 목표다. 업계 관계자는 “법률·의료·금융 등 특정 분야에서 활용되는 AI 서비스를 구사할 때 범용 LLM을 활용하기보다는 해당 분야 데이터를 중점적으로 학습한 소형언어모델을 활용하는 게 효율적”이라고 말했다.

 데이터·애플리케이션 보안 사업에 치중했던 파수도 sLLM인 ‘엘름(Ellm)’을 출시했다. 엘름은 온프레미스 구축형 sLLM으로 코딩, 법률, 세무, 금융 등 다양한 직군, 산업 환경에서 활용할 수 있다는 게 파수의 설명이다. 특정 작업이나 도메인에 맞는 작은 데이터 세트를 활용해 모델을 추가적으로 훈련시킬 수도 있어, 기업에서는 특정 부서나 조직에서만 활용할 수도 있다.

 미국 시장조사업체 밸류에이츠 리포트가 발간한 보고서에 따르면 sLLM 시장 규모는 2022년 51억8000만달러에서 오는 2029년 171억8000만달러로 성장할 전망이다.

---

추가 조사할 내용 및 요약

 

1. 비싼 LLM 대신 싸고 빠른 sLLM 뜬다…구글·MS 속속 선보여

링크 : https://www.hankyung.com/article/2024071536211

비싼 LLM 대신 싸고 빠른 sLLM 뜬다…구글·MS 속속 선보여

 

 인공지능(AI) 시장의 관심이 경량화 대규모언어모델(sLLM)에 쏠리고 있다. 많은 데이터가 필요하고 학습과 구동에 들어가는 비용도 높은 대규모언어모델(LLM) 대신 값싸고 빠른 sLLM을 활용해 다양한 산업에 적용하는 게 효과적이기 때문이다.

 15일 정보기술(IT) 업계에 따르면 구글, 마이크로소프트 등 주요 글로벌 빅테크가 신형 sLLM을 잇달아 선보이고 있다.

 sLLM은 단어 그대로 LLM을 경량화한 AI 모델이다. LLM과 마찬가지로 자연어 처리 작업을 수행할 수 있다. 기존 LLM 대비 파라미터(매개변수) 수가 대폭 줄어든 게 가장 큰 특징이다. LLM의 파라미터가 수천억 개에서 조 단위를 넘나드는 반면 sLLM은 작게는 수천만 개에서 수십억 개 사이를 왔다 갔다 한다.

 성능 면에서는 LLM이 월등하다. 글쓰기부터 이미지·오디오 생성까지 다양한 일을 할 수 있다. 문제는 돈이다. LLM을 비롯한 생성형 AI는 지금까지 등장한 IT 가운데 가장 비싼 기술로 꼽힌다. LLM을 만들기 위해선 방대한 양의 데이터, AI 학습과 추론을 위한 그래픽처리장치(GPU) 등 칩셋, AI 전문 엔지니어 등이 필요하다. 지난해 구글 모회사 알파벳의 존 헤네시 이사회 의장은 “생성 AI를 활용한 검색 비용이 일반 검색 비용보다 열 배 더 높다”고 말했다. 샘 올트먼 오픈AI 최고경영자(CEO)도 챗GPT 출시 다음달인 2022년 12월 “챗GPT 구동에 들어가는 비용이 눈물 날 정도로 비싸다”고 언급했다.

 미국 스탠퍼드대의 AI 인덱스 리포트에 따르면 구글이 투입하는 제미나이 울트라의 학습 비용은 1억9140만달러(약 2645억원), 오픈AI의 GPT-4는 7835만달러(약 1080억원)에 달하는 것으로 추정됐다. 구동할 때마다 소요되는 비용도 만만치 않다. 그러다 보니 수익화가 쉽지 않다. 미국 IT 전문매체 디인포메이션에 따르면 오픈AI는 2022년 5억4000만달러(약 7454억원)의 적자를 냈는데 지난해에는 적자 폭이 더 커졌을 것으로 추정된다.

 이 같은 문제 때문에 주요 AI 기업은 sLLM으로 시장을 공략하고 있다. 매개변수의 수를 줄이면서도 특정 분야에선 범용 모델 못지않은 성능을 발휘하는 방향으로 연구를 진행 중이다. 전체적인 모델 크기가 작기 때문에 스마트폰, 노트북 같은 기기에 탑재하는 온디바이스 AI로도 활용할 수 있다. 월스트리트저널(WSJ)은 최근 sLLM으로 충분한 작업에 LLM을 쓰는 것을 두고 “탱크를 몰고 식료품을 사러 가는 것과 같다”고 지적하기도 했다.

 마이크로소프트는 지난 4월 AI 모델 ‘파이-3 미니’를 출시했다. 파라미터(매개변수)가 38억 개 수준인 sLLM이다. 마이크로소프트는 이 모델에 대해 “열 배 큰 모델 수준의 응답을 제공할 수 있고 비슷한 기능의 다른 모델보다 비용은 10분의 1 정도”라고 설명했다. 마이크로소프트는 향후 파이-3 스몰, 파이-3 미디엄도 내놓을 예정이다. 이 모델들의 파라미터는 각각 70억 개, 140억 개다.

 구글도 최근 ‘제미나이 1.5 플래시’를 구글 클라우드 버텍스 AI 플랫폼을 통해 공식 출시했다. 반복 작업을 자동화하는 데 최적화된 모델이라는 설명이다. 앤스로픽은 자사 LLM 클로드 라인업에서 ‘하이쿠’라는 경량 모델을 함께 제공 중이다.

 국내 기업들도 sLLM을 잇달아 선보이고 있다. 네이버는 지난 4월 하이퍼클로바X의 경량 모델인 ‘HCX-대시’를 출시했다. 기존 하이퍼클로바(HCX-003) 대비 5분의 1 가격으로 이용할 수 있다. 문장 생성과 변환, 분류, 요약 등 단순한 업무부터 보고서 작성, 맞춤형 챗봇 구현 등 다양한 용도로 활용할 수 있다는 설명이다. 이미지, 오디오 데이터를 처리할 수 있는 경량 모델도 공개할 계획이다.

 LG유플러스도 지난달 자체 개발한 sLLM ‘익시젠(ixi-GEN)’을 출시했다. LG AI 연구원의 LLM ‘엑사원’을 기반으로 LG유플러스의 통신·플랫폼 데이터를 학습시켰다. LG유플러스는 공공·금융·제조 등 다양한 산업 분야에 최적화한 익시젠 모델을 개발해 공급할 계획이다.

 미국 시장조사 업체 밸류에이츠 리포트에 따르면 sLLM 시장 규모는 2022년 51억8000만달러(약 7조1400억원)에서 2029년 171억8000만달러(약 23조6000억원)로 커질 전망이다.

 

2. 링크브릭스 sLLM, 한국어 sLLM 리더보드 1위 달성

링크 : https://www.etnews.com/20241115000229

링크브릭스 sLLM, 한국어 sLLM 리더보드 1위 달성

 

 링크브릭스가 개발한 거대언어모델(LLM) 개발 빌더인 '호라이즌 AI' 플랫폼을 통해 만든 한국어 경량화 거대언어모델(sLLM)이 최근 '오픈 Ko-LLM 리더보드'(한국어 LLM 성능 평가 리더보드) 상위권을 차지했다.

 링크브릭스에 따르면, 한국지능정보사회진흥원(NIA)과 업스테이지가 공동 운영하는 '오픈 Ko-LLM 리더보드'에서 호라이즌 AI를 통해 만든 sLLM 3개가 지난 13일 기준 1위, 2위, 7위를 각각 기록했다.

 링크브릭스 호라이즌 AI는 sLLM 구축에서부터 서비스까지 전 과정을 쉽게 구축하고 실행하는 통합 플랫폼이다. 호라이즌 AI 플랫폼을 활용하면 기업 내부 데이터를 활용해 자신만의 sLLM을 만들 수 있다.

 파인튜닝(미세조정)과 전문가 LLM 통합(MoE), Rope(Rotary Positional Embedding)와 같은 최신 기법을 사용하는 설치형과 클라우드형 모두를 지원하는 sLLM 개발 빌더를 제공한다.

 호라이즌 AI는 고가 인프라 없이도 서비스가 가능하게 해주는 sLLM 서비스 플랫폼을 비롯, 다양한 서비스를 기획자와 함께 시각적으로 구축하는 sLLM 워크플로우 엔진이 통합된 것이 장점이다.

 지난 7월 첫 선을 보인 후 번역·군사·의료·파이낸스·전자상거래 등 분야별 전용 sLLM을 만드는 등 다양한 기업과 프로젝트를 진행 중이다.

 지윤성 링크브릭스 공동창업자는 “개인·기업 등 누구나 자신만의 sLLM을 2~3일이면 만들어 낼 수 있는 호라이즌 AI 플랫폼의 품질과 성능을 이번 리더보드 1위 달성으로 증명했다”며 “호라이즌 AI 플랫폼을 통해 sLLM의 대중화를 이끌고, 고가 GPU 없는 기업도 AI를 사내에 도입하거나 사업에 응용할 수 있는 환경을 제공하겠다”고 말했다.

---

마무리

 여기까지 오늘의 기사 스크랩이었습니다. 최근 기사 스크랩을 하면서 LLM의 방향성으로 sLLM, LMM, LAM 등 다양한 기술들에 대해서 살펴보았습니다. 그 중에서 오늘은 sLLM에 대해서 조사해보았습니다. LLM의 모델 파라미터, 구동 비동 등을 고려하였을 때, 매우 비싼 비용과 시간 절약을 위해, 구글, MS 그리고 메타 등과 같은 많은 기업들이 sLLM을 도입하고 새로운 기술을 선보이고 있습니다. 또한 해당 기술에 대해 기업들이 투자를 하고 있는 자금에 대한 규모를 살펴보았고 마지막으로 링크브릭스의 한국어 리더보드 1위 달성에 대한 기사로 마무리하였습니다.