[기사 스크랩] 새로운 지능의 시대: 검색증강생성(RAG)에서 인공일반지능(AGI)까지

AI 뉴스

 

기사 제목 : 새로운 지능의 시대: 검색증강생성(RAG)에서 인공일반지능(AGI)까지

기사 링크 : https://www.etnews.com/20240509000062

[ET시론]새로운 지능의 시대: 검색증강생성(RAG)에서 인공일반지능(AGI)까지

---

본문 및 헤드라인

 

 최근 검색증강생성(RAG) 기술이 큰 주목을 받고 있다. 오픈AI, 마이크로소프트(MS), 구글, 앤트로픽 등 인공지능(AI) 기술을 선도하는 거의 모든 기업들이 이 기술을 활용한 서비스를 선보이면서 '맞춤형 AI 시대'를 열고 있다고 해도 과언이 아니다. RAG는 기존 대화형 AI 모델에 정보 검색 기능을 결합해 보다 정확하고 광범위한 지식을 활용하는 것을 목적으로 한다. 특히 RAG는 대규모 정보 소스, 경우에 따라서는 외부에 공개되지 않은 개인의 문서나 조직 내부의 정보에서 필요한 데이터를 신속하게 찾아내고, 이를 기반으로 사용자의 질문이나 요청에 대한 응답을 생성함으로써 더 정확하고 개인화된 답변을 제공할 수 있다.

 RAG가 널리 알려진 것은 지난해 오픈AI 최고경영자(CEO)인 샘 올트먼이 맞춤형 GPT를 제작하는 GPT 빌더의 기능을 시연하면서부터 였다. 샘 올트먼은 웹 자동화 도구인 자피어(Zapier)를 GPT 빌더에 연결해, 사용자의 일정을 실시간으로 검색하고 메시지를 보내는 등의 요청을 현장에서 직접 실행하며 이 기술의 실용성을 보여줬다. 이 시연은 RAG가 단순히 정보를 검색하고 전달하는 것을 넘어, 정보 통합과 실질적인 문제 해결에까지 활용될 수 있음을 시사했다. 정보의 양이 기하급수적으로 증가하는 현 시대에, 이 기술의 중요성은 점점 더 커질 것으로 보인다. 특히 2024년에는 RAG를 통한 맞춤형 답변이 개인화 또는 맞춤형 AI 서비스의 주요 화두로 부상하면서, 개인화된 AI 사용자 경험이 비즈니스와 일상 생활에서 AI 도입을 더욱 촉진할 것으로 기대된다.

 RAG 기술은 기본적으로 외부 정보를 참조해 응답을 생성한다는 점에서 공통점이 있지만, 언어모델 개발에 주력하는 기업과 클라우드 서비스를 제공하는 기업 간에 다소 접근법의 차이가 있다. 예를 들어, 챗GPT와 클로드(Claude)3는 사용자가 프롬프트 창에 등록한 문서 또는 이미지를 참조하는 방식인 반면, MS와 구글은 자사 클라우드 저장 공간의 파일과 연동된 생산성 도구 등을 광범위하게 활용한다. 어쩌면 스타트업과 빅테크 기업의 규모의 차이에서 비롯된 것일 수도 있지만, 사용자 입장에서는 크고 복잡한 서비스보다는 실제로 체감할 수 있는 스타트업의 최소 기능 제품을 더 자주 사용하게 되는 경향이 있다. 그러나 빅테크 기업들이 클라우드 저장공간과 생산성 도구들을 AI와 온전히 통합해 RAG 서비스를 완성하면 비즈니스와 개인의 일상에 막대한 영향을 미치게 될 것이다.

 RAG는 인공일반지능(AGI)으로의 전환을 위한 중요한 기반이 될 수 있다. RAG가 구현하는 향상된 데이터 처리 및 학습 능력은 AGI의 핵심 구성 요소인 일반화된 학습과 문제 해결 능력을 뒷받침한다. RAG는 특정 질문에 대한 답변뿐만 아니라 그 과정에서 필요한 정보를 찾고 학습하는 방법을 개선, 궁극적으로 AGI 개발로 이어질 수 있는 토대를 마련하게 될 것이다. 또 AGI 실현을 위해서는 다양한 분야의 지식을 유기적으로 융합하고 통합할 수 있어야 하며, 특정 상황과 맥락을 정확히 인지하고 이해할 수 있는 상황 인식 능력도 필수적이다. 이것은 인간의 사고방식과 유사한 방식으로 문제를 인식하고 해결할 수 있게 함을 의미한다. 이와 같은 AGI 단계로 올라서기 위해서 RAG 기술은 다중 모델 통합, 상황 모델링, 상호 참조 등과 같은 고도화 과정을 거치게 될 것이다.

 하지만 AGI를 사회 전반에 도입하기 전에 여러가지 기술적, 윤리적, 규제적 이슈들을 확인하고 검토해야 한다. 기술적으로는 더욱 정밀하면서도 고성능의 알고리즘과 데이터 처리 능력이 요구되며, 윤리적으로는 AI에 대한 통제 방법과 지침을 설정하고, 사용자를 위해서는 프라이버시 보호, 의사결정의 투명성 등이 중요한 이슈로 대두된다. 또, AGI가 사회에 통합될 때 발생할 수 있는 규제적 측면들(예를 들어 책임 소재의 명확화, 사용 범위의 정의 등)은 법과 제도적인 틀에서 명확하게 관리될 필요가 있다. 이러한 도전 과제들을 해결하기 위해서는 기술, 행정, 법률, 경영 등 다양한 분야의 전문가들이 협력해 새로운 규제 체계와 윤리 기준을 마련하는 것이 필수적이다. 다만 치열한 AI 기술 경쟁 상황에서 뒤처지게 만들 수 있는 소모적인 논쟁들은 피하고, 할 수 있는 조치들은 자유롭게 시행할 수 있는 여건이 하루빨리 시행돼야 한다. 예를 들어, 해서는 안될 행위와 방법들을 식별해 최소한의 규제 범위를 정의하고 그 외에는 자유롭게 AGI를 사회에 통합해 볼 수 있도록 기회를 열어줄 필요가 있다. 현재 AI 분야는 규제를 정밀하게 하는 것 보다는 혁신을 촉진하면서 상황에 맞는 규제들을 조정하는 것이 기술 경쟁력을 확보하는데 유리하다.

 AGI 시대로의 전환은 우리 사회와 산업 전반에 지금 보다 더 큰 변화를 가져올 것이다. 특히 RAG와 같은 새로운 AI 기술이 현실화되면서 기존의 많은 직업과 업무 방식이 변모할 것으로 예상된다. 최근 필자는 RAG 기술이 포함된 12시간짜리 프롬프톤을 진행한 적이 있다. RAG 기술을 사용하기 전과 후로 구분된 기획 업무 실습에서 참가자들은 모두 RAG의 놀라운 성능에 감탄했다. 예전의 기획안을 많이 보여 준 참가자들일수록 사용자의 필요와 상황에 더 적합한 기획안을 AI가 만들어주었기 때문에 만족도가 더 높았다. 또 기획 과정에 필요한 이미지 생성과 이벤트 성과 분석을 위한 가상의 데이터를 생성하고 이벤트의 성과를 시뮬레이션해볼 수 있었던 것은 예전에는 경험해볼 수 없었던 과정이었다. 한 사람이 도메인 전문가, 데이터 과학자, 개발자, 디자이너 역할을 한 셈이다. 물론 한 사람이 모든 역할을 수행하는 것이 목표는 아니지만, 각 분야간 협력이 보다 생산적으로 이뤄질 수 있음을 보여주는 사례라 할 수 있다.

 AI와 한 팀으로 일하는 방식의 변화는 더 나아가 AI와 공존하며 함께 일할 수 있는 새로운 직업군과 스킬셋에 대한 수요를 증가시킬 것이다. 먼저 AI 기술을 개발하고 운영하는 데이터 과학자, 소프트웨어 엔지니어 등 직접적인 AI 관련 직종의 중요성이 더욱 부각될 것이다. 직접적인 기술직군 외에도 AI 기술을 실제 비즈니스나 사회 문제에 적용하고 활용할 수 있는 전문가 역할도 중요하게 대두될 것으로 보인다. AI 컨설턴트, 프로세스 매니저, AI 솔루션 디자이너 등이 그 예시가 될 수 있다. 이들은 AI 기술 자체에 대한 전문성 외에도 비즈니스 분석력, 프로세스 설계 능력, 창의성 등 AI를 실무에 접목할 수 있는 다양한 스킬이 요구된다. 특히 AI 모델이 인간의 가치관과 윤리의식을 제대로 반영할 수 있도록 가이드하고 점검하는 역할도 중요해질 전망이다.

 AI와의 협업 능력도 미래 사회에서 중요한 역량으로 자리잡을 것이다. AI가 사람을 완전히 대체하는 것은 매우 제한적이므로, AI를 효과적으로 활용할 수 있는 사람의 기술과 판단력이 더욱 각광받게 될 것이다. 여기에는 데이터 리터러시, 프로세스 디자인, 창의적 사고, 의사소통 능력 등이 포함될 수 있다. 나아가 AI 기술 발전의 윤리적, 사회적 측면에 대한 교육 정책 수립도 병행돼야 한다. 앞서 AI 활용에 대한 법과 제도적인 필요성을 설명하였지만, 인재 육성을 위한 교육적 측면에서도 체계적인 대비가 필요하다. AI의 투명성과 공정성, 편향 가능성, 프라이버시와 보안 이슈 등에 대한 이해를 바탕으로 AI를 활용할 수 있는 역량과 스킬을 익힌다면 세계적인 경쟁력을 갖춘 미래 인재로 성장할 수 있을 것이다.

 지금까지 RAG로 시작된 AI 기술의 고도화가 어떻게 AGI 시대를 실현할 수 있는지에 대해 논의했다. AI 기술의 미래는 무한한 가능성을 내포하고 있으며, 우리 사회는 이러한 빠르게 변화하는 기술 환경을 이해하고 효과적으로 수용할 준비를 해야 한다. 우리가 이러한 변화를 능동적으로 받아들임으로써 기술 발전을 지속적으로 지원하고 그 잠재력을 최대한 활용할 수 있을 것이다. 기술을 수용하는 과정에서는 새로운 기술을 단순히 사용하는 것을 넘어 그 기술이 우리 사회에 미치는 영향을 깊이 이해하고 적절히 대응하는 것이 중요하다.

 또, 지속적인 학습과 적응은 AI 시대를 헤쳐나가는 데 필수 요소다. 기술이 계속해서 진화함에 따라 개인과 조직 모두가 새로운 기술에 대한 이해를 깊게 하고 변화에 능동적으로 대응할 수 있는 능력을 개발해야 한다. AI 윤리와 거버넌스를 강화하는 것은 이 과정에서 중요한 부분을 차지한다. 공공과 민간 모두가 AI 기술의 발전이 모든 사람에게 긍정적인 영향을 미치도록 보장하는 동시에 잠재적인 부정적 결과에 대비해야 한다.

 결론적으로, 우리는 AI 기술의 발전을 책임감 있게 안내하고 조절하는 방식을 모색해야 한다. 지속 가능한 AI의 사회적 통합을 위한 전략을 세우는 것은 우리 모두의 역할이며, 이를 통해 AI 기술이 인류의 복지 향상에 기여할 수 있도록 해야 한다. 또 이 과정에서 소외되는 사람이 없도록 하는 것이 우리의 목표 속에 포함되어 있어야 한다.

 

---

추가 조사할 내용 및 요약

 

1. 검생증강생성 (RGA)

링크 : https://brunch.co.kr/@acc9b16b9f0f430/73

RAG란 무엇인가? 10분만에 이해하기

 

링크 : https://www.apple-economy.com/news/articleView.html?idxno=73921

‘검색증강생성(RAG)’이 AI‘환각’ 줄이는 특효약? - 애플경제

 

 생성AI 기반의 LLM의 오류를 최소화하고 더 정확한 결과를 도출하기 위한 노력이 이어지고 있다. 최근엔 이른바 ‘검색 증강 생성(RAG)’을 AI개발 단계에서 접목하는 것도 그런 노력의 일환이다. 이는 LLM이 실시간으로 최신 정보를 활용할 수 있도록 하는 방식이며, 날로 인기가 높아지고 있다.

 본래 생성AI 기술은 강력하지만 ‘알고 있는 것’ 또는 훈련된 데이터에 따라 그 성능이 제한될 수 밖에 없다. RAG는 정보 검색과 함께 신중하게 설계된 일련의 시스템 프롬프트를 결합한 것이다. LLM이 외부 정보 소스에서 관련성 있거나, 상황에 맞는 최신 정보를 제공할 수 있도록 하는 방법이다.

 예를 들어 최근 있었던 크고 작은 화제나 사용자별 정보, 특정 주제에 대해 깊이 이해하고 있는 챗봇과 상호 작용하는 것도 그런 경우다. 이는 자체 지식 시스템은 물론, 권위있는 논문이나 과학 출판물, 문서, 자료 등을 포함한 정보 소스와 연결되는 것이다.

 업계 전문가들에 의한면 이는 특히 “업계 ‘약어’와 같은 도메인별 지식과 관련된 응답의 정확성을 개선하는 데 특히 유용하다”고 한다. 즉, LLM 사용자는 RAG를 사용하여 신뢰할 수 있는 독점 소스에서 콘텐츠를 생성하고, 최신의 관련성 있는 텍스트를 빠르고 반복적으로 생성할 수 있다.

“단, 인간의 필터링이 병행돼야”

 현재 시장에는 수많은 AI 도구가 나와있다. 그 가운데, 특히 RAG가 “실질적이고 비즈니스에 도움이 되는 가치를 제공할 수 있는 능력 때문에 날로 인기가 높다”는 평가다. 기존 LLM은 늘 신뢰할 수는 없으며, 자주 ‘환각’이 발생한다. 여기서 ‘환각’은 ‘AI 나름대로 자신감있게 내놓지만 잘못된 답변’이라고 할 수 있다. 그러므로 기업으로선 전적으로 AI 기반 결과를 믿고 중요한 결정을 내리는 것은 위험하다는 지적이다.

 그래서 RAG는 사용자의 질문이나 프롬프트를 가져와서, 관련되는 정확한 문서를 검색한다. 그런 다음 이러한 문서를 사용자의 프롬프트와 함께 LLM에 공급, 정확한 결과를 도출하게 하는 것이다. “이를 통해 LLM이 응답에서 ‘출처를 인용’해 사용자가 LLM의 답변을 확인하고 검증할 수 있다”는 얘기다.

 물론 아직 국내는 물론, 해외에서도 RAG는 초기단계이나 전문가들은 앞으로 큰 가능성이 있다고 보고 있다. 실리콘 밸리의 AI 거버넌스 기업인 새돗(Saidot)의 CCO 겸 공동 창립자인 비라 시보넨은 RAG의 잠재력에 대해 “AI환각에 대한 완전한 면역을 보장하지는 않는다”면서도 “RAG가 환각 가능성을 줄이고 결과를 사실 확인하기 쉽게 만드는 좋은 메커니즘임엔 틀림없다”고 IT프로포탈을 통해 평가했다.

 그러나 그는 “실수가 치명적일 수 있는 영역에서는 RAG 솔루션을 구현해서는 안 된다. 이경우는 잘못된 응답을 걸러내는 인간의 감독이 함께 있어야 한다”면서 “또한 RAG를 유일한 위험 완화 전략으로 신뢰해서는 안 됩니다. 특히 매우 섬세한 고객 인터페이스를 논의하는 경우에는 더욱 그렇다”고 밝혔다.

 그래서 (인간의 감독 등을 통해) 질문할 수 있는 질문을 필터링하고, 봇이 답변하도록 설계된 내용에 대한 투명성을 제공하고, 안전을 위해 출력을 필터링하는 것이 포함되어야 한다는 것이다. 그런 다음 “고객 인터페이스에 배포하기 전에 항상 내부적으로 생성 AI를 사용해보고 피드백하는 것이 좋다”고 덧붙였다.

 RAG는 생성 기능과 외부 지식에 대한 접근성을 연결하는 ‘지식의 가교’이기도 하다. 마치 시험장에서 질문에 답하는 데 필요한 자료를 가지고 시험을 치르는 것과 비슷하다. 사전에 지식을 암기할 필요는 없다고 할 수 있다. 단지 최신 뉴스를 빠르게 해석하고, 최신 정책 문서를 읽거나, 방대한 복잡한 정보의 변경 사항을 기록할 수 있으면 된다.

 RAG는 특히 데이터 검증 및 투자 분석 등과 같은 금융분야, 그리고 의료와 같은 분야에서 유용할 것으로 보인다. 복잡한 의료 정보를 분석하고, 의사와 환자가 정확한 증거에 따라 결정을 내리는 데 도움이 될 수 있기 때문이다.

 

(자세한 내용은 링크 참고)

 

2. 코히어, RAG에 비전 기능 추가...이미지 검색도 가능

링크 : https://www.aitimes.com/news/articleView.html?idxno=164592

코히어, RAG에 비전 기능 추가...이미지 검색도 가능 - AI타임스

 

코히어가 검색 증강 생성(RAG)에서 이미지 검색이 가능한 멀티모달 검색 모델을 출시했다.

 벤처비트는 22일(현지시간) 코히어가 RAG 검색을 통해 텍스트 뿐만 아니라 이미지 검색이 가능한 ‘멀티모달 임베드 3(Multimodal Embed 3)’ 모델을 출시했다고 보도했다. 

 이 모델은 이미지와 텍스트를 모두 동일한 벡터 공간에 임베딩함으로써 서로 다른 유형의 데이터 간의 상호작용을 이해하는 것이 특징이다.

 수십억개의 텍스트와 이미지 샘플 쌍으로 학습, 시각적 요소와 언어적 대응 요소 간의 의미 있는 관계를 도출할 수 있다. 즉, 키워드를 인식할 뿐만 아니라 해당 키워드와 관련된 이미지를 이해할 수 있다. 예를 들어, 텍스트 설명을 기반으로 이미지를 검색하거나 이미지에 대한 유사한 텍스트 캡션을 찾는 작업을 정밀하게 수행할 수 있다.

 코히어는 "기업들은 이미지에 저장된 방대한 데이터를 활용하여 실질적인 가치를 창출할 수 있다"라며 "기업들은 이제 복잡한 보고서, 제품 카탈로그, 디자인 파일과 같은 중요한 멀티모달 자산을 정확하고 신속하게 검색할 수 있는 시스템을 구축하여 직원 생산성을 향상시킬 수 있다"라고 밝혔다.

 멀티모달 임베드 3는 통합된 잠재 공간을 공유해 사용자가 데이터베이스에 이미지와 텍스트를 모두 포함할 수 있다. 일부 이미지 임베딩 방식은 이미지와 텍스트를 위한 별도의 데이터베이스를 유지해야 하지만, 멀티모달 임베드 3는 더 나은 혼합 모달리티 검색을 가능하게 한다는 설명이다.

 코히어는 "다른 모델들은 텍스트와 이미지 데이터를 별도의 영역에 클러스터링하는 경향이 있어 텍스트 데이터에 편향된 약한 검색 결과를 초래하지만, 멀티모달 임베드 3는 특정 모달리티에 치우치지 않고 데이터의 의미에 우선순위를 둔다"라고 설명했다.

 멀티모달 임베드 3는 100개 이상의 언어를 지원하며, 코히어 플랫폼과 아마존 세이지메이커(SageMaker)에서 사용할 수 있다.

 

3. 바이브컴퍼니, '대한민국 정부 박람회'서 RAG 기술 기반 AI 솔루션 소개

링크 : https://news.nate.com/view/20241113n06871

바이브컴퍼니, '대한민국 정부 박람회'서 RAG 기술 기반 AI 솔루션 소개 : 네이트 뉴스

 

 프라임경제 바이브컴퍼니(301300, 이하 바이브)가 '2024 대한민국 정부 박람회'에 참가해 가검색 증강 생성(RAG) 기술 기반 인공지능(AI) 솔루션 등 바이브의 주요 서비스를 선보인다고 13일 밝혔다.

 이번 박람회는 디지털 플랫폼 정부의 성과와 현황을 공유하고 향후 방향성을 모색하는 자리로, 13일부터 15일까지 광주광역시 김대중컨벤션센터에서 진행한다.

 바이브가 박람회에서 소개하는 '바이브 서치(VAIV Search)'는 데이터베이스 내 문서에서 관련 정보를 검색한 후 이를 바탕으로 답변을 생성하는 RAG 기술 기반 검색 솔루션으로, 모델의 기억에 의존하는 방식보다 훨씬 신뢰성 있는 정보를 제공한다.

 바이브는 검색 정확도를 높이기 위해 거대언어모델(LLM) 학습, 결과 재순위화, 도메인에 따른 사용자 경험(UX) 기술 개발 등의 방법을 적용하여 솔루션의 활용성을 강화했다.

 또한 '바이브 서치'는 외부에 설치되지 않고 내부에서 운영하여, 보안 문제에서 자유로운 사내 구축형 솔루션이다. 내,외부 문서와 결합하여 자연어 의미 검색, 고객 상담 챗봇, 리포트 작성 등 다양한 업무에 활용되고 있으며 현재 국회도서관, 외교부 등 여러 기관 및 기업에 도입돼 있다.

 최근 '바이브 서치'는 소프트웨어 품질 인증(GS인증) 심사에서 1등급을 획득하며, 최고 수준의 소프트웨어 품질을 입증했다.

 이외에도 바이브는 빅데이터 분석 서비스 '썸트렌드 클라우드(Cloud)', AI 챗봇 솔루션 '바이브 챗봇(Chatbot)', 인공지능 기반 이슈 요약 서비스 '바이브 뉴스다이제스트(NewsDigest)' 등 다양한 서비스를 박람회에서 소개할 예정이다.

 김경서 바이브 대표는 "대한민국 정부 박람회에서 선보이는 바이브의 AI 솔루션들은 기업의 업무들을 보다 효율적으로 수행할 수 있도록 돕는 것이 목적"이라며 "AI, 빅데이터 전문기업인 바이브는 고객의 소중한 시간을 더욱 가치 있게 만드는 혁신적인 서비스를 지속적으로 선보일 계획"이라고 말했다.

---

마무리

 여기까지 오늘의 기사스크랩이었습니다. 오늘은 검색증강생성(RGA) 기술에 대해 알아보는 시간을 가졌습니다. LLM의 발 전 과정에서 '환각' 현상은 굉장히 중요한 문제로 다루어지고 있는 데, 이를 해결하기 위한 하나의 방편으로서 RAG란 무엇인지 그리고 어떻게 사용되고 있는 지에 대해서 조사해보았습니다. 따라서 해당 기술이 더 발전이 되면 LLM 모델에서 출처를 인용한 LLM의 답변을 확인하고 검증할 수 있는 중요한 방법이 될 것 같습니다.