[Dacon] 건설공사 사고 예방 및 대응책 생성 경진대회 (1) - 후기

Dacon - 건설공사 사고 예방 및 대응책 생성

 

 안녕하세요. 이번에는 Dacon에서 한솔데코 시즌3 AI 경진대회인 '건설공사 사고 예방 및 대응책 생성'에 대한 참가 및 후기에 관한 글입니다. 이번 대회에서는 주어진 PDF 파일과 CSV 파일을 이용하여 건설 공사 사고 예방 및 대응책을 생성하는 AI를 만드는 대회였습니다. 이 과정에서 저는 처음으로 RAG를 구현할 수 있었던 경험을 할 수 있었고, 많은 서적과 참고 자료 등을 통해서 다양한 것들을 시도 할 수 있었습니다. 비록 성적은 그리 좋지는 않지만 이번을 계기로 한글 데이터 전처리를 위한 NLP에 대해서 많은 공부를 해야겠다는 다짐을 하게 되었습니다. 역시 대회에 참여하는 것은 가지고 있는 능력을 한 층 더 성장시켜 줄 수 있는 기회인 것 같습니다. 

 

 

• 주제 : 건설공사 안전사고 대응 및 재발방지 대책 AI 모델 개발
• 주최 : 한솔데코
• 주관 : 데이콘
• 대회 일정 : 2025.02.17 ~ 2025.03.24

대회 링크 : https://dacon.io/competitions/official/236455/overview/description

건설공사 사고 예방 및 대응책 생성 : 한솔데코 시즌3 AI 경진대회 - DACON

 

데이콘 링크 : https://dacon.io/

데이터사이언티스트 AI 컴피티션

 

 대회에서 가장 고민했던 부분은 형식적인 답변을 할 것 이냐, 아니면 독창적인 답변으로 차별성을 둘 것인가에 대한 것으로 많은 고민을 했던 것 같습니다. RAG를 이용해서 추론을 하면 모델에 사용한 LLM 모델의 능력으로 참 많은 것을 할 수 있는 데, 이 과정에서 포기 해야되는 부분은 과감히 포기하면서 진행했던 것 같습니다. 

 

 그리고 PDF와 CSV를 모두 사용해야 하는 데, 이 과정에서 저는 Ensemble Retriever이라는 기법을 사용해서 두 타입의 파일을 각기 다른 Vector DB에 저장하고 이를 Ensemble Retriever에 적용하였습니다. 

 

 또 그 외로 사용자의 입장에서 질문 작성에 대해서 고민하면서 제가 생각하는 질문과 함께 이상한 질문이 들어오면 제가 만든 RAG는 어떻게 반응할까? 에 대해서도 고민하면서 서비스를 구축했던 것 같습니다. 물론 답변에 대한 할루시네이션 체크 및 다양한 검증 방법을 적용하는 방법도 배워두어야겠습니다. 

 

 이제 큰 대회 하나를 끝냈으니, 다음으로는 다음 주에 끝나게 될 채무 불이행 여부와 악성 URL 분류에 대한 대회를 마무리해야겠습니다. 두 대회도 잘 마무리할 수 있기를 바라면서 이번 경진대회 후기는 여기서 마무리 하도록 하겠습니다. 

 

 

대회 코드 리뷰 

: 2025.03.26 - [Personal Projects/Dacon] - [Dacon] 건설공사 사고 예방 및 대응책 생성 경진 대회 (2) - Code

[Dacon] 건설공사 사고 예방 및 대응책 생성 경진 대회 (2) - Code

 

---

■ 참 고

RAG 강의

: https://www.youtube.com/watch?v=NfQrRQmDrcc&list=LL&index=11

프롬프트

: https://www.youtube.com/watch?v=GlvOHXJT_gI&list=LL&index=1&t=1101s

기타 정보

: https://www.youtube.com/watch?v=obaZSq9Kjr0&list=LL&index=12

 

참고 서적 링크

: https://www.aladin.co.kr/shop/wproduct.aspx?ItemId=351178573

RAG 시스템 구축을 위한 랭체인 실전 가이드 : 알라딘

 

위키독스 링크

: https://wikidocs.net/233804

08. 허깅페이스 파이프라인(HuggingFace Pipeline)