개요
제주도 문화재, 명소(영화 드라마 촬영지 등) 정보제공
제작배경: 현장에 가면 안내판 정보가 부실한경우가 많음.
RAG를 사용해야하는 이유: 데이터가 비정형 텍스트로 다양하게 존재해서 llm의 도움이 있어야 더 폭넓게 검색가능 더불어서 이용자가 원치않는것도 텍스트로 필터링가능. 여러 사이트에 흩어져있는 정보를 한곳에 모음.
데이터 출처
- 한국관광공사 TourAPI
- 제주관광공사 비짓제주 오픈API
- 국가유산청 (구 문화재청)
- 한국영상자료원의 영화 로케이션 촬영 이력 — 작품명, 촬영장소, 제작연도, 주소, 위경도 등을 제공하며 전국 촬영 영화 대상 (오픈API)
- 문화빅데이터포털(bigdata-culture.kr)에도 도깨비, 건축학개론 등 유명 영화드라마 촬영장소의 위치정보를 시군구코드·위경도로 제공
작업과정
- 돌하르방, 해녀문화등 수집한 데이터를 RAG데이터화 시키기
- 사진 (비정형;)
- 타이틀 (비정형; 돌하르방, 백록담, 해녀, 등등 키워드)
- 설명 (비정형; 문화재나, 문화관련 심층 설명 외국인이 봐도 알아들을수 있을정도로 그게 왜 유명하고 한국에서 중요한지 설명해줌.) + 설명은 n개를 갖고 출처를 같이 저장.
- 비용 (정형; 해당 장소를 이용할때 드는 기본비용)
- 시간 (정형;)
- 입력: 사진, 프롬프트, 보이스 (토큰이 허용된다면 ㅋ)
(사진): llm을활용해서 입력된사진과 DB사진 비교 해서 찾기
(보이스): text화 해서 text로 처리
(텍스트): 하이브리드 (BM25 키워드 + Vector Search) - 출력: 이용자가 원하는 언어로 llm을사용해 번역하여 제공 + 원문보여주기. 한번 번역한건 캐시하여 재사용.
웹사이트 사용 경험 (UX)
1안. 핀터레스트처럼 각 아이템의 대표사진을 무작위로 출력
내부에서 필터로 원하는 아이템 검색
- 사진업로드 = 유사사진검색 (돌하르방 사진 올리면 돌하르방에대해서 알려주고 어디서 볼수있는지 안내해줌.)
- 아이템 이름 키워드 BM25 (단순히 DB에있는 아이템과 검색)
- 설명 검색 임베딩 (예를들어 검은옷입고 잠수하는 해녀에대한 묘사를 하면 유사한 해녀문화를 찾아서 사진과함께 설명을 알려주고, 해녀들이 많이 있는곳이나 해녀체험하는곳 관련이벤트정보를 찾아줌)
홈 화면
돌하르방 검색 결과
홈화면 디자인파일
https://drive.google.com/file/d/1Fa8JFHRbIPV1tOEIElLh8JP4YHNh7YJ_/view?usp=drive_link
검색결과 디자인파일
https://drive.google.com/file/d/1iO1h8NaMTZcGBTgyAapPimZDemdjefnp/view?usp=drive_link