DSOB

[LDA, Top2Vec, BERTopic 모형의 토픽모델링 비교 연구]- 국외 문헌정보학 분야를 중심으로  논문 분석 및 정리 1. 연구 개요Web of Science(WoS)에 등재된 문헌정보학(LIS) 분야 학술지 데이터를 가지고 LDA, Top2Vec, BERTopic 세 가지 토픽 모델링 기법을 비교함. LIS 분야 논문 55,442편의 초록 데이터를 사용해서 각 모델의 토픽 생성 결과를 분석함.2. 연구 목적과 배경LDA, Top2Vec, BERTopic의 성능과 특성을 비교함.데이터 분포, 토픽 수, 문서 할당 비율을 분석함.LIS 분야에서 각 모델의 활용 가능성을 평가함.3. 데이터 및 전처리Web of Science에서 2001~2021년간 LIS 분야 85개 학술지 논문 초록 55,44..

이커머스(e-commerce)는 디지털 시대의 핵심 산업 중 하나로, 상품과 서비스의 온라인 거래를 통해 경제적 가치를 창출하고 있다. 우리가 익히 알고 있는 아마존, 쿠팡 등이 이 이커머스에 속한다. 이 에세이에서는 이커머스에서 데이터 분석가와 PM의 역할, 이들이 어떻게 협력하여 비즈니스 성과를 극대화하는지에 대해 논의하고자 한다. 이커머스의 발전과 데이터 분석의 중요성COVID-19 팬데믹 이후 소비자들은 온라인 쇼핑의 편리함을 경험하게 되었고, 이로 인해 이커머스 플랫폼의 수요가 폭발적으로 증가했다. 이러한 환경 속에서 데이터 분석은 고객 행동, 판매 트렌드, 재고 관리 등 다양한 측면에서 중요한 역할을 한다.  데이터 분석가는 산업 내의 다양한 데이터를 수집하고 분석하여 결론적으로 비즈니스 전략..

안녕하세요:)지각에세이 제출합니다. 제가 요즘 관심이 많은 LLM의 환각 문제와 해결방안에 대해 정리해 봤습니다. LLM의 환각문제와 해결 방안 (RAG와 랭체인)LLM 환각 문제- 환각- 환각 예시- 환각문제의 원인 환각 문제 해결을 위한 RAG- RAG의 개요- RAG의 동작 원리- RAG의 장점- RAG의 한계 랭체인을 통한 환각 문제 해결- 랭체인의 개요- 랭체인의 동작 원리- 랭체인의 장점- 랭체인의 한계LLM 환각 문제환각환각은 LLM이 사실에 근거하지 않은 정보를 생성하거나 질문에 대해 잘못된 답변을 제공하는 현상을 의미한다. 모델이 훈련 데이터에 없는 정보를 생성하려고 할 때 발생한다. 환각 현상은 특히 정보의 정확성과 신뢰성이 중요한 분야에서 큰 문제이며,사용자에게 잘못된 정보를 전달함으..

우리는 자료 구조를 왜 알아야 할까? 이 물음은 파이썬을 배우면서 시작되었다. 파이썬과 관련된 다양한 문제를 풀면서 가장 적절한 문제 해결 방안을 위해 그 문제에 걸맞는 자료 구조를 사용해야 더 간결하고 효율적으로 문제를 풀 수 있다는 것을 깨달았기 때문이다.  이처럼 자료 구조는 개발자가 데이터를 효율적으로 사용할 수 있도록 정리하는 방법을 말한다. 각각의 자료 구조에는 장단점이 있어 어떤 자료 구조가 최선일지는 해결하고자 하는 문제의 종류와 어떤 부분을 우선적으로 최적화할지에 따라 달라질 수 있다. 프로그래밍이란 결국 알고리즘을 작성하고, 그에 맞는 자료 구조를 선택하는 것이므로 자료 구조를 충분히 이해하지 못한다면 결코 좋은 개발자가 될 수 없다. 파스칼을 개발한 스위스의 컴퓨터 과학자 니클라우스 ..

딥페이크 범죄, 이대로 괜찮은가?1. 서론  1학기때 들었던 수업 중 AI공존윤리 교수님께서 딥페이크를 설명하실 때 이 부분을 정말 흥미롭게 들었는데요. 뉴스에서 보면 딥페이크를 통한 기술로 범죄가 상당히 많이 일어나는 것으로만 알고있었지 정확히 딥페이크가 무엇인지, 어떤 목적으로 탄생한 기술인지를 몰랐었는데, 알게되어 굉장히 새로웠습니다. 청소년들조차 이 기술을 재미로 악용하여 협박하는 사례와 성인들도 마찬가지로 악용하여 초,중,고등학생에게 해당 학생의 딥페이크 사진을 보내며 협박하고 금품을 갈취하며 심한 정신적 압박을 겪고 있는 친구들도 많다는 것을 알게 되었습니다. 어쩌면 우리의 얼굴이 합성된 이상한 사진들이 인터넷상에 우리도 모르게 유포될 수도 있겠다 싶었습니다. 저는 이 기술이 일반인들도 접근하..

처음 입학하였을 때는 저희 학과가 무엇을 배우는지 정말로 아무 것도 몰랐습니다. 하지만 5월이 되니, 이제 저희 학과가 어느 공부를 하는지, 나중에 어떤 직업을 갖게 되는지 대강 알 것 같습니다. 그렇지만 체계적으로 잡힌 게 아닌 지금까지 배웠던 모든게 뒤죽박죽 섞여 있어서 이번 에세이를 통해서 제대로 우리 학과에 대해 알고자 합니다. 일단 데이터 사이언스는 현대 사회에서 중요한 분야 중 하나로 자리매김하고 있습니다. 데이터 사이언스는 데이터를 수집, 분석, 해석하여 의미 있는 정보를 도출하는 과학적인 방법론을 총칭합니다. 이를 통해 기업은 소비자들에게 필요한 시스템을 개발해 이윤을 낼 수도 있고 공공기관은 시민들이 겪는 사회문제를 해결할 수도 있습니다. 수업시간에 배운 예시로는 ASF 종식방안 모색, ..

주제 : 범죄 예방에 최적화된 순찰 노선 구성 목표 : 데이터를 통해 범죄가 발생하는 장소와 요인을 알아보고 이를 복합해 최적화된 순찰 노선을 구성하는 것 역할 분담 나 : 공동주택 데이터 전처리, 노선 시각화, 발표자료 디자인 팀원 1 : 공동주택 데이터 전처리, 데이터 수집, 발표자료 구성 팀원 2 : 단독주택 데이터 전처리, 주제 관련 논문 탐색, 발표 팀원 3 : CCTV, 문화시설, 판매시설 전처리, 주제 관련 논문 탐색, 발표에 필요한 자료 수집 및 정리, 데이터 수집처 조사 선행 연구 및 논문 1) 빅데이터 분석을 통한 순찰 및 112 신고 대응 효율화 모델: 대구시의 사례를 중심으로(김중곤 et al., 2020) 다양한 연구를 보았을 때 범죄가 ..