1) 문제점
ChatGPT 등 클라우드 기반 챗봇은 사용량에 따라 비용이 발생함

기업 API를 사용하는 경우 민감한 데이터 전송에 대한 우려가 있음

로컬에서 LLM을 실행하는 구조에 대한 레퍼런스가 부족함

2) 프로젝트 목표
무료이면서도 로컬에서 작동 가능한 LLM 기반 챗봇 구축

외부 네트워크 없이도 실행되는 환경을 통해 데이터 보호 가능

React 기반 UI를 활용해 사용자가 쉽게 접근할 수 있는 대화형 챗봇 구현

3) 주안점
LLM 모델(Mistral 등)을 Ollama로 쉽게 실행할 수 있도록 구조 설계

대화 히스토리 관리 및 메시지 흐름의 UX 개선

챗봇 사용 환경이 단순한 개발자가 아니더라도 쉽게 설치 및 구동 가능하도록 설계

1) 포트폴리오 소개
오픈소스 LLM 기반의 로컬 챗봇 구현 / 챗봇 API 비용 절감을 원하는 사용자 타깃

클라우드 기반의 챗봇 솔루션은 API 호출마다 비용이 발생하거나, 데이터 보안상 외부 전송이 어려운 경우가 많습니다. 이 프로젝트는 Ollama를 활용해 로컬에서 실행 가능한 오픈소스 LLM 챗봇을 구축하고, 클라이언트가 API 비용 없이 자체적으로 AI 챗봇을 운영할 수 있는 방법을 제안하기 위해 진행했습니다.

2) 작업 범위
프론트엔드 개발: React + TypeScript 기반 챗봇 UI 개발

백엔드 연동: 로컬에서 실행되는 Ollama API 연동

로컬 환경 구성: Ollama 설치, LLM 모델 설정, CORS 프록시 구성 등

상태 관리 및 메시지 흐름 구현

지원 환경: 로컬 PC (macOS/Windows), 반응형 웹 UI

3) 주요 업무
Ollama 기반 LLM 모델(Mistral 7B 등) 실행 및 응답 처리

대화 UI 구현: 사용자 입력, 모델 응답, 로딩/에러 상태 표시 등

시스템 프롬프트 설정 기능: 챗봇 성격 및 답변 스타일 조정 가능

모델 변경 기능 구조 설계 (ex. 모델 이름만 바꾸면 다른 LLM으로 사용 가능)

4) 주안점
외부 API 호출 없이도 작동하는 챗봇 구현으로 비용 절감 효과 제공

개인 또는 소규모 팀에서도 손쉽게 사용할 수 있는 구조로 설계

직관적인 UX 및 챗봇 흐름 구현을 통해 실제 사용성을 고려

모듈화된 구조로 향후 기능 확장 가능성 확보