1. 문제점
- ChatGPT, Gemini, Grok 등 기존의 AI 챗봇 서비스는 모든 채팅 내역을 수집하고 훈련에 사용함
- 개인정보 보호에 취약하고, 오프라인 환경에서는 사용 불가

2. 프로젝트 목표
- LLM 경량화 및 최적화: 모바일 환경에서도 고성능을 유지하면서 경량화된 LLM을 제공
- 온디바이스 LLM: AI가 디바이스에서 동작하도록 하여 개인정보 보호 강화 및 인터넷 제약 없이 사용 가능한 편리함 제공
- Flutter 앱과의 통합: LLM을 효과적으로 연동하여 실시간 채팅 기능 구현

3. 주안점
AI 모델 경량화: MMLU-pro 55.3 이상의 성능을 유지하도록 LLM 경량화
디바이스 호환성: 최소 8GB RAM을 갖춘 스마트폰에서 원활하게 실행되도록 메모리 관리 최적화
Flutter 연동 최적화: 자체 개발한 Flutter 내장 LLM 라이브러리를 통해 성능 저하 없는 앱 통합
보안 및 개인정보 보호: AI 처리 과정이 온디바이스에서 이루어지도록 하여 사용자 데이터 유출 방지

1) 포트폴리오 소개 : Private AI Assistant 앱, "Ollie"
- 개인정보가 중요한 분들을 위한 AI 챗봇 서비스

[Ollie만의 특징]
- 빠른 성능 : GPT-4o-mini 수준의 성능으로 신속한 응답을 제공합니다.
- 완전한 개인정보 보호 : 모든 데이터는 디바이스 내에서 처리되어 개인정보 유출 위험이 없습니다.
- 오프라인 작동 : 인터넷 연결 없이도 완전한 기능을 제공합니다. (비행기모드에서 사용 가능)

[활용 사례]
• AI 요약 : 문서를 빠르게 요약하여 중요한 정보를 즉시 파악합니다.
• AI 컴패니언 : 자연스러운 대화를 통해 개인에 맞춰진 역할을 수행합니다.
• AI 에이전트 : 복잡한 작업을 자동으로 처리하여 생산성을 향상시킵니다.

2) 작업 범위
- 기획: 앱 개발 스펙 정의, 화면 설계, UI/UX디자인
- 개발: 서버 구축, 프론트엔드 개발, LLM 경량화 및 최적화, flutter 내 LLM 동작 라이브러리(fllama 대체용)

3) 주요 업무
- 로그인: Firebase-auth를 이용한 소셜 로그인 구현
- AI 모델 다운로드: 인가된 사용자 대상 AI 모델 다운로드 기능 구현
- 채팅: AI 모델과 채팅하는 기능
- 히스토리 관리: 채팅방 히스토리 관리

4) 주안점
1. LLM 경량화 및 최적화
- AI 성능을 유지하면서 경량화 작업 수행 (MMLU-pro : 55.3 / GPT-4o-mini : 60.7)
- 메모리 8GB 이상 기기에서 동작하도록 하여 최대한 많은 디바이스 호환
- Flutter 기반 앱과 통합하는 과정에서 성능 저하를 막기 위해 자체 라이브러리 개발

2. 사용자 경험
- LLM 챗봇 트렌드에 맞는 직관적인 인터페이스 구현
- 개인정보가 일절 수집되지 않도록 설계
- 매끄럽게 사용할 수 있도록 메모리 관리 최적화
- 비행기모드에서도 사용할 수 있도록 온디바이스 지원