files cant't be seen by LLM, but everything else works.
This commit is contained in:
emil
@@ -1,122 +1,91 @@
|
||||
# AIUI Chat
|
||||
|
||||
AIUI Chat — это современный веб-интерфейс для общения с LLM (большими языковыми моделями), вдохновленный Open WebUI. Поддерживает любой OpenAI-compatible API (OpenAI, Ollama, LM Studio, vLLM и другие).
|
||||
Modern, responsive chat interface inspired by Open WebUI. Supports OpenAI-compatible API with streaming responses, token analysis, and RAG knowledge bases.
|
||||
|
||||
## Особенности
|
||||
|
||||
- Чат с поддержкой **streaming** ответов
|
||||
- Управление **историей** диалогов
|
||||
- Настройки API, модели, temperature, max tokens
|
||||
- Загрузка файлов в чат
|
||||
- **Базы знаний** с ChromaDB — загружайте документы и получайте ответы с учетом контекста
|
||||
- Адаптивный дизайн (десктоп + мобильные)
|
||||
- Темная тема в стиле modern tech
|
||||
|
||||
## Структура проекта
|
||||
|
||||
```
|
||||
AIUI/
|
||||
├── frontend/ # React + TypeScript + Tailwind CSS
|
||||
│ ├── src/
|
||||
│ │ ├── components/ # UI компоненты
|
||||
│ │ │ ├── chat/ # Компоненты чата
|
||||
│ │ │ ├── layout/ # Layout компоненты
|
||||
│ │ │ └── knowledge/ # Компоненты баз знаний
|
||||
│ │ ├── services/ # API сервисы
|
||||
│ │ ├── stores/ # Zustand stores
|
||||
│ │ ├── types/ # TypeScript типы
|
||||
│ │ └── utils/ # Утилиты
|
||||
│ └── package.json
|
||||
├── backend/ # Express.js proxy сервер
|
||||
│ └── src/
|
||||
│ └── index.js # Основной сервер
|
||||
└── package.json # Root package.json
|
||||
```
|
||||
|
||||
## Быстрый старт
|
||||
|
||||
### 1. Установка зависимостей
|
||||
## 🚀 Quick Start (Docker)
|
||||
|
||||
```bash
|
||||
cp .env.example .env
|
||||
# Edit .env — set your API URL and key
|
||||
docker compose up --build -d
|
||||
# Open http://localhost
|
||||
```
|
||||
|
||||
## 🏗️ Development
|
||||
|
||||
### Backend
|
||||
```bash
|
||||
cd backend
|
||||
npm install
|
||||
npm run dev # port 3001
|
||||
```
|
||||
|
||||
Это установит зависимости для root, frontend и backend.
|
||||
### Frontend
|
||||
```bash
|
||||
cd frontend
|
||||
npm install
|
||||
npm run dev # port 5173 (with HMR)
|
||||
```
|
||||
|
||||
### 2. Настройка API
|
||||
## ✨ Features
|
||||
|
||||
Запустите frontend и backend, затем откройте настройки (иконка шестеренки) и укажите:
|
||||
| Feature | Description |
|
||||
|---------|-------------|
|
||||
| 💬 Chat | Streaming messages with markdown & LaTeX |
|
||||
| ⚙️ Settings | Model, system prompt, temperature, tokens |
|
||||
| 📊 Token Analysis | Usage stats panel (tokens/sec, context, cost) |
|
||||
| 📁 Attachments | Image upload + analysis |
|
||||
| 📚 Knowledge Bases | RAG with multiple bases, file/folder upload |
|
||||
| 🎨 Theme | Dark mode, accent colors |
|
||||
| 📱 Responsive | Works on mobile and desktop |
|
||||
|
||||
- **API Base URL** — например `https://api.openai.com/v1` или `http://localhost:11434/v1` (для Ollama)
|
||||
- **API Key** — ваш ключ
|
||||
- **Model** — например `gpt-4`, `gpt-3.5-turbo`, `llama2` и т.д.
|
||||
- **Temperature** и **Max Tokens** — по желанию
|
||||
- **System Prompt** — системный промпт
|
||||
- **Embedding Model** — для баз знаний (например `text-embedding-3-small`)
|
||||
- **ChromaDB Directory** — путь к хранилищу ChromaDB
|
||||
## 🏛️ Architecture
|
||||
|
||||
### 3. Запуск
|
||||
```
|
||||
┌──────────────────┐ ┌──────────────┐ ┌─────────────────┐
|
||||
│ Nginx (80) │────────▶│ Backend │────────▶│ OpenAI API │
|
||||
│ SPA + /api/* │ │ (Node.js) │ │ (or compatible)│
|
||||
└──────────────────┘ └──────────────┘ └─────────────────┘
|
||||
│
|
||||
▼
|
||||
┌──────────────┐
|
||||
│ sqlite db │
|
||||
│ (chats) │
|
||||
└──────────────┘
|
||||
```
|
||||
|
||||
## 🔧 Environment Variables
|
||||
|
||||
| Variable | Default | Description |
|
||||
|----------|---------|-------------|
|
||||
| `OPENAI_API_URL` | `https://api.openai.com/v1` | API endpoint |
|
||||
| `OPENAI_API_KEY` | - | Your API key |
|
||||
| `DEFAULT_MODEL` | `gpt-4o-mini` | Default model ID |
|
||||
| `JWT_SECRET` | random | JWT secret |
|
||||
| `NODE_ENV` | `development` | Environment |
|
||||
|
||||
## 🐳 Production
|
||||
|
||||
```bash
|
||||
# Запуск backend (порт 3001)
|
||||
npm run dev:backend
|
||||
|
||||
# В другом терминале — запуск frontend (порт 3000)
|
||||
npm run dev:frontend
|
||||
docker compose -f docker-compose.yml up -d --build
|
||||
```
|
||||
|
||||
Frontend запустится на `http://localhost:3000` и будет проксировать API-запросы на backend.
|
||||
Nginx serves static frontend + proxies `/api` to backend.
|
||||
|
||||
### Production сборка
|
||||
## 📂 Project Structure
|
||||
|
||||
```bash
|
||||
# Сборка frontend
|
||||
npm run build:frontend
|
||||
|
||||
# Запуск backend (раздает собранный frontend)
|
||||
npm run start:backend
|
||||
```
|
||||
├── frontend/ # Vite + React + TypeScript + Tailwind
|
||||
│ ├── src/components/ # Chat, UI, Layout components
|
||||
│ ├── src/stores/ # Zustand store
|
||||
│ ├── src/services/ # API client
|
||||
│ └── Dockerfile
|
||||
├── backend/ # Express + proxy + chat storage
|
||||
│ ├── src/index.js # Main server
|
||||
│ └── Dockerfile
|
||||
├── nginx/ # Reverse proxy config
|
||||
└── docker-compose.yml # Full stack
|
||||
```
|
||||
|
||||
## Базы знаний (Knowledge Bases)
|
||||
## 📜 License
|
||||
|
||||
Базы знаний позволяют загружать документы и использовать их как контекст для ответов LLM.
|
||||
|
||||
### Как использовать:
|
||||
|
||||
1. Откройте панель **Knowledge Bases** (иконка базы данных в сайдбаре)
|
||||
2. Создайте новую базу знаний
|
||||
3. Загрузите документы (`.txt`, `.md`, `.pdf`, `.docx`)
|
||||
4. В сайдбаре выберите базу знаний для текущего диалога
|
||||
5. Задавайте вопросы — LLM будет использовать контекст из документов
|
||||
|
||||
### Технические детали:
|
||||
|
||||
- Документы разбиваются на **чанки** по ~500 символов с перекрытием
|
||||
- Для каждого чанка генерируется **embedding** через API
|
||||
- Чанки хранятся в **ChromaDB** (векторная база данных)
|
||||
- При отправке сообщения запрос эмбеддится и ищутся похожие чанки через semantic search
|
||||
- Найденный контекст добавляется к системному промпту
|
||||
|
||||
## API Endpoints
|
||||
|
||||
Backend проксирует запросы к OpenAI-compatible API:
|
||||
|
||||
| Endpoint | Method | Описание |
|
||||
|----------|--------|----------|
|
||||
| `/api/v1/chat/completions` | POST | Streaming чат |
|
||||
| `/api/v1/models` | POST | Список моделей |
|
||||
| `/api/files/upload` | POST | Загрузка файлов |
|
||||
| `/api/files` | GET | Список файлов |
|
||||
| `/api/files/:id` | DELETE | Удаление файла |
|
||||
| `/api/knowledge` | GET | Список баз знаний |
|
||||
| `/api/knowledge` | POST | Создать базу знаний |
|
||||
| `/api/knowledge/:id` | DELETE | Удалить базу знаний |
|
||||
| `/api/knowledge/:id/files` | POST | Добавить файл в базу |
|
||||
| `/api/knowledge/:id/files/:fileId` | DELETE | Удалить файл из базы |
|
||||
| `/api/knowledge/:id/query` | POST | Поиск по базе знаний |
|
||||
|
||||
## Технологии
|
||||
|
||||
- **Frontend**: React 18, TypeScript, Tailwind CSS, Zustand, Lucide icons
|
||||
- **Backend**: Node.js, Express.js, ChromaDB, Multer
|
||||
- **Build**: Vite
|
||||
MIT
|
||||
|
||||
Reference in New Issue
Block a user