README.md

---
license: mit
language:
- zh
base_model:
- THUDM/chatglm2-6b
tags:
- psychology
---

# Model Details

## Model Description

- **Developed by:** AITA
- **Model type:** Full-Precision Text Generation LLM (FP16 GGUF format)  
- **Original Model:** https://huggingface.co/qiuhuachuan/MeChat
- **Precision:** FP16 (non-quantized full-precision version)  

## Repository

- **GGUF Converter:** [llama.cpp](https://github.com/ggerganov/llama.cpp)  
- **Huggingface Hub:** https://huggingface.co/Slipstream-Max/MeChat-chatglm2-6b-GGUF-fp16


# Usage

## Method 1: llama.cpp Backend Server + Chatbox

**Step 1: Start .[llama.cpp](https://github.com/ggml-org/llama.cpp) Server**
```bash
./llama-server \
  -m /path/to/model.gguf \
  -c 2048 \          # Context length
  --host 0.0.0.0 \   # Allow remote connections
  --port 8080 \      # Server port
  --n-gpu-layers 35  # GPU acceleration (if available)
```

**Step 2: Connect via Chatbox**  
1. Download [Chatbox](https://github.com/Bin-Huang/chatbox)
2. Configure API endpoint:
   ```
   API URL: http://localhost:8080
   Model: (leave empty)
   API Type: llama.cpp
   ```
3. Set generation parameters:
   ```json
   {
     "temperature": 0.7,
     "max_tokens": 512,
     "top_p": 0.9
   }
   ```

## Method 2: LM Studio

1. Download [LM Studio](https://lmstudio.ai/)
2. Load GGUF file:
   - Launch LM Studio
   - Search Slipstream-Max/Emollm-InternLM2.5-7B-chat-GGUF-fp16
3. Configure settings:
   ```yaml
   Context Length: 2048
   GPU Offload: Recommended (enable if available)
   Batch Size: 512
   ```
4. Start chatting through the built-in UI


# Precision Details

| Filename       | Precision | Size      | Characteristics               |
|----------------|-----------|-----------|--------------------------------|
| mechat.gguf | FP16      | [12.5GB] | Full original model precision |


# Hardware Requirements

**Minimum:**  
- 16GB RAM (for 6B model)  
- CPU with AVX/AVX2 instruction set support  

**Recommended:**  
- 20GB+ RAM  
- CUDA-capable GPU (for acceleration)  
- Fast SSD storage (due to large model size)  


# Key Notes

1. Requires latest llama.cpp (v3+ recommended)
2. Use `--n-gpu-layers 35` for GPU acceleration (requires CUDA-enabled build)
3. Initial loading takes longer (2-5 minutes)
4. Requires more memory/storage than quantized versions
5. Use `--mlock` to prevent swapping


# Advantages

- Preserves original model precision
- Ideal for precision-sensitive applications
- No quantization loss
- Suitable for continued fine-tuning


# Ethical Considerations
These are text from original repo.

我们的心理健康支持对话机器人（以下简称"机器人"）旨在为用户提供情感支持和心理健康建议。然而，机器人不是医疗保健专业人员，不能替代医生、心理医生或其他专业人士的意见、诊断、建议或治疗。

机器人提供的建议和信息是基于算法和机器学习技术，可能并不适用于所有用户或所有情况。因此，我们建议用户在使用机器人之前咨询医生或其他专业人员，了解是否适合使用此服务。

机器人并不保证提供的建议和信息的准确性、完整性、及时性或适用性。用户应自行承担使用机器人服务的所有风险。我们对用户使用机器人服务所产生的任何后果不承担任何责任，包括但不限于任何直接或间接的损失、伤害、精神疾病、财产损失或任何其他损害。

我们强烈建议用户在使用机器人服务时，遵循以下原则：

机器人并不是医疗保健专业人士，不能替代医生、心理医生或其他专业人士的意见、诊断、建议或治疗。如果用户需要专业医疗或心理咨询服务，应寻求医生或其他专业人士的帮助。

机器人提供的建议和信息仅供参考，用户应自己判断是否适合自己的情况和需求。如果用户对机器人提供的建议和信息有任何疑问或不确定，请咨询医生或其他专业人士的意见。

用户应保持冷静、理性和客观，不应将机器人的建议和信息视为绝对真理或放弃自己的判断力。如果用户对机器人的建议和信息产生质疑或不同意，应停止使用机器人服务并咨询医生或其他专业人士的意见。

用户应遵守机器人的使用规则和服务条款，不得利用机器人服务从事任何非法、违规或侵犯他人权益的行为。

用户应保护个人隐私，不应在使用机器人服务时泄露个人敏感信息或他人隐私。

平台收集的数据用于学术研究。

最后，我们保留随时修改、更新、暂停或终止机器人服务的权利，同时也保留对本免责声明进行修改、更新或补充的权利。如果用户继续使用机器人服务，即视为同意本免责声明的全部内容和条款。


# Citation

```bibtex
@misc{qiu2023smile,
      title={SMILE: Single-turn to Multi-turn Inclusive Language Expansion via ChatGPT for Mental Health Support},
      author={Huachuan Qiu and Hongliang He and Shuai Zhang and Anqi Li and Zhenzhong Lan},
      year={2023},
      eprint={2305.00450},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}
```