u

Dockerfile

@@ -2,7 +2,7 @@ FROM python:3.10-slim
 
 # إضافة حزم أساسية فقط
 RUN apt-get update && apt-get install -y \
-    build-essential pkg-config \
+    build-essential pkg-config curl \
     && rm -rf /var/lib/apt/lists/*
 
 # إضافة مستخدم غير root
@@ -11,7 +11,6 @@ WORKDIR /home/user/app
 COPY --chown=user . .
 
 # مجلد التخزين المؤقت للنموذج
-RUN mkdir -p /home/user/app/data/cache && chown -R user:user /home/user/app/data
 RUN mkdir -p /home/user/app/data && chown -R user:user /home/user/app/data
 
 # إنشاء البيئة الافتراضية
@@ -24,7 +23,6 @@ ENV CMAKE_ARGS="-DGGML_CUDA=off"
 RUN pip install --upgrade pip
 RUN pip install --no-cache-dir -r requirements.txt
 
-# إضافة مكتبة SQLite (مضمنة في بايثون)
 USER user
 
-CMD ["uvicorn", "app:app", "--host", "0.0.0.0", "--port", "7860"]
+CMD ["uvicorn", "app:app", "--host", "0.0.0.0", "--port", "7860", "--log-config", "logging.conf"]

app.py

@@ -1,28 +1,31 @@
+# إعداد السجل العام للتطبيق
+import logging
+logging.basicConfig(
+    level=logging.DEBUG,
+    format="🪵 [%(asctime)s] [%(levelname)s] %(message)s",
+    handlers=[
+        logging.StreamHandler(),
+        logging.FileHandler("app.log")
+    ]
+)
+logger = logging.getLogger(__name__)
+
 from fastapi import FastAPI, HTTPException
 from pydantic import BaseModel
 from llama_cpp import Llama
-import logging
 import os
 import threading
 from fastapi.middleware.cors import CORSMiddleware
 from monitor import get_current_metrics, start_monitoring_thread
 from huggingface_hub import hf_hub_download
-from memory import get_history, save_history  # استيراد جديد
-
-# إعداد السجل
-logging.basicConfig(
-    level=logging.INFO,
-    format="🪵 [%(asctime)s] [%(levelname)s] %(message)s",
-)
-logger = logging.getLogger(__name__)
+from memory import get_history, save_history
 
-# إعدادات النموذج الجديد
+# إعدادات النموذج
 MODEL_REPO = "Qwen/Qwen2-1.5B-Instruct-GGUF"
-MODEL_FILE = "qwen2-1_5b-instruct-q6_k.gguf"  
+MODEL_FILE = "qwen2-1_5b-instruct-q6_k.gguf"
 MODEL_PATH = f"/home/user/app/data/cache/{MODEL_FILE}"
 HF_TOKEN = os.getenv("HF_TOKEN")
 
-# System Prompt محسن للنموذج الجديد
 SYSTEM_PROMPT = """<|im_start|>system
 You are Qwen2, created by Alibaba Cloud. You are a helpful assistant specialized in AI development.
 Follow these rules:
@@ -31,7 +34,32 @@ Follow these rules:
 3. Keep responses concise but complete
 4. For complex requests, ask clarifying questions<|im_end|>"""
 
-# تحميل النموذج
+# تنسيق prompt الدردشة
+def format_chat(history, new_message):
+    messages = [("system", SYSTEM_PROMPT)]
+
+    for item in history[-8:]:
+        if isinstance(item, list) and len(item) == 2:
+            user_msg, bot_msg = item
+            messages.append(("user", user_msg))
+            messages.append(("assistant", bot_msg))
+        else:
+            logger.warning(f"⚠️ عنصر غير متوافق في التاريخ: {item}")
+
+    messages.append(("user", new_message))
+
+    formatted = []
+    for role, content in messages:
+        if role == "system":
+            formatted.append(f"<|im_start|>system\n{content}<|im_end|>")
+        elif role == "user":
+            formatted.append(f"<|im_start|>user\n{content}<|im_end|>")
+        else:
+            formatted.append(f"<|im_start|>assistant\n{content}<|im_end|>")
+    formatted.append("<|im_start|>assistant\n")
+    return "\n".join(formatted)
+
+# تحميل النموذج إذا لم يكن موجوداً
 def load_model():
     if not os.path.exists(MODEL_PATH):
         os.makedirs("/home/user/app/data/cache", exist_ok=True)
@@ -48,30 +76,23 @@ def load_model():
             logger.error(f"❌ فشل تحميل النموذج: {str(e)}")
             raise RuntimeError("فشل تحميل النموذج") from e
 
-    # تأكيد وجود النموذج
-    if os.path.exists(MODEL_PATH):
-        logger.info(f"✅ النموذج موجود: {MODEL_PATH}")
-    else:
-        logger.error(f"❌ النموذج غير موجود: {MODEL_PATH}")
+    if not os.path.exists(MODEL_PATH):
         raise RuntimeError("النموذج غير موجود بعد التحميل")
 
-    # تحميل النموذج مع إعدادات محسنة
     return Llama(
         model_path=MODEL_PATH,
-        n_ctx=2048,
-        n_threads=4,
+        n_ctx=1024,
+        n_threads=2,
         n_gpu_layers=0,
-        n_batch=512,
-        use_mlock=True,
+        n_batch=64,
+        use_mlock=False,
         verbose=False
     )
 
-# بدء مراقبة الموارد
-start_monitoring_thread()
-
+# إنشاء تطبيق FastAPI
 app = FastAPI()
 
-# تحميل النموذج بشكل غير متزامن
+# تحميل النموذج في الخلفية
 llm = None
 model_loading_thread = None
 
@@ -80,8 +101,6 @@ def load_model_in_background():
     try:
         llm = load_model()
         logger.info("✅ تم تحميل النموذج بنجاح")
-        
-        # اختبار النموذج مع System Prompt الجديد
         test_prompt = format_chat([], "مرحبا، كيف يمكنك المساعدة؟")
         test_output = llm(test_prompt, max_tokens=50)['choices'][0]['text'].strip()
         logger.info(f"✅ اختبار النموذج ناجح: {test_output[:100]}...")
@@ -89,6 +108,7 @@ def load_model_in_background():
         logger.error(f"❌ فشل تحميل النموذج: {str(e)}")
         logger.exception(e)
 
+# تمكين CORS
 app.add_middleware(
     CORSMiddleware,
     allow_origins=["*"],
@@ -103,71 +123,47 @@ async def startup_event():
     logger.info("🚀 بدء تحميل النموذج في الخلفية...")
     model_loading_thread = threading.Thread(target=load_model_in_background, daemon=True)
     model_loading_thread.start()
+    
+    # بدء مراقبة الموارد بعد إنشاء التطبيق
+    start_monitoring_thread()
 
+# نموذج الطلب والرد
 class ChatRequest(BaseModel):
-    session_id: str  # حقل جديد
+    session_id: str
     message: str
-    # تمت إزالة history لأنه سيتم تخزينه على الخادم
 
 class ChatResponse(BaseModel):
     response: str
     updated_history: list[list[str]]
 
-def format_chat(history, new_message):
-    """تنسيق المحادثة حسب التوصيات مع دعم Chat Template"""
-    messages = []
-    messages.append(("system", SYSTEM_PROMPT))
-    
-    # الحفاظ على آخر 8 تبادلات فقط (إدارة السياق)
-    for user_msg, bot_msg in history[-8:]:
-        messages.append(("user", user_msg))
-        messages.append(("assistant", bot_msg))
-    
-    messages.append(("user", new_message))
-    
-    # بناء الـ prompt بتنسيق الدردشة الموصى به
-    formatted = []
-    for role, content in messages:
-        if role == "system":
-            formatted.append(f"<|im_start|>system\n{content}<|im_end|>")
-        elif role == "user":
-            formatted.append(f"<|im_start|>user\n{content}<|im_end|>")
-        else:
-            formatted.append(f"<|im_start|>assistant\n{content}<|im_end|>")
-    
-    # إضافة بداية رد المساعد
-    formatted.append("<|im_start|>assistant\n")
-    return "\n".join(formatted)
-
+# التحقق من حالة النموذج
 @app.get("/model-status")
 def model_status():
     status = "loaded" if llm else "loading"
     thread_alive = model_loading_thread.is_alive() if model_loading_thread else False
     return {"status": status, "thread_alive": thread_alive}
 
+# endpoint عرض المقاييس
 @app.get("/metrics")
 def read_metrics():
-    logger.debug("📊 تم طلب حالة الموارد")
     return get_current_metrics()
 
+# الدردشة الرئيسية
 @app.post("/chat", response_model=ChatResponse)
 def chat(req: ChatRequest):
     global llm
-    
     if not llm:
         if model_loading_thread and model_loading_thread.is_alive():
             raise HTTPException(status_code=503, detail="النموذج قيد التحميل، الرجاء المحاولة لاحقاً")
         else:
             raise HTTPException(status_code=500, detail="فشل تحميل النموذج")
-    
+
     logger.info(f"📩 طلب جديد من جلسة {req.session_id}: {req.message}")
     try:
-        # استرجاع تاريخ المحادثة من قاعدة البيانات
         history = get_history(req.session_id)
+        logger.info(f"📜 التاريخ الحالي: {len(history)} رسائل")
         prompt = format_chat(history, req.message)
-        logger.debug(f"📝 prompt المُرسل:\n{prompt[:300]}...")
-        
-        # توليد الرد
+
         output = llm(
             prompt,
             max_tokens=512,
@@ -176,21 +172,46 @@ def chat(req: ChatRequest):
             stop=["<|im_end|>", "<|im_start|>"],
             echo=False
         )
-        
+
         reply = output['choices'][0]['text'].strip()
         logger.info(f"🤖 رد النموذج: {reply[:100]}...")
-        
-        # تحديث التاريخ مع الحفاظ على الطول المعقول
+
         updated_history = (history + [[req.message, reply]])[-8:]
-        
-        # حفظ التاريخ الجديد
         save_history(req.session_id, updated_history)
-        
+
         return ChatResponse(response=reply, updated_history=updated_history)
+
     except Exception as e:
         logger.error(f"❌ خطأ أثناء المعالجة: {str(e)}")
+        logger.exception(e)
         raise HTTPException(status_code=500, detail="حدث خطأ أثناء توليد الرد")
 
+# root
 @app.get("/")
 def root():
-    return {"message": "الخادم يعمل", "status": "ok"}
+    return {"message": "الخادم يعمل", "status": "ok"}
+
+# endpoint قراءة سجل مراقبة الموارد
+@app.get("/monitor-log")
+def read_monitor_log():
+    import os
+    # استخدام المسار المطلق للتأكد من العثور على الملف
+    base_dir = os.path.dirname(os.path.abspath(__file__))
+    log_path = os.path.join(base_dir, "data", "monitor.log")
+    
+    if not os.path.exists(log_path):
+        raise HTTPException(
+            status_code=404,
+            detail=f"لم يتم العثور على ملف السجل في المسار: {log_path}"
+        )
+    
+    try:
+        with open(log_path, "r", encoding="utf-8") as f:
+            content = f.read()
+        return {"log": content}
+    except Exception as e:
+        logger.error(f"❌ فشل قراءة سجل المراقبة: {str(e)}")
+        raise HTTPException(
+            status_code=500,
+            detail=f"حدث خطأ أثناء قراءة السجل: {str(e)}"
+        )

docker-compose.yml

@@ -10,7 +10,6 @@ services:
       - "7860:7860"
     volumes:
       - ./data:/home/user/app/data
-      - ./db:/home/user/app
     environment:
       - HF_TOKEN=${HF_TOKEN}
     restart: unless-stopped

main.py

@@ -1,9 +1,26 @@
 import logging
+import os
+
+# إعداد السجل قبل الاستيرادات الأخرى
+logging.basicConfig(
+    level=logging.DEBUG,
+    format="🪵 [%(asctime)s] [%(levelname)s] %(message)s",
+    handlers=[
+        logging.StreamHandler(),
+        logging.FileHandler("app.log")
+    ]
+)
 logger = logging.getLogger(__name__)
 
 try:
     from app import app
     logger.info("✅ استيراد app من app.py ناجح")
+    
+    # التأكد من وجود مجلد البيانات
+    data_dir = os.path.join(os.path.dirname(os.path.abspath(__file__)), "data")
+    os.makedirs(data_dir, exist_ok=True)
+    logger.info(f"📁 مجلد البيانات جاهز: {data_dir}")
+    
 except ImportError as e:
     logger.error(f"❌ فشل استيراد app من app.py: {str(e)}")
     raise

memory.py

@@ -1,42 +1,61 @@
-# memory.py
 import sqlite3
 import json
 import os
+import logging
 
-DB_DIR = os.path.join(os.path.dirname(os.path.abspath(__file__)), "data")
-DB_PATH = os.path.join(DB_DIR, "chat_memory.db")  # مسار جديد
+logger = logging.getLogger(__name__)
 
-# إنشاء المجلد إذا لم يكن موجوداً
-os.makedirs(DB_DIR, exist_ok=True) 
+base_dir = os.path.dirname(os.path.abspath(__file__))
+DB_DIR = os.path.join(base_dir, "data")
+DB_PATH = os.path.join(DB_DIR, "chat_memory.db")
 
-# إنشاء قاعدة البيانات إذا لم تكن موجودة
-conn = sqlite3.connect(DB_PATH)
-c = conn.cursor()
-c.execute('''
-    CREATE TABLE IF NOT EXISTS memory (
-        session_id TEXT PRIMARY KEY,
-        history TEXT
-    )
-''')
-conn.commit()
-conn.close()
+os.makedirs(DB_DIR, exist_ok=True)
 
-def get_history(session_id: str):
-    """استرجاع تاريخ المحادثة من قاعدة البيانات"""
+try:
     conn = sqlite3.connect(DB_PATH)
     c = conn.cursor()
-    c.execute("SELECT history FROM memory WHERE session_id = ?", (session_id,))
-    row = c.fetchone()
+    c.execute('''
+        CREATE TABLE IF NOT EXISTS memory (
+            session_id TEXT PRIMARY KEY,
+            history TEXT
+        )
+    ''')
+    conn.commit()
     conn.close()
-    return json.loads(row[0]) if row else []
+    logger.info(f"✅ تم إنشاء/فتح قاعدة البيانات في: {DB_PATH}")
+except sqlite3.Error as e:
+    logger.error(f"❌ خطأ في إنشاء قاعدة البيانات: {str(e)}")
+
+def get_history(session_id: str):
+    try:
+        conn = sqlite3.connect(DB_PATH)
+        c = conn.cursor()
+        c.execute("SELECT history FROM memory WHERE session_id = ?", (session_id,))
+        row = c.fetchone()
+        conn.close()
+
+        if not row or not isinstance(row[0], str):
+            return []
+
+        data = json.loads(row[0])
+        if isinstance(data, list) and all(isinstance(pair, list) and len(pair) == 2 for pair in data):
+            return data
+        else:
+            logger.warning(f"⚠️ تم تجاهل تاريخ غير متوافق: {type(data)}")
+            return []
+    except Exception as e:
+        logger.error(f"❌ خطأ أثناء استرجاع التاريخ: {str(e)}")
+        return []
 
 def save_history(session_id: str, history: list):
-    """حفظ تاريخ المحادثة في قاعدة البيانات"""
-    conn = sqlite3.connect(DB_PATH)
-    c = conn.cursor()
-    c.execute(
-        "REPLACE INTO memory (session_id, history) VALUES (?, ?)",
-        (session_id, json.dumps(history))
-    )
-    conn.commit()
-    conn.close()
+    try:
+        conn = sqlite3.connect(DB_PATH)
+        c = conn.cursor()
+        c.execute(
+            "REPLACE INTO memory (session_id, history) VALUES (?, ?)",
+            (session_id, json.dumps(history))
+        conn.commit()
+        conn.close()
+        logger.debug(f"💾 تم حفظ التاريخ للجلسة: {session_id}")
+    except Exception as e:
+        logger.error(f"❌ خطأ أثناء حفظ التاريخ: {str(e)}")

monitor.py

@@ -4,31 +4,72 @@ import psutil
 import logging
 from collections import deque
 import os
+import tracemalloc
 
+# إنشاء logger خاص لهذه الوحدة
 logger = logging.getLogger("monitor")
+logger.setLevel(logging.DEBUG)
 
-# تخزين آخر 60 قياس (60 ثانية)
-cpu_history = deque(maxlen=60)
-mem_history = deque(maxlen=60)
+# إعداد ملف السجل
+base_dir = os.path.dirname(os.path.abspath(__file__))
+log_dir = os.path.join(base_dir, "data")
+os.makedirs(log_dir, exist_ok=True)
+log_path = os.path.join(log_dir, "monitor.log")
+
+# إعداد handler لملف السجل
+file_handler = logging.FileHandler(log_path)
+file_handler.setLevel(logging.DEBUG)
+formatter = logging.Formatter("📁 [%(asctime)s] [%(levelname)s] %(message)s")
+file_handler.setFormatter(formatter)
+logger.addHandler(file_handler)
+
+# إعداد handler للوحدة الأساسية (اختياري)
+stream_handler = logging.StreamHandler()
+stream_handler.setFormatter(logging.Formatter("🪵 [%(asctime)s] [%(levelname)s] %(message)s"))
+logger.addHandler(stream_handler)
+
+# تفعيل تتبع الذاكرة
+tracemalloc.start()
+logger.info("🔍 بدأ تتبع الذاكرة")
+
+# تخزين آخر 10 قياسات
+cpu_history = deque(maxlen=10)
+mem_history = deque(maxlen=10)
 current_metrics = {'cpu': 0, 'memory': 0}
 
 def monitor_resources():
-    """تراقب استخدام وحدة المعالجة المركزية والذاكرة كل ثانية"""
+    counter = 0
+    logger.info("🔁 بدأ تشغيل مراقبة الموارد")
     while True:
         try:
-            cpu_percent = psutil.cpu_percent(interval=None)
+            process = psutil.Process(os.getpid())
+            mem_info = process.memory_info()
+            cpu_percent = psutil.cpu_percent(interval=0.5)
             mem_percent = psutil.virtual_memory().percent
+
             current_metrics['cpu'] = cpu_percent
             current_metrics['memory'] = mem_percent
             cpu_history.append(cpu_percent)
             mem_history.append(mem_percent)
+
+            logger.info(f"🧠 الذاكرة - RSS: {mem_info.rss / 1024**2:.2f} MB | VMS: {mem_info.vms / 1024**2:.2f} MB")
+            current, peak = tracemalloc.get_traced_memory()
+            logger.info(f"📊 tracemalloc - الحالي: {current / 1024**2:.2f} MB | الأعلى: {peak / 1024**2:.2f} MB")
+
+            counter += 1
+            if counter % 12 == 0:
+                snapshot = tracemalloc.take_snapshot()
+                top_stats = snapshot.statistics('lineno')
+                logger.info("📌 أعلى 5 أسطر استهلاكًا للذاكرة:")
+                for stat in top_stats[:5]:
+                    logger.info(f"   {stat}")
+
         except Exception as e:
-            logger.error(f"خطأ في مراقبة الموارد: {str(e)}")
-        
-        time.sleep(1)
+            logger.exception(f"❌ استثناء في مراقبة الموارد: {str(e)}")
+
+        time.sleep(5)
 
 def get_current_metrics():
-    """ترجع القيم الحالية للموارد"""
     return {
         'cpu': current_metrics['cpu'],
         'memory': current_metrics['memory'],
@@ -37,7 +78,6 @@ def get_current_metrics():
     }
 
 def start_monitoring_thread():
-    """تشغيل خيط المراقبة الخلفي"""
     thread = threading.Thread(target=monitor_resources, daemon=True)
     thread.start()
     logger.info("✅ تم بدء مراقبة الموارد في خيط منفصل")

requirements.txt

@@ -2,4 +2,6 @@ fastapi==0.115.1
 uvicorn==0.35.0
 huggingface_hub==0.23.0
 llama-cpp-python==0.2.77
-psutil==5.9.8
+psutil==5.9.8
+aiosqlite==0.20.0
+python-multipart==0.0.9