Báo cáo dự án: Chatbot hỏi đáp pháp luật lao động Việt Nam

Chatbot dùng kỹ thuật RAG (truy xuất tài liệu rồi mới sinh câu trả lời) để tra cứu quy định hợp đồng lao động. Câu trả lời bám văn bản đã nạp, có trích điều luật, và viết bằng tiếng Việt.

Link dự án: https://legal-rag-three.vercel.app

1. Mục tiêu

Giúp người lao động và doanh nghiệp hỏi một tình huống cụ thể rồi nhận lại quy định tương ứng, thay vì tự tìm trong cả bộ luật.

Hệ thống chỉ được trả lời từ tài liệu đã nạp. Mỗi câu trả lời phải nêu điều, khoản hoặc văn bản nguồn. Câu nằm ngoài kho tài liệu thì từ chối, không bịa số ngày, mức lương hay mức phạt.

2. Phạm vi

• Hỏi đáp trên Văn bản hợp nhất Bộ luật Lao động (18/VBHN-VPQH).
• Tìm kiếm lai: vector và từ khóa, rồi gộp bằng Reciprocal Rank Fusion.
• Cắt văn bản theo từng Điều, lặp tiêu đề Điều ở mọi đoạn con.
• Giao diện chat, nhiều phiên hội thoại, kèm nguồn trích dẫn. API có lọc theo loại văn bản và năm (giao diện chưa có ô lọc).

3. Người dùng

Đối tượng	Việc cần làm
Người lao động	Tra quyền, nghĩa vụ, thời hạn báo trước, thử việc, nghỉ phép
Doanh nghiệp, nhân sự	Kiểm tra một tình huống hợp đồng có đúng khung luật đã nạp hay không

Câu trả lời là tra cứu, không thay tư vấn pháp lý.

4. Cách hệ thống trả lời

1. Câu hỏi được embed bằng keepitreal/vietnamese-sbert (768 chiều, đã chuẩn hóa).
2. Qdrant tìm các đoạn gần nghĩa, chỉ giữ đoạn có cosine từ 0,45 trở lên (VECTOR_MIN_SCORE). BM25 tìm các đoạn trùng từ khóa pháp lý.
3. Nếu không đoạn nào qua ngưỡng, hệ thống trả lời từ chối ngay mà không gọi mô hình sinh. Ngưỡng 0,45 chọn từ bộ 100 câu: câu trong phạm vi có điểm cao nhất từ 0,531, câu ngoài phạm vi từ 0,296 đến 0,625.
4. Hai danh sách gộp bằng RRF (k = 60), lấy top 5.
5. Các đoạn đó đưa vào prompt. Mô hình phải nêu số liệu đúng như tài liệu (ngày, giờ, tháng, phần trăm, mức tiền) và đánh dấu nguồn [1], [2].
6. Giao diện hiện câu trả lời cùng thẻ nguồn. Khi câu trả lời là từ chối, không hiện nguồn.

5. Công nghệ

Lớp	Local	Public
Giao diện	Next.js 14, TypeScript, Tailwind	Vercel
API	FastAPI, LangChain	Render Free, Singapore, 512 MB RAM
Mô hình sinh	Ollama qwen2.5:3b	Gemini gemini-3.8-flash
Embedding	PyTorch, model trên máy	Cùng model, qua Hugging Face Inference
Vector	Qdrant file trên đĩa	Qdrant Cloud, australia-southeast1
Từ khóa	BM25 ghi ra file pickle	BM25 dựng trong RAM lúc khởi động, từ payload Qdrant

6. Dữ liệu

Một file: 18-vbhn-vpqh.pdf, bản scan 86 trang Văn bản hợp nhất Bộ luật Lao động. Chữ được OCR một lần (Tesseract, 300 dpi), lưu theo từng trang, rồi cắt lại theo Điều. Tái lập chỉ mục không cần OCR lại: backend/scripts/reindex_from_ocr.py.

Kết quả chỉ mục: 596 đoạn, gồm 216 Điều theo đúng thứ tự và 6 đoạn ghi chú. Mỗi đoạn mang metadata nguồn, loại văn bản, năm, số Điều và tiêu đề Điều. Bộ lọc của API áp vào cả nhánh vector và nhánh BM25.

Ba lỗi của bản scan đã xử lý:

• Trang 15 và 16 bị scan đảo thứ tự, làm đoạn của Điều 35 và 36 lẫn vào nhau. Script tái lập đảo lại hai trang này.
• Phần chú thích cuối trang trích nguyên văn các luật sửa đổi (ví dụ Luật Dân số 113/2025/QH15), có cả dòng "Điều 30. Hiệu lực thi hành". Các chú thích này tách thành đoạn ghi chú riêng, không bị đọc thành Điều của Bộ luật.
• File thiếu hai trang in, nên Điều 76 đến 79 (thỏa ước lao động tập thể) không có trong chỉ mục.

OCR trên Windows cần Tesseract và Poppler.

7. Chức năng đã có

• Hỏi đáp tiếng Việt, cấu trúc trả lời gồm quy định áp dụng, căn cứ và lưu ý thực tiễn khi tài liệu có các ý đó.
• Hybrid search và trích nguồn.
• Nhiều phiên chat, tạo mới, xóa, thu gọn; lưu trong localStorage của trình duyệt.
• Upload PDF, DOCX, TXT và ảnh trên máy dev; PDF scan đi qua OCR.
• Quét đệ quy thư mục data/ và tự nạp khi bật auto-ingest.
• Nhận metadata văn bản hợp nhất.
• Lọc theo loại văn bản và năm ở tầng API.
• Từ chối không gọi mô hình khi không có đoạn nào đủ gần; không hiện nguồn khi câu trả lời là từ chối.
• Giới hạn độ dài câu hỏi, tối đa 10 câu hỏi mỗi phút cho mỗi IP, lỗi trả về client là thông báo chung.
• Câu hỏi gợi ý đúng miền hợp đồng lao động.
• Cảnh báo trên giao diện public: câu hỏi được xử lý qua dịch vụ AI bên ngoài.

8. Kết quả đánh giá

Bộ 100 câu bám Văn bản hợp nhất: 25 dễ, 30 trung bình, 25 khó, 20 câu ngoài phạm vi. Không chấm bằng BLEU hay ROUGE. Câu trong phạm vi được chấm theo việc nêu đủ các mốc số liệu bắt buộc, nhắc đúng nội dung và có trích dẫn. Câu ngoài phạm vi được chấm theo việc từ chối.

Bộ câu hỏi do một mô hình khác sinh ra, sau đó được đối chiếu lại với nguyên văn Điều luật (báo cáo ở docs/eval/golden_review_round1.md). Lượt rà đầu sửa 19 câu có tiêu chí chấm sai hoặc đáp án thiếu ý. Luật chấm cũng được siết: số phải khớp nguyên vẹn ("5 ngày" không khớp "365 ngày") và phải nêu đủ mọi mốc.

Kết quả hiện tại, chỉ mục 596 đoạn, mô hình sinh Ollama qwen2.5:3b chạy trên máy:

Hạng mục	Kết quả
Truy xuất, 80 câu trong phạm vi	75/80
Sinh câu trả lời, cả 100 câu	76/100
Sinh câu trả lời, 80 câu trong phạm vi	56/80
Dễ / trung bình / khó	20/25, 19/30, 17/25
Từ chối đúng, 20 câu ngoài phạm vi	20/20
Có trích dẫn	98,8%

Diễn biến trên cùng bộ câu hỏi đã sửa và cùng cách chấm:

Mốc	Sinh 100 câu	Truy xuất 80 câu
Chỉ mục cũ 618 đoạn (đảo trang, lẫn chú thích)	68	73
Chỉ mục 596 đoạn sau khi OCR lại	77	75
Thêm ngưỡng điểm vector 0,45	76	75

Ngưỡng 0,45 làm điểm sinh giảm 1 câu, đổi lại 12/20 câu ngoài phạm vi không cần gọi mô hình sinh.

9. Hạn chế đã biết

• Điểm ở trên đo bằng mô hình 3B chạy trên máy. Bản public dùng Gemini, chưa được chấm trên bộ 100 câu.
• Nhóm câu khó còn yếu: mô hình 3B hay bỏ sót mốc số khi một câu hỏi cần nhiều Điều.
• Mô hình đôi khi ghi sai năm của Bộ luật vì metadata của văn bản hợp nhất không có năm ban hành.
• Chỉ có một văn bản, chưa có chế độ đối chiếu điều khoản hợp đồng với luật.
• Giao diện chưa có ô lọc theo loại văn bản và năm.
• Bản public cần ba dịch vụ ngoài đều còn hạn mức: Hugging Face (embedding), Gemini (sinh câu trả lời) và Qdrant Cloud. Hugging Face Inference tính credit; hết credit thì mọi câu hỏi đều lỗi.
• Chưa có test tự động.