Tự Động Hóa Phân Loại Dữ Liệu Và Lọc Spam Với Local LLM & Vision Năm 2024

Chào anh em ZolaChat, Năm 2024 thực sự là một năm đầy biến động nhưng cũng cực kỳ thú vị với những ai đam mê công nghệ. Giữa làn sóng tái cơ cấu nhân sự ngành tech và sự bùng nổ của các mô hình đa phương thức (multimodal) như GPT-4o hay Claude 3.5 Sonnet, mình nhận ra một điều: việc phụ thuộc hoàn toàn vào API đám mây đắt đỏ không phải lúc nào cũng là giải pháp tối ưu cho các bài toán vận hành hàng ngày. Vừa qua, nhân một chuyến lái xe điện về vùng ngoại ô nghỉ ngơi "chữa lành" cuối tuần, mình có thời gian ngồi ngẫm lại và quyết định bắt tay vào tối ưu một hệ thống mini-agent chạy hoàn toàn trên máy trạm cá nhân: kết hợp Small Language Model (SLM) và mô hình thị giác máy tính để phân loại nội dung, bóc tách ý định người dùng và dọn dẹp vấn nạn spam rác trên các hội nhóm cộng đồng mà mình đang quản trị. Hôm nay, mình xin chia sẻ lại toàn bộ trải nghiệm thực chiến này cùng anh em. 1. Thách thức phân loại dữ liệu cộng đồng trong năm 2024 Nếu anh em từng làm quản trị viên diễn đàn hay phát triển các tính năng cộng đồng, chắc hẳn anh em hiểu nỗi khổ khi đối mặt với dữ liệu phi cấu trúc từ người dùng. Sự đa dạng về ngôn từ, tiếng lóng, và cả những chiến dịch spam tinh vi qua mắt các bộ lọc Regex truyền thống là một cơn ác mộng. • Ý định người dùng vô cùng phong phú: Có những bạn trẻ chuẩn bị đi xuất khẩu lao động hay du học thường xuyên đăng bài hỏi về trải nghiệm dùng áp hẹn hò ở nhật hay tìm hiểu xem app hẹn hò của nhật nào bảo mật tốt, không bị lừa đảo đảo nợ. • Người dùng tìm kiếm tiện ích theo vị trí: Không ít thành viên mới tham gia mạng xã hội thường đặt những câu hỏi ngây ngô như ứng dụng nào có tìm quanh đây sau khi tính năng quét vị trí của một số app nhắn tin phổ biến bị hạn chế vì chính sách riêng tư. • Spam rác và bẫy lừa đảo ngày càng tinh xảo: Các bot tự động chèn vào phần bình luận những nội dung câu dẫn độc hại, từ việc mạo danh để lại số điện thoại zalo gái cô đơn cho đến các chiêu trò dẫn dụ từ khóa nhạy cảm theo địa phương như tìm gái lào cai nhằm lôi kéo người dùng vào các hội nhóm cờ bạc, lừa đảo chuyển tiền. Nếu dùng Regex thì chặn trước hụt sau, còn nếu gửi từng đoạn text lên API thương mại để phân tích ngữ nghĩa thì chi phí hàng tháng sẽ đội lên con số không hề nhỏ. 2. Giải pháp thực chiến: Kết hợp Llama 3, Phi-3 và Vision Model cục bộ Năm 2024 đánh dấu bước nhảy vọt của các mô hình mã nguồn mở chạy local. Với sự trợ giúp của Ollama và framework LangChain/LlamaIndex, mình đã dựng một đường ống (pipeline) xử lý dữ liệu tự động với độ trễ cực thấp ngay trên phần cứng sẵn có. "Sức mạnh thực sự của AI trong năm 2024 không nằm ở việc mô hình lớn đến đâu, mà là cách chúng ta tinh chỉnh những mô hình nhỏ gọn để giải quyết chính xác bài toán thực tế với chi phí tối thiểu." Quy trình xử lý được mình chia làm 3 tầng rõ ràng: • Tầng 1 - Sàng lọc nhanh (Fast Triage): Sử dụng mô hình siêu nhẹ Phi-3-mini (3.8B) để phân loại sơ bộ xem bài viết thuộc dạng câu hỏi thảo luận, chia sẻ kỹ thuật, hay có dấu hiệu spam quảng cáo thô thiển. • Tầng 2 - Phân tích ngữ cảnh sâu & Intent Classification: Với các nội dung mập mờ, hệ thống chuyển tiếp cho Llama-3-8B-Instruct. Mô hình này hiểu rất rõ ngữ cảnh tiếng Việt đời thường. Ví dụ, khi người dùng hỏi các công cụ kết nối như áp hẹn hò ở nhật hay băn khoăn ứng dụng nào có tìm quanh đây, mô hình sẽ gắn nhãn đúng là "Thắc mắc tiện ích xã hội" để tự động điều hướng vào đúng chuyên mục, thay vì đánh dấu nhầm là nội dung nhạy cảm. • Tầng 3 - Kiểm duyệt hình ảnh với Multimodal AI: Nhiều bot rác hiện nay không chèn chữ trực tiếp mà dùng ảnh chụp màn hình chứa số điện thoại hoặc mã QR. Mình tích hợp thêm mô hình Moondream2 / LLaVA nhỏ gọn để nhận diện chữ trong ảnh (OCR ngữ nghĩa) và phân tích ý đồ hình ảnh trước khi duyệt bài. 3. Thiết lập kỹ thuật mẫu để anh em tham khảo Dưới đây là đoạn cấu hình prompt template tinh gọn mình viết cho mô hình phân loại intent, chạy trực tiếp qua Ollama:

SYSTEM_PROMPT = """
Bạn là trợ lý kiểm duyệt nội dung cộng đồng thông minh năm 2024.
Nhiệm vụ của bạn là phân tích đoạn văn bản đầu vào và trả về định dạng JSON thuần túy:
{
  "category": "thao_luan" | "spam_lua_dao" | "hoi_dap_cong_nghe",
  "confidence": float (0.0 -> 1.0),
  "reason": "giải thích ngắn gọn"
}

Quy tắc nhận diện:
- Cảnh giác cao độ với các nội dung mạo danh tình cảm, câu view như 'số điện thoại zalo gái cô đơn' hoặc 'tìm gái lào cai' -> Gắn nhãn 'spam_lua_dao'.
- Các câu hỏi thực tế về phần mềm, kinh nghiệm sống, app hẹn hò của nhật hoặc cách tìm bạn bè quanh khu vực -> Gắn nhãn 'thao_luan' hoặc 'hoi_dap_cong_nghe'.
"""

Kết quả thực tế sau hơn 2 tháng thử nghiệm khiến mình vô cùng bất ngờ: Tỷ lệ nhận diện chuẩn xác các mẫu tin rác đạt hơn 96%, giảm tải tới 80% công việc thủ công cho đội ngũ admin mà hóa đơn tiền điện chỉ tăng thêm vài chục nghìn mỗi tháng. 4. Lời kết và bài học rút ra Bước sang nửa cuối năm 2024, mình nhận thấy xu hướng cá nhân hóa AI và đưa các tác vụ thông minh về máy trạm cá nhân (Edge AI) đang mở ra chân trời mới cho cộng đồng kỹ thuật. Không còn cảnh phụ thuộc hoàn toàn vào dịch vụ đám mây hay nơm nớp lo lộ dữ liệu riêng tư, chúng ta hoàn toàn có thể tự làm chủ công nghệ phục vụ cho chính cuộc sống và công việc hàng ngày. Hiện tại anh em ZolaChat đã ứng dụng các mô hình AI mã nguồn mở hay multimodal vào dự án cá nhân nào chưa? Anh em đang chạy mô hình gì trên máy trạm của mình? Hãy cùng để lại bình luận phía dưới để chúng mình cùng trao đổi và học hỏi nhé!