Chạy AI Local Tháng 8/2026: Runtime Đổi Mới, GPU Mở Rộng Và Những Mặc Định Không Còn Như Cũ

Nếu máy tính cá nhân hoặc workstation của bạn đang được dùng để chạy AI local, đây là thời điểm nên dừng lại một chút và rà soát toàn bộ hệ thống: runtime nào đang chạy, GPU có còn được hỗ trợ tốt hay không, model nào đang được nạp, các tham số sinh văn bản mặc định ra sao, và cách đo hiệu năng có còn chính xác. Chỉ trong những ngày đầu tháng 8/2026, hai runtime được dùng phổ biến nhất cho AI local là Ollama và llama.cpp đều tung ra hàng loạt thay đổi, phần lớn trong số đó ảnh hưởng trực tiếp đến người tự vận hành máy ở nhà hoặc tại văn phòng.

Từ kinh nghiệm tư vấn cấu hình PC AI cho khách hàng, đội ngũ kỹ thuật Nguyễn Thuận Computer khuyên một nguyên tắc đơn giản: đừng nâng cấp rồi đánh giá bằng cảm nhận chủ quan. Ghi lại phiên bản đang dùng, cập nhật từng bước có kiểm soát, đo lại hiệu năng bằng cách tách riêng tốc độ xử lý prompt và tốc độ sinh token, sau đó kiểm tra lại toàn bộ API hoặc công cụ coding agent đang kết nối tới máy trước khi kết luận bản cập nhật có đáng dùng hay không.

Ollama thay đổi gì trong tháng 8/2026

Bản Ollama v0.32.9 phát hành ngày 11/08/2026 bổ sung hỗ trợ cho NVIDIA Nemotron 3.5 Lightning, một model dạng mixture-of-experts với tổng cộng 30 tỷ tham số nhưng chỉ kích hoạt khoảng 3 tỷ tham số trong mỗi lượt suy luận, kèm theo hỗ trợ kiến trúc Nemotron 3. Với kiểu kiến trúc MoE, lượng tài nguyên tính toán cần dùng thấp hơn hẳn so với model đặc (dense) cùng quy mô, nên đây là cập nhật đáng chú ý với những ai đang tìm model suy luận cục bộ vừa nhẹ vừa mạnh.

Muse Glimmer cũng là cái tên nên có mặt trong danh sách theo dõi. Đây là model đa phương thức 30 tỷ tham số của Meta, được định hướng cho các tác vụ dạng agent. Ollama hỗ trợ model này lần đầu qua engine MLX dành riêng cho chip Apple Silicon ở bản v0.32.7 (10/08/2026), rồi chỉ một ngày sau, ở bản v0.32.8, phạm vi hỗ trợ đã mở rộng ra toàn bộ nền tảng, bao gồm cả GPU NVIDIA và AMD. Ai đang có ý định thử coding agent hoặc trợ lý cá nhân chạy dài hơi trên máy riêng nên đưa nhóm cập nhật này vào danh sách kiểm thử thực tế sớm.

Trên các dòng máy dùng GPU của Apple, bản Ollama v0.32.6 (04/08/2026) cải thiện rõ rệt hiệu năng của Qwen3.5 nhờ kỹ thuật speculative decoding tự động qua MTP head. Bản này cũng chuẩn hóa lại định dạng streaming của endpoint chat completions theo chuẩn OpenAI, còn tính năng sinh ảnh vốn đang thử nghiệm thì tạm thời bị gỡ bỏ. Ai có quy trình làm việc phụ thuộc vào streaming hoặc sinh ảnh nên kiểm tra kỹ trước khi nâng lên phiên bản này, tránh trường hợp workflow đang chạy bỗng dưng gián đoạn.

Đến bản v0.32.10 (12/08/2026), Ollama âm thầm đổi một tham số nhỏ nhưng có thể ảnh hưởng rõ đến chất lượng đầu ra: giá trị mặc định của repeat_penalty hạ từ 1.1 xuống còn 1.0, áp dụng cho những model không tự khai báo tham số này. Đây là bản pre-release nên còn kèm theo cải thiện tốc độ prefill với định dạng NVFP4 trên MLX, tăng khoảng 7–8% ở một số model được thử nghiệm.

GPU và nền tảng phần cứng, đừng chỉ nhìn tên model

Với người tự vận hành máy, câu hỏi quan trọng không chỉ dừng ở việc model nào vừa ra mắt, mà còn là cấu hình hiện tại có đang được runtime hỗ trợ tốt hơn hay không. Bản Ollama v0.32.3 (23/07/2026) mở rộng khả năng hỗ trợ GPU sang CUDA trên Windows chạy kiến trúc ARM64, cũng như hỗ trợ dòng GPU B200 thông qua CUDA 12. Cùng đợt này, Ollama bổ sung khả năng trò chuyện, suy luận (thinking) và gọi công cụ (tool calling) cho kiến trúc Laguna 2.1.

Ở phía llama.cpp, bản b10356 (11/08/2026) nâng mức hỗ trợ ROCm từ 7.2.1 lên 7.14, đồng thời là bản production đầu tiên dùng hệ thống build mới mang tên TheRock. Hệ thống nào đang chạy GPU AMD trên nền ROCm nên xem đây là mục bắt buộc trong danh sách kiểm tra trước khi nâng cấp.

Bản llama.cpp b10369 (12/08/2026) tích hợp Pocket-TTS phục vụ sinh audio, giúp giảm thời gian sinh mỗi khung hình âm thanh khoảng 80% khi chạy trên CUDA và khoảng 50% khi chạy trên CPU. Con số này rất đáng quan tâm nếu bạn đang xây trợ lý giọng nói hoặc một pipeline tạo audio vận hành hoàn toàn nội bộ, không phụ thuộc dịch vụ đám mây.

Cách nâng cấp an toàn, không đánh cược với hệ thống đang chạy

Trước khi cập nhật, hãy lưu lại chi tiết runtime hiện tại, model đang dùng, cấu hình lượng tử hóa và các tham số sinh văn bản quan trọng. Việc Ollama v0.32.10 âm thầm đổi mặc định repeat_penalty là ví dụ rõ nhất cho thấy vì sao bước này cần thiết: nếu không cố định tham số từ trước, cùng một prompt có thể cho ra kết quả khác hẳn sau khi nâng cấp, dù bạn không chủ động thay đổi gì.

Bên cạnh đó, cần nắm rõ model nào đang có sẵn trên máy và model nào đang thực sự chạy. Ollama cung cấp sẵn các endpoint quản trị cho phép liệt kê toàn bộ model đã tải, xem model nào đang nạp trong bộ nhớ, tra thông tin chi tiết từng model, kéo model mới về, tạo model tùy chỉnh và xóa model không dùng đến. Với máy chạy liên tục trong thời gian dài, việc kiểm tra này giúp phân biệt rõ giữa model đã tải xuống, model đang thực sự nằm trong RAM hoặc VRAM, và model mà ứng dụng đang gọi tới trên thực tế.

Khi đo hiệu năng, nên tách riêng hai giai đoạn thay vì đo gộp: xử lý prompt (prompt processing) và sinh văn bản (text generation). Công cụ llama-bench báo kết quả theo số token mỗi giây, kèm giá trị trung bình và độ lệch chuẩn qua nhiều lần lặp lại, mặc định 5 lần. Một điểm cần lưu ý là phép đo này không tính thời gian tokenization và sampling, nên trước khi so sánh số liệu giữa các cấu hình, cần hiểu đúng phạm vi mà con số đó phản ánh.

llama-bench hỗ trợ chế độ đo prompt processing với mặc định 512 token, chế độ đo text generation với mặc định 128 token, và cả chế độ kết hợp cả hai. Cách tách riêng này hữu ích ở chỗ một cấu hình có thể xử lý prompt cực nhanh nhưng sinh token lại không nhanh tương xứng, hoặc ngược lại, và nếu chỉ đo gộp thì rất dễ đánh giá sai bản chất vấn đề.

Với ai cần một phương pháp đo mang tính tham chiếu rộng hơn, bộ công cụ MLPerf Client v1.6 (phát hành ngày 06/04/2026) đo hiệu năng các workload LLM chạy cục bộ trên PC qua nhiều backend khác nhau như Windows ML, llama.cpp trên Windows và macOS, MLX kết hợp Metal. Bộ đo này cung cấp cả chỉ số về độ đáp ứng lẫn thông lượng xử lý, trong đó time to first token – thời gian chờ trước khi nhận token đầu tiên – càng thấp thì trải nghiệm sử dụng càng mượt.

Lượng tử hóa: chọn đúng file trước khi đổ lỗi cho phần cứng

Với AI local, định dạng và mức lượng tử hóa của file model đôi khi quyết định trải nghiệm sử dụng không kém gì cấu hình GPU. GGUF được thiết kế để triển khai gọn trong một file duy nhất, hỗ trợ nạp bằng cơ chế mmap và tự chứa đầy đủ thông tin cần thiết để load model, kể cả tokenizer đi kèm. Nhờ vậy, việc quản lý các model chạy local trở nên đơn giản hơn nhiều, nhất là với những ai thường xuyên đổi qua lại giữa các mức lượng tử hóa khác nhau để tìm điểm cân bằng phù hợp.

GGUF hiện hỗ trợ nhiều họ lượng tử hóa: nhóm legacy, nhóm K-series, nhóm IQ, cùng các định dạng BF16, MXFP4, TQ1_0 và TQ2_0. Người dùng vì vậy có rất nhiều lựa chọn để đánh đổi giữa dung lượng file và độ chính xác của model, nhưng không nên chỉ nhìn tên file mà suy đoán chất lượng đầu ra. Cách chính xác nhất vẫn là thử nghiệm trực tiếp trên đúng workload định sử dụng.

Bên cạnh GGUF, AWQ là một hướng lượng tử hóa trọng số có nhận biết activation, hỗ trợ định dạng INT3 và INT4 trong khi vẫn giữ activation ở mức 16-bit. Theo công bố từ chính nhóm phát triển phương pháp này, tốc độ xử lý có thể nhanh hơn FP16 khoảng 2,7 lần trên GPU RTX 4090 và khoảng 2,9 lần trên nền tảng Jetson Orin khi thử nghiệm với model LLaMA-3-8B; công trình từng đạt giải Best Paper tại hội nghị MLSys 2024. Cần lưu ý đây là số liệu theo điều kiện thử nghiệm riêng của nhóm tác giả, không phải kết quả so sánh trực tiếp với mọi file GGUF trên mọi cấu hình phần cứng.

API local, nền tảng để dựng RAG, agent và công cụ nội bộ

Ollama cung cấp sẵn REST API chạy ngay trên máy, mặc định tại địa chỉ localhost:11434, với các nhóm chức năng chính gồm sinh nội dung, trò chuyện và tạo embedding. Đây chính là bề mặt tích hợp quan trọng nếu bạn đang xây ứng dụng nội bộ, giúp tách biệt phần giao diện người dùng khỏi phần model chạy phía sau.

Endpoint chat hỗ trợ tool calling thông qua tham số chứa định nghĩa các hàm mà model có thể gọi. Model sinh ra lệnh gọi công cụ theo cấu trúc nhất định, kết quả trả về sau đó được đưa ngược lại vào lịch sử hội thoại để tiếp tục xử lý. Đây là nền tảng cho các trợ lý nội bộ biết cách gọi công cụ, truy xuất dữ liệu đã được cấp quyền, hoặc thực hiện một bước xử lý cụ thể trong quy trình có kiểm soát.

Endpoint embedding cho phép tạo vector embedding từ một hoặc nhiều đoạn văn bản, đảm nhiệm phần truy hồi dữ liệu trong một hệ thống RAG chạy hoàn toàn cục bộ. Ai đang hướng tới xây dựng công cụ hỏi đáp trên kho tài liệu riêng của doanh nghiệp nên kiểm tra endpoint này song song với model chat chính, vì chất lượng truy hồi ảnh hưởng trực tiếp đến chất lượng câu trả lời cuối cùng.

Về framework, LangChain vẫn là lựa chọn phổ biến để xây agent và ứng dụng dựa trên LLM, cấp phép theo MIT, cung cấp giao diện chuẩn cho model, embedding, vector store cùng retriever, đi kèm LangGraph để dựng các luồng agent có kiểm soát. Với nhu cầu dựng coding agent, Continue được phát hành dưới nhiều hình thức: công cụ dòng lệnh, extension cho VS Code và plugin cho JetBrains. Tuy nhiên, repository chính của dự án hiện ở trạng thái chỉ đọc và không còn được bảo trì tích cực như trước, nên cần cân nhắc kỹ nếu định chọn công cụ này làm nền tảng lâu dài.

Danh sách các việc cần kiểm tra trước khi nâng cấp hệ thống AI local

Trước khi quyết định cập nhật runtime hay đổi model đang chạy, nên rà lại các đầu việc sau:

• Xác định rõ mục tiêu sử dụng: hệ thống phục vụ chat thông thường, coding agent, RAG, tool calling hay sinh audio.
• Ghi lại baseline đầy đủ: thông tin runtime, model, mức lượng tử hóa, các tham số sinh văn bản và quy trình đang chạy ổn định.
• Đọc kỹ ghi chú phát hành: đặc biệt các thay đổi về GPU mới được hỗ trợ, backend ROCm, CUDA, MLX, hoặc các tham số mặc định như repeat_penalty.
• Benchmark đúng phần cần đo: tách riêng prompt processing, text generation và time to first token nếu có công cụ phù hợp.
• Kiểm tra lại kết nối API: xác nhận ứng dụng đang gọi đúng model, đúng endpoint chat, generate hoặc embedding.
• Không suy đoán khả năng đáp ứng của phần cứng chỉ qua số tham số: số lượng tham số của model không đủ để kết luận máy có chạy tốt hay không, cần kiểm thử bằng đúng file và cấu hình thực tế.

AI local giờ cần được quản trị như một hệ thống phần mềm thực thụ

Loạt cập nhật trong tháng 8/2026 cho thấy rõ một điều: chạy AI local không còn đơn giản là tải một model về rồi chạy thử cho biết. Runtime thay đổi với tốc độ nhanh, phạm vi hỗ trợ GPU liên tục mở rộng, model mới xuất hiện đều đặn, các tham số sinh văn bản mặc định có thể đổi bất cứ lúc nào, còn API local ngày càng đủ trưởng thành để làm nền cho các hệ thống RAG và agent nghiêm túc.

Cách tiếp cận bền vững nhất cho ai đang tự vận hành hệ thống AI local là quản trị nó như một stack phần mềm đúng nghĩa: có kiểm soát phiên bản, có baseline rõ ràng, có benchmark định kỳ và có quy trình rollback khi cần. Làm được như vậy, mỗi lần cập nhật sẽ là cơ hội tăng hiệu năng hoặc mở ra use case mới, thay vì một canh bạc may rủi với model và phần cứng đang sở hữu.

Về phần cấu hình phần cứng, nếu bạn đang cân nhắc nâng cấp GPU, RAM hoặc xây mới một hệ thống PC AI để đáp ứng các model ngày càng lớn, đội ngũ kỹ thuật Nguyễn Thuận Computer luôn sẵn sàng tư vấn cấu hình phù hợp với đúng nhu cầu sử dụng thực tế, từ chạy model quy mô vừa trên GPU phổ thông cho đến hệ thống workstation phục vụ suy luận và huấn luyện ở mức cao hơn.

Thông tin liên hệ:

• Chi Nhánh HCM: 201 Bông Sao , Phường Bình Đông , TP.HCM (Phường 5, Quận 8 cũ)
• Chi Nhánh Vũng Tàu: 197 Đường 30/4, Phường Rạch Dừa, TP.HCM (TP. Vũng Tàu cũ)
• Website: www.thuancomputer.com
• Hotline: 0937.801.009
• E-mail: cskh@nguyenthuancomputer.vn