HostingViet | Công ty Cổ phần Công nghệ số Thiên Quang

Cấu hình VPS chạy LLM: Cách chọn CPU, RAM, GPU từ 3B đến 70B

Kiến thức Máy chủ | 2026-11-16 19:12:57+07

Bảng gợi ý cấu hình VPS chạy LLM theo quy mô mô hình

Yếu tố quan trọng nhất khi lựa chọn cấu hình VPS chạy LLM là dung lượng bộ nhớ cần thiết để nạp trọng số mô hình và xử lý dữ liệu trong quá trình suy luận (Inference). Đối với VPS thông thường, tài nguyên này chủ yếu là RAM hệ thống. Với VPS GPU, dung lượng VRAM của card đồ họa sẽ quyết định khả năng đưa toàn bộ hoặc một phần mô hình lên GPU để tăng tốc xử lý.

Số lượng tham số của LLM thường được biểu thị bằng đơn vị B (Billion), tương đương một tỷ tham số. Khi sử dụng cùng mức lượng tử hóa, mô hình càng nhiều tham số thì nhu cầu bộ nhớ dành cho trọng số càng lớn. Dưới đây là bảng cấu hình HostingViet đề xuất cho các mô hình sử dụng lượng tử hóa 4-bit, phục vụ nhu cầu suy luận AI thay vì huấn luyện mô hình từ đầu.

Quy mô LLM (Q4) Mô hình tiêu biểu GPU và VRAM khuyến nghị CPU và RAM SSD NVMe Ứng dụng phù hợp
Nhỏ (3B – 9B) Llama 3.2 3B, Qwen2.5 7B, Llama 3.1 8B, Gemma 2 9B Không bắt buộc GPU. Có thể chọn RTX 3060 12GB, RTX 4060 8GB hoặc RTX 4060 Ti 16GB. 4–8 vCPU
16GB RAM
50–80GB Chatbot nội bộ, tóm tắt văn bản, phân loại dữ liệu, AI Agent nhẹ và thử nghiệm Ollama.
Trung bình (14B – 32B) Qwen2.5 14B/32B, DeepSeek-R1-Distill 32B, Gemma 2 27B 16GB VRAM cho 14B; 24–48GB VRAM cho 27B–32B. Tham khảo NVIDIA T4, RTX 3090, RTX 4090, L40S. 8–16 vCPU
32–64GB RAM
150–200GB Chatbot doanh nghiệp, trợ lý lập trình, RAG, phân tích tài liệu và tác vụ suy luận phức tạp.
Lớn (70B – 72B) Llama 3.3 70B, Qwen2.5 72B 48GB VRAM có thể phù hợp với một số bản Q4 và ngữ cảnh ngắn. Ưu tiên 80GB VRAM hoặc hệ thống đa GPU phù hợp. 16 vCPU trở lên
64–128GB RAM
Từ 300GB Hệ thống AI chuyên dụng, xử lý tài liệu phức tạp, trợ lý doanh nghiệp và API LLM quy mô lớn.

Lưu ý: Các thông số trên là cấu hình tham khảo để lập kế hoạch triển khai, không phải mức tài nguyên tối thiểu cố định cho mọi mô hình. Tốc độ sinh token, thời gian phản hồi và khả năng phục vụ đồng thời cần được kiểm thử trên phần cứng thực tế. Các GPU được liệt kê không đồng nghĩa với danh mục phần cứng có sẵn tại HostingViet.

Nếu chỉ mới tiếp cận AI tự lưu trữ (Self-hosted AI), HostingViet khuyến nghị bắt đầu từ mô hình 3B hoặc 7B lượng tử hóa 4-bit. Đây là lựa chọn giúp bạn kiểm tra chất lượng phản hồi, khả năng tích hợp ứng dụng và mức tiêu thụ tài nguyên trước khi đầu tư vào hệ thống GPU có chi phí cao hơn.

Công thức tính cấu hình VPS chạy LLM phù hợp

Để tránh thuê VPS thiếu tài nguyên hoặc đầu tư vượt quá nhu cầu, bạn cần xác định chính xác mô hình muốn triển khai, định dạng trọng số, độ dài ngữ cảnh và số lượng yêu cầu xử lý đồng thời. Trong đó, bộ nhớ, ổ cứng và khả năng tương thích của môi trường phần mềm là những yếu tố cần được tính toán ngay từ đầu.

Cách tính dung lượng RAM và VRAM khi chạy LLM

Quantization (lượng tử hóa) là kỹ thuật giảm độ chính xác biểu diễn trọng số của mô hình nhằm tiết kiệm dung lượng lưu trữ và bộ nhớ khi vận hành. Thay vì sử dụng 16-bit cho mỗi tham số như FP16 hoặc BF16, các mô hình lượng tử hóa 4-bit có thể giảm đáng kể lượng bộ nhớ cần thiết. Các định dạng như GGUF Q4_K_M thường được sử dụng khi triển khai LLM với Ollama hoặc llama.cpp.

Để ước tính nhanh dung lượng bộ nhớ dành cho trọng số LLM lượng tử hóa 4-bit, bạn có thể sử dụng công thức:

Bộ nhớ trọng số (GB) ≈ Số tỷ tham số (B) × 0,5–0,7GB

Đây là khoảng ước tính thực tế bao gồm phần dung lượng bổ sung của một số phương pháp lượng tử hóa, không phải tỷ lệ cố định cho mọi định dạng. Ngoài trọng số, hệ thống còn cần bộ nhớ dành cho KV Cache, runtime, bộ đệm tính toán và những tiến trình khác. Với mô hình nhỏ, ngữ cảnh ngắn và ít yêu cầu đồng thời, bạn có thể dự trù thêm khoảng 2–4GB bộ nhớ ban đầu rồi điều chỉnh sau khi kiểm thử.

Kích thước mô hình Bộ nhớ trọng số Q4 ước tính Bộ nhớ trọng số FP16/BF16 ước tính RAM khi thử nghiệm trên CPU
3B 1,5–2,1GB 6GB 8GB trở lên
7B 3,5–4,9GB 14GB 16GB
8B 4–5,6GB 16GB 16GB
14B 7–9,8GB 28GB 24–32GB
32B 16–22,4GB 64GB 32–64GB
70B 35–49GB 140GB 64–128GB

Ví dụ, Qwen2.5 7B có phiên bản dung lượng khoảng 4,7GB, Qwen2.5 32B Q4_K_M khoảng 20GB, còn Llama 3.3 70B Q4_K_M khoảng 43GB. Những con số này giúp bạn hình dung mức bộ nhớ cần thiết trước khi thuê máy chủ. Tuy nhiên, dung lượng tệp mô hình không đại diện cho toàn bộ lượng RAM hoặc VRAM mà ứng dụng sẽ sử dụng khi hoạt động.

Đặc biệt, Context Window (cửa sổ ngữ cảnh) càng lớn thì bộ nhớ dành cho KV Cache có thể càng tăng. Khi nhiều người dùng gửi yêu cầu đồng thời, nhu cầu bộ nhớ cũng thay đổi. Vì vậy, nếu GPU chỉ vừa đủ chứa trọng số mô hình, hệ thống vẫn có thể gặp tình trạng thiếu bộ nhớ (Out of Memory) trong quá trình suy luận. Với VPS CPU, cần tính thêm RAM dành cho hệ điều hành; với VPS GPU, phải dự phòng VRAM cho hoạt động tính toán của mô hình.

Ưu tiên ổ cứng SSD NVMe để tăng tốc tải mô hình

Ổ cứng là thành phần lưu trữ hệ điều hành, trọng số LLM, thư viện AI, dữ liệu ứng dụng và các tệp cấu hình. Khi khởi động Ollama hoặc những công cụ suy luận tương tự, mô hình cần được đọc từ thiết bị lưu trữ và đưa vào bộ nhớ để xử lý. Với các mô hình có dung lượng hàng chục GB, tốc độ đọc dữ liệu ảnh hưởng trực tiếp đến thời gian nạp mô hình, đặc biệt khi xảy ra Cold Start.

HostingViet khuyến nghị sử dụng VPS NVMe thay cho máy chủ sử dụng HDD truyền thống. SSD NVMe có lợi thế về tốc độ đọc ghi và độ trễ truy xuất dữ liệu, giúp giảm thời gian tải trọng số, cài đặt môi trường và truy xuất dữ liệu. Tuy nhiên, NVMe không thể thay thế RAM hoặc VRAM và không trực tiếp quyết định tốc độ sinh token khi toàn bộ mô hình đã nằm trong bộ nhớ.

Dung lượng SSD NVMe có thể được dự trù theo các mức sau:

Trong quá trình sử dụng, bạn nên kiểm tra dung lượng còn trống bằng lệnh df -h, đồng thời xóa những phiên bản mô hình không còn cần thiết. Nếu sử dụng Docker, cần đưa thư mục lưu model vào volume phù hợp để tránh phải tải lại toàn bộ trọng số mỗi khi thay đổi container.

Lựa chọn hệ điều hành và công cụ triển khai LLM

Ubuntu 22.04 LTS và Ubuntu 24.04 LTS là hai lựa chọn phù hợp để triển khai VPS chạy LLM. Các phiên bản này có hệ sinh thái phần mềm Linux phong phú, hỗ trợ nhiều công cụ AI, Docker và các phiên bản NVIDIA Driver, CUDA tương thích. Việc sử dụng Ubuntu Server không có giao diện đồ họa mặc định cũng giúp tiết kiệm tài nguyên dành cho mô hình và những dịch vụ chạy nền.

Khi thuê VPS Ubuntu để chạy AI, bạn có thể lựa chọn công cụ suy luận dựa trên quy mô dự án và nhu cầu tích hợp:

Đối với VPS GPU NVIDIA, cần kiểm tra khả năng nhận diện GPU bằng lệnh nvidia-smi. Nếu triển khai ứng dụng bằng container, cần cấu hình môi trường phù hợp để container truy cập được GPU. Không nên mặc định rằng cứ cài đặt CUDA phiên bản mới nhất là tất cả công cụ AI đều hoạt động ổn định. Phiên bản driver, kiến trúc GPU và framework phải tương thích với nhau.

Nên chọn VPS CPU hay VPS GPU để chạy LLM?

Không phải mọi ứng dụng AI đều cần thuê GPU. Nếu chỉ xây dựng môi trường thử nghiệm, xử lý tác vụ nền hoặc sử dụng mô hình ngôn ngữ nhỏ, VPS CPU có thể đáp ứng nhu cầu với chi phí hợp lý hơn. Ngược lại, khi phát triển chatbot tương tác trực tiếp, triển khai mô hình nhiều tỷ tham số hoặc phục vụ nhiều người dùng đồng thời, GPU thường mang lại lợi thế đáng kể về hiệu suất suy luận.

So sánh VPS CPU và VPS GPU chạy mô hình ngôn ngữ lớn

VPS CPU sử dụng bộ xử lý trung tâm cùng RAM hệ thống để thực hiện quá trình suy luận. Với Ollama hoặc llama.cpp, người dùng có thể triển khai các mô hình Q4 mà không cần card đồ họa. HostingViet gợi ý bắt đầu với cấu hình 4–8 vCPU, ưu tiên khoảng 8 vCPU nếu thường xuyên xử lý văn bản, kết hợp 16GB RAM cho các mô hình 3B–8B có tải thấp.

Trong khi đó, VPS GPU được cấp thêm tài nguyên xử lý đồ họa chuyên dụng. GPU hỗ trợ tăng tốc các phép tính ma trận xuất hiện trong mô hình Transformer, giúp rút ngắn thời gian suy luận khi phần mềm và phần cứng tương thích. Khi trọng số mô hình, KV Cache và bộ đệm tính toán có thể nằm trọn trong VRAM, hệ thống cũng hạn chế được nhu cầu truyền dữ liệu qua lại giữa GPU và RAM.

Tiêu chí VPS CPU VPS GPU
Bộ nhớ chính chứa mô hình RAM hệ thống VRAM, có thể kết hợp RAM
Quy mô LLM phù hợp Ưu tiên 3B–8B cho tải nhẹ Từ mô hình nhỏ đến 70B hoặc lớn hơn tùy GPU
Tốc độ suy luận Phụ thuộc CPU và băng thông RAM, thường chậm hơn GPU phù hợp Có khả năng tăng tốc suy luận đáng kể
Khả năng phục vụ đồng thời Hạn chế hơn đối với tác vụ LLM nặng Thuận lợi hơn khi được tối ưu đúng cách
Chi phí thuê Thường thấp hơn Phát sinh chi phí GPU
Ứng dụng phù hợp Dev/Test, n8n, xử lý tác vụ nền, chatbot ít người dùng Chatbot khách hàng, RAG, AI API và hệ thống AI production

Ví dụ, nếu doanh nghiệp sử dụng Qwen2.5 7B để phân loại email hoặc tóm tắt nội dung theo lịch tự động, VPS CPU là phương án đáng cân nhắc. Tuy nhiên, nếu sử dụng DeepSeek-R1-Distill 32B để xây dựng trợ lý AI cần phản hồi nhanh, bạn nên ưu tiên GPU có VRAM từ 24GB và kiểm tra khả năng đáp ứng của mô hình với độ dài ngữ cảnh thực tế.

HostingViet không khuyến nghị sử dụng một mức tốc độ token/giây cố định để đánh giá mọi VPS CPU hoặc GPU. Hai máy chủ có cùng số lượng vCPU vẫn có thể cho hiệu suất khác nhau do kiến trúc bộ xử lý, tập lệnh hỗ trợ, băng thông RAM, mức chia sẻ tài nguyên và cách tối ưu phần mềm.

Cách tối ưu chi phí thuê VPS chạy LLM

Để tối ưu chi phí, bạn nên lựa chọn mô hình có chất lượng đáp ứng đúng công việc thay vì mặc định sử dụng phiên bản nhiều tham số nhất. Một mô hình 7B được lựa chọn và cấu hình tốt có thể phù hợp với nhiều tác vụ như trích xuất thông tin, phân loại nội dung hoặc tóm tắt tài liệu. Việc chuyển sang mô hình 32B hay 70B chỉ thực sự có ý nghĩa khi chất lượng đầu ra được cải thiện đủ để bù đắp chi phí hạ tầng.

Với những hệ thống sử dụng n8n để xây dựng AI Agent, bạn có thể triển khai các workflow trên VPS CPU và sử dụng một máy chủ GPU riêng để xử lý yêu cầu suy luận khi cần thiết. Cách phân tách này giúp tránh việc những thành phần không sử dụng GPU như database, API quản lý và hệ thống tự động hóa chiếm dụng tài nguyên của máy chủ AI chuyên dụng.

Một số phương pháp giúp tối ưu tài nguyên và ngân sách bao gồm:

Nếu chỉ cần GPU trong thời gian ngắn để kiểm thử mô hình, hình thức thuê theo giờ có thể giúp giảm thời gian phải trả phí cho tài nguyên không sử dụng. Ngược lại, hệ thống chatbot chạy liên tục 24/7 nên so sánh tổng chi phí thuê tháng với phương án tính phí theo giờ. Bạn có thể tham khảo thêm cách thuê VPS theo giờ để hiểu rõ phương thức dự toán chi phí hạ tầng ngắn hạn.

Bảo mật VPS khi triển khai Ollama và API LLM

Sau khi lựa chọn được cấu hình VPS chạy Ollama phù hợp, bạn cần thiết lập bảo mật trước khi cho phép ứng dụng truy cập mô hình từ xa. Ollama mặc định sử dụng địa chỉ 127.0.0.1:11434 và API cục bộ không yêu cầu xác thực. Nếu mở trực tiếp cổng 11434 ra Internet mà không bổ sung cơ chế kiểm soát truy cập, người ngoài có thể gửi yêu cầu trái phép và chiếm dụng tài nguyên tính toán của máy chủ.

HostingViet khuyến nghị giữ Ollama ở địa chỉ localhost đối với mô hình triển khai thông thường trên cùng máy chủ. Khi cần kết nối từ bên ngoài, hãy sử dụng Reverse Proxy như Nginx hoặc Caddy kết hợp HTTPS và cơ chế xác thực tại proxy hoặc API Gateway. API Key phải được kiểm tra thực sự tại lớp trung gian, không chỉ đơn giản là gửi thêm một header Authorization đến API Ollama cục bộ.

Các biện pháp bảo mật cần được áp dụng bao gồm:

Bạn có thể sử dụng lệnh ss -lntp để kiểm tra địa chỉ và cổng mà Ollama đang lắng nghe. Nếu đã cài đặt Ollama dưới dạng dịch vụ systemd, cần kiểm tra biến môi trường OLLAMA_HOST và đảm bảo dịch vụ chỉ được truy cập thông qua kiến trúc mạng đã thiết lập. Với môi trường Docker, cần kiểm tra thêm cấu hình publish port và mạng nội bộ giữa các container.

Thuê VPS chạy LLM tại HostingViet nên chọn gói nào?

HostingViet là thương hiệu cung cấp các giải pháp hạ tầng công nghệ thông tin, bao gồm Cloud VPS, VPS SSD, VPS NVMe, máy chủ vật lý riêng, Hosting và những dịch vụ liên quan. Với nhu cầu triển khai AI tự lưu trữ, HostingViet cung cấp nhiều lựa chọn tài nguyên CPU, RAM và lưu trữ NVMe, đồng thời tiếp nhận yêu cầu tư vấn cấu hình GPU chuyên biệt cho từng dự án.

Việc lựa chọn dịch vụ nên dựa trên mục tiêu vận hành thực tế. Nếu bạn chỉ cần chạy Ollama, n8n và LLM nhỏ để học tập hoặc thử nghiệm, có thể lựa chọn VPS CPU. Đối với dự án yêu cầu GPU có dung lượng VRAM lớn, cần trao đổi cấu hình chuyên dụng trước khi đăng ký dịch vụ.

Gợi ý các gói VPS HostingViet phù hợp để triển khai LLM

Dòng Cloud VPS SSD chuyên nghiệp tại HostingViet sử dụng nền tảng ảo hóa KVM, Cloud OpenStack và hệ thống lưu trữ NVMe. Các gói dịch vụ có dung lượng RAM từ 16GB đến 64GB, phù hợp để cân nhắc triển khai mô hình LLM lượng tử hóa trên CPU, xây dựng môi trường phát triển AI hoặc vận hành backend của hệ thống AI.

Gói dịch vụ vCPU RAM NVMe Giá tham khảo/tháng khi thanh toán 1 năm Nhu cầu đề xuất
Cloud VPS SSD Chuyên nghiệp 1 5 vCPU 16GB 120GB 1.166.000đ Thử nghiệm Ollama, LLM 3B–8B Q4, AI Agent tải nhẹ.
Cloud VPS SSD Chuyên nghiệp 2 6 vCPU 24GB 180GB 1.699.000đ LLM nhỏ, thử nghiệm mô hình 14B Q4 với tải thấp.
Cloud VPS SSD Chuyên nghiệp 3 12 vCPU 64GB 250GB 3.699.000đ Thử nghiệm LLM 14B–32B Q4 trên CPU, RAG và hệ thống backend AI.
Cloud VPS NVMe Cao cấp 1 24 vCPU 128GB 350GB 7.000.000đ Hệ thống nhiều dịch vụ, thử nghiệm mô hình lớn trên CPU khi không yêu cầu độ trễ thấp.
Cloud GPU/VPS GPU chuyên biệt Theo yêu cầu Theo yêu cầu Theo yêu cầu Liên hệ báo giá Chatbot production, LLM cần tăng tốc GPU và hệ thống nhiều người dùng.

Lưu ý: Giá trên là mức tham khảo theo chu kỳ thanh toán một năm. Các gói Cloud VPS SSD và VPS NVMe tiêu chuẩn không mặc định được trang bị GPU. Giá thuê, khả năng nâng cấp và tình trạng GPU chuyên dụng cần được xác nhận tại thời điểm đăng ký.

Đối với doanh nghiệp cần triển khai LLM 32B hoặc 70B với yêu cầu phản hồi nhanh, HostingViet khuyến nghị tham khảo giải pháp thuê server chạy AI. Khi mô hình cần nhiều GPU, tài nguyên phần cứng độc lập hoặc vận hành với cường độ cao trong thời gian dài, dịch vụ thuê máy chủ vật lý riêng cũng là phương án đáng cân nhắc sau khi xác nhận khả năng bổ sung GPU tương thích.

Hạ tầng VPS HostingViet hỗ trợ nhiều hệ điều hành, quyền quản trị máy chủ, lưu trữ NVMe và khả năng nâng cấp tài nguyên theo chính sách của từng gói. Đội ngũ kỹ thuật hỗ trợ 24/7 giúp khách hàng xử lý những vấn đề liên quan đến hạ tầng trong phạm vi dịch vụ.

Hướng dẫn đăng ký thuê VPS chạy LLM tại HostingViet

Trước khi đăng ký thuê VPS, bạn nên xác định tên mô hình, số lượng tham số, mức lượng tử hóa, công cụ suy luận và số người dùng dự kiến. Những thông tin này giúp lựa chọn đúng dung lượng RAM, VRAM và cấu hình CPU, hạn chế việc phải thay đổi máy chủ ngay sau khi triển khai.

Quy trình đăng ký thuê VPS CPU chạy LLM tại HostingViet gồm các bước sau:

  1. Bước 1: Truy cập website HostingViet.vn, tham khảo nhóm dịch vụ Cloud & Server.
  2. Bước 2: Lựa chọn VPS có CPU, RAM và dung lượng NVMe phù hợp với mô hình AI dự kiến sử dụng.
  3. Bước 3: Truy cập hệ thống đăng ký VPS HostingViet, chọn gói dịch vụ và đăng nhập hoặc đăng ký tài khoản.
  4. Bước 4: Lựa chọn hệ điều hành, chu kỳ thanh toán và tài nguyên bổ sung nếu cần.
  5. Bước 5: Kiểm tra thông tin đơn hàng, hoàn tất thanh toán và nhận thông tin quản trị sau khi VPS được kích hoạt.
  6. Bước 6: Kết nối máy chủ qua SSH, thiết lập bảo mật, cài đặt công cụ suy luận và chạy thử mô hình.

Riêng đối với dự án cần GPU chuyên dụng, khách hàng nên truy cập trang liên hệ HostingViet hoặc gọi hotline 024.2222.2223 để trao đổi về VRAM, loại GPU, khả năng tương thích phần mềm và báo giá. Việc xác nhận cấu hình GPU trước khi thanh toán đặc biệt quan trọng đối với những hệ thống sử dụng nhiều card đồ họa hoặc mô hình có kích thước lớn.

Sau khi nhận máy chủ, hãy chạy thử một tập yêu cầu đại diện cho nhu cầu thực tế. Cần theo dõi thời gian tải mô hình, thời gian xuất token đầu tiên (TTFT), tốc độ sinh token, dung lượng bộ nhớ sử dụng và khả năng xử lý đồng thời. Kết quả kiểm thử sẽ là cơ sở để quyết định giữ nguyên cấu hình, tối ưu mô hình hoặc nâng cấp tài nguyên.

Kết luận

Lựa chọn đúng cấu hình VPS chạy LLM giúp tối ưu hiệu suất suy luận và kiểm soát ngân sách triển khai AI. Với mô hình nhỏ, VPS CPU sử dụng 16GB RAM và SSD NVMe là phương án đáng cân nhắc. Những mô hình lớn cần GPU có VRAM phù hợp với trọng số và ngữ cảnh. HostingViet khuyến nghị xác định nhu cầu thực tế, kiểm thử hiệu năng và lựa chọn hạ tầng trước khi vận hành.

Xem thêm các bài viết cùng chủ đề:


Bài viết khác