Instructions to use linhhuonglinux/linhhuonglinux-office-multiple-task with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- llama-cpp-python
How to use linhhuonglinux/linhhuonglinux-office-multiple-task with llama-cpp-python:
# !pip install llama-cpp-python from llama_cpp import Llama llm = Llama.from_pretrained( repo_id="linhhuonglinux/linhhuonglinux-office-multiple-task", filename="Qwen3.5-9B.BF16-mmproj.gguf", )
llm.create_chat_completion( messages = [ { "role": "user", "content": "What is the capital of France?" } ] ) - Notebooks
- Google Colab
- Kaggle
- Local Apps
- llama.cpp
How to use linhhuonglinux/linhhuonglinux-office-multiple-task with llama.cpp:
Install from brew
brew install llama.cpp # Start a local OpenAI-compatible server with a web UI: llama-server -hf linhhuonglinux/linhhuonglinux-office-multiple-task:Q4_K_M # Run inference directly in the terminal: llama-cli -hf linhhuonglinux/linhhuonglinux-office-multiple-task:Q4_K_M
Install from WinGet (Windows)
winget install llama.cpp # Start a local OpenAI-compatible server with a web UI: llama-server -hf linhhuonglinux/linhhuonglinux-office-multiple-task:Q4_K_M # Run inference directly in the terminal: llama-cli -hf linhhuonglinux/linhhuonglinux-office-multiple-task:Q4_K_M
Use pre-built binary
# Download pre-built binary from: # https://github.com/ggerganov/llama.cpp/releases # Start a local OpenAI-compatible server with a web UI: ./llama-server -hf linhhuonglinux/linhhuonglinux-office-multiple-task:Q4_K_M # Run inference directly in the terminal: ./llama-cli -hf linhhuonglinux/linhhuonglinux-office-multiple-task:Q4_K_M
Build from source code
git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp cmake -B build cmake --build build -j --target llama-server llama-cli # Start a local OpenAI-compatible server with a web UI: ./build/bin/llama-server -hf linhhuonglinux/linhhuonglinux-office-multiple-task:Q4_K_M # Run inference directly in the terminal: ./build/bin/llama-cli -hf linhhuonglinux/linhhuonglinux-office-multiple-task:Q4_K_M
Use Docker
docker model run hf.co/linhhuonglinux/linhhuonglinux-office-multiple-task:Q4_K_M
- LM Studio
- Jan
- vLLM
How to use linhhuonglinux/linhhuonglinux-office-multiple-task with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "linhhuonglinux/linhhuonglinux-office-multiple-task" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "linhhuonglinux/linhhuonglinux-office-multiple-task", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker
docker model run hf.co/linhhuonglinux/linhhuonglinux-office-multiple-task:Q4_K_M
- Ollama
How to use linhhuonglinux/linhhuonglinux-office-multiple-task with Ollama:
ollama run hf.co/linhhuonglinux/linhhuonglinux-office-multiple-task:Q4_K_M
- Unsloth Studio new
How to use linhhuonglinux/linhhuonglinux-office-multiple-task with Unsloth Studio:
Install Unsloth Studio (macOS, Linux, WSL)
curl -fsSL https://unsloth.ai/install.sh | sh # Run unsloth studio unsloth studio -H 0.0.0.0 -p 8888 # Then open http://localhost:8888 in your browser # Search for linhhuonglinux/linhhuonglinux-office-multiple-task to start chatting
Install Unsloth Studio (Windows)
irm https://unsloth.ai/install.ps1 | iex # Run unsloth studio unsloth studio -H 0.0.0.0 -p 8888 # Then open http://localhost:8888 in your browser # Search for linhhuonglinux/linhhuonglinux-office-multiple-task to start chatting
Using HuggingFace Spaces for Unsloth
# No setup required # Open https://huggingface.co/spaces/unsloth/studio in your browser # Search for linhhuonglinux/linhhuonglinux-office-multiple-task to start chatting
- Pi new
How to use linhhuonglinux/linhhuonglinux-office-multiple-task with Pi:
Start the llama.cpp server
# Install llama.cpp: brew install llama.cpp # Start a local OpenAI-compatible server: llama-server -hf linhhuonglinux/linhhuonglinux-office-multiple-task:Q4_K_M
Configure the model in Pi
# Install Pi: npm install -g @mariozechner/pi-coding-agent # Add to ~/.pi/agent/models.json: { "providers": { "llama-cpp": { "baseUrl": "http://localhost:8080/v1", "api": "openai-completions", "apiKey": "none", "models": [ { "id": "linhhuonglinux/linhhuonglinux-office-multiple-task:Q4_K_M" } ] } } }Run Pi
# Start Pi in your project directory: pi
- Hermes Agent new
How to use linhhuonglinux/linhhuonglinux-office-multiple-task with Hermes Agent:
Start the llama.cpp server
# Install llama.cpp: brew install llama.cpp # Start a local OpenAI-compatible server: llama-server -hf linhhuonglinux/linhhuonglinux-office-multiple-task:Q4_K_M
Configure Hermes
# Install Hermes: curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash hermes setup # Point Hermes at the local server: hermes config set model.provider custom hermes config set model.base_url http://127.0.0.1:8080/v1 hermes config set model.default linhhuonglinux/linhhuonglinux-office-multiple-task:Q4_K_M
Run Hermes
hermes
- Docker Model Runner
How to use linhhuonglinux/linhhuonglinux-office-multiple-task with Docker Model Runner:
docker model run hf.co/linhhuonglinux/linhhuonglinux-office-multiple-task:Q4_K_M
- Lemonade
How to use linhhuonglinux/linhhuonglinux-office-multiple-task with Lemonade:
Pull the model
# Download Lemonade from https://lemonade-server.ai/ lemonade pull linhhuonglinux/linhhuonglinux-office-multiple-task:Q4_K_M
Run and chat with the model
lemonade run user.linhhuonglinux-office-multiple-task-Q4_K_M
List all available models
lemonade list
🚀 Linh Hương Linux Office: Multi-Task LLM (V3)
Trạng thái: Phiên bản Fine-tuned (Production Ready)
Kiến trúc cốt lõi: LLM tối ưu hóa cho tác vụ Văn phòng, Suy luận và Gọi hàm (Function Calling).
Đây là Mô hình ngôn ngữ lớn (LLM) chính thức thuộc hệ sinh thái Linh Hương Linux AI, được huấn luyện đặc biệt để phục vụ cho các môi trường công sở, hành chính nhà nước và tự động hóa phần mềm chuyên nghiệp tại Việt Nam.
🌟 Sức mạnh của Mô hình
Mô hình này được Fine-tune (SFT) trực tiếp từ bộ dữ liệu tinh khiết Linh Hương Linux Office Dataset V3 với 13 lĩnh vực khổng lồ, mang lại 4 siêu năng lực:
- Giao tiếp "De-AI" (Văn phong con người): Đã được huấn luyện qua kỹ thuật Heuristic Rejection Sampling, loại bỏ hoàn toàn các cụm từ rập khuôn của AI (như "tóm lại", "nhìn chung", "hy vọng rằng"). Văn phong sắc bén, chuẩn mực hành chính.
- Function Calling (Gọi hàm): Khả năng phân tích yêu cầu tiếng Việt tự nhiên và xuất ra chuỗi JSON chính xác để điều khiển các phần mềm Office (Word, Excel, PDF).
- Multi-turn Chat: Ghi nhớ hoàn hảo ngữ cảnh các cuộc hội thoại nhiều lượt, cho phép người dùng liên tục yêu cầu chỉnh sửa, tóm tắt mà không bị mất "mạch" câu chuyện.
- Safety & Alignment: Được trang bị "lớp khiên" đạo đức, biết từ chối khéo léo các yêu cầu độc hại, lừa đảo hoặc vi phạm pháp luật.
🛠️ Hướng dẫn sử dụng & Prompt Format
Mô hình sử dụng định dạng ChatML tiêu chuẩn. Khuyến nghị thiết lập System Prompt để mô hình phát huy tối đa sức mạnh.
1. Tác vụ Hành chính & Văn bản
<|im_start|>system
Bạn là thư ký văn phòng chuyên nghiệp của hệ sinh thái Linh Hương Linux.<|im_end|>
<|im_start|>user
Viết một quyết định bổ nhiệm nhân sự phòng IT.<|im_end|>
<|im_start|>assistant
...
2. Tác vụ Function Calling (Auto-Office)
<|im_start|>system
Bạn là AI điều khiển phần mềm Office. Hãy xuất ra JSON function call.<|im_end|>
<|im_start|>user
Tạo cho tôi một bảng báo cáo doanh thu 3 cột.<|im_end|>
<|im_start|>assistant
```json
{
"tool_calls": [
{"name": "create_table", "arguments": {"columns": 3, "title": "Báo cáo doanh thu"}}
]
}
```<|im_end|>
📊 Thông tin Huấn luyện
- Dataset:
linhhuonglinux/linhhuonglinux-office-dataset-v3 - Tối ưu hóa: LoRA Rank 32, Alpha 64, Target Modules (All-linear).
- Scheduler: Cosine Annealing.
Dự án thuộc mã nguồn mở của cộng đồng Linh Hương Linux.
- Downloads last month
- 720
4-bit
8-bit
16-bit
