当前位置：首页 > news >正文

GLM-4-9B-Chat-1M与Qt集成：桌面端AI应用开发

news 2026/3/26 20:07:58

GLM-4-9B-Chat-1M与Qt集成：桌面端AI应用开发

1. 引言

想象一下，你正在开发一个桌面应用，需要集成强大的AI对话能力，但又不想依赖网络连接。这时候，GLM-4-9B-Chat-1M模型就派上用场了——它支持高达1M的上下文长度，相当于约200万中文字符，而且完全可以在本地运行。

结合Qt框架的跨平台特性，我们可以开发出既美观又智能的桌面应用。无论是文档分析、代码助手还是创意写作，都能在本地环境中流畅运行，保护用户隐私的同时提供强大的AI能力。

今天我就来分享如何在Qt应用中集成这个强大的模型，让你也能快速构建属于自己的AI桌面应用。

2. 环境准备与模型部署

在开始集成之前，我们需要先准备好运行环境。GLM-4-9B-Chat-1M对硬件有一定要求，建议使用至少24GB显存的GPU，比如NVIDIA RTX 4090或者A10。如果是CPU运行，需要足够的内存和耐心——生成速度会慢一些。

模型部署推荐使用vLLM框架，它能高效管理内存并提供稳定的推理服务。先安装必要的依赖：

# 创建Python虚拟环境 python -m venv glm-qt-env source glm-qt-env/bin/activate # 安装核心依赖 pip install vllm transformers torch

部署模型服务也很简单，使用以下命令启动一个本地API服务：

python -m vllm.entrypoints.openai.api_server \ --model THUDM/glm-4-9b-chat-1m \ --trust-remote-code \ --port 8000 \ --max-model-len 8192

这样就在本地8000端口启动了一个兼容OpenAI API的模型服务，我们的Qt应用就可以通过这个接口与模型交互了。

3. Qt应用基础框架搭建

现在来搭建Qt应用的基本框架。我推荐使用Qt 6.x版本，它对现代C++的支持更好。首先创建一个基本的窗口应用：

// main.cpp #include <QApplication> #include <QMainWindow> #include <QTextEdit> #include <QLineEdit> #include <QPushButton> #include <QVBoxLayout> #include <QWidget> class AIChatWindow : public QMainWindow { Q_OBJECT public: AIChatWindow(QWidget *parent = nullptr) : QMainWindow(parent) { setupUI(); setupConnections(); } private: void setupUI() { // 创建中央部件和布局 QWidget *centralWidget = new QWidget(this); QVBoxLayout *layout = new QVBoxLayout(centralWidget); // 聊天显示区域 chatDisplay = new QTextEdit(this); chatDisplay->setReadOnly(true); // 输入区域 inputEdit = new QLineEdit(this); QPushButton *sendButton = new QPushButton("发送", this); // 底部输入布局 QHBoxLayout *inputLayout = new QHBoxLayout(); inputLayout->addWidget(inputEdit); inputLayout->addWidget(sendButton); // 组合布局 layout->addWidget(chatDisplay); layout->addLayout(inputLayout); setCentralWidget(centralWidget); setWindowTitle("GLM-4 Qt聊天应用"); resize(800, 600); } void setupConnections() { connect(sendButton, &QPushButton::clicked, this, &AIChatWindow::onSendMessage); connect(inputEdit, &QLineEdit::returnPressed, this, &AIChatWindow::onSendMessage); } private slots: void onSendMessage() { QString message = inputEdit->text(); if (!message.isEmpty()) { addMessage("用户", message); inputEdit->clear(); // 这里会添加调用AI模型的逻辑 } } void addMessage(const QString &sender, const QString &message) { chatDisplay->append(QString("<b>%1:</b> %2").arg(sender, message)); } private: QTextEdit *chatDisplay; QLineEdit *inputEdit; QPushButton *sendButton; }; int main(int argc, char *argv[]) { QApplication app(argc, argv); AIChatWindow window; window.show(); return app.exec(); }

这个基础框架创建了一个简单的聊天界面，包含消息显示区域、输入框和发送按钮。接下来我们要添加与AI模型交互的核心功能。

4. 模型集成与异步通信

与AI模型交互需要网络请求，为了避免阻塞UI线程，我们使用Qt的异步机制。首先创建一个专门处理网络请求的工作类：

// aimodelworker.h #include <QObject> #include <QNetworkAccessManager> #include <QNetworkReply> #include <QJsonObject> #include <QJsonArray> #include <QJsonDocument> class AIModelWorker : public QObject { Q_OBJECT public: explicit AIModelWorker(QObject *parent = nullptr); public slots: void sendMessage(const QString &message); signals: void responseReceived(const QString &response); void errorOccurred(const QString &error); private slots: void onRequestFinished(QNetworkReply *reply); private: QNetworkAccessManager *networkManager; QUrl apiUrl; };

实现这个工作类：

// aimodelworker.cpp #include "aimodelworker.h" AIModelWorker::AIModelWorker(QObject *parent) : QObject(parent) , networkManager(new QNetworkAccessManager(this)) , apiUrl("http://localhost:8000/v1/chat/completions") { connect(networkManager, &QNetworkAccessManager::finished, this, &AIModelWorker::onRequestFinished); } void AIModelWorker::sendMessage(const QString &message) { QNetworkRequest request(apiUrl); request.setHeader(QNetworkRequest::ContentTypeHeader, "application/json"); // 构建请求数据 QJsonObject messageObj; messageObj["role"] = "user"; messageObj["content"] = message; QJsonArray messagesArray; messagesArray.append(messageObj); QJsonObject requestData; requestData["model"] = "glm-4-9b-chat-1m"; requestData["messages"] = messagesArray; requestData["max_tokens"] = 1024; requestData["temperature"] = 0.7; QJsonDocument doc(requestData); networkManager->post(request, doc.toJson()); } void AIModelWorker::onRequestFinished(QNetworkReply *reply) { if (reply->error() == QNetworkReply::NoError) { QByteArray response = reply->readAll(); QJsonDocument doc = QJsonDocument::fromJson(response); QJsonObject obj = doc.object(); QString aiResponse = obj["choices"].toArray()[0].toObject() ["message"].toObject()["content"].toString(); emit responseReceived(aiResponse); } else { emit errorOccurred(reply->errorString()); } reply->deleteLater(); }

然后在主窗口中集成这个工作类，使用Qt的线程机制来避免UI阻塞：

// 在AIChatWindow类中添加 private: QThread *workerThread; AIModelWorker *modelWorker; // 在构造函数中初始化 AIChatWindow::AIChatWindow(QWidget *parent) : QMainWindow(parent) { // ... 其他初始化代码 // 创建工作线程和worker workerThread = new QThread(this); modelWorker = new AIModelWorker(); modelWorker->moveToThread(workerThread); connect(workerThread, &QThread::finished, modelWorker, &QObject::deleteLater); connect(this, &AIChatWindow::requestSendMessage, modelWorker, &AIModelWorker::sendMessage); connect(modelWorker, &AIModelWorker::responseReceived, this, &AIChatWindow::onAIResponse); connect(modelWorker, &AIModelWorker::errorOccurred, this, &AIChatWindow::onAIError); workerThread->start(); } // 修改发送消息的槽函数 void AIChatWindow::onSendMessage() { QString message = inputEdit->text(); if (!message.isEmpty()) { addMessage("用户", message); inputEdit->clear(); inputEdit->setEnabled(false); emit requestSendMessage(message); } } void AIChatWindow::onAIResponse(const QString &response) { addMessage("AI助手", response); inputEdit->setEnabled(true); inputEdit->setFocus(); } void AIChatWindow::onAIError(const QString &error) { addMessage("系统", "出错啦: " + error); inputEdit->setEnabled(true); inputEdit->setFocus(); }

这样我们就实现了一个完整的异步通信机制，UI不会因为网络请求而卡住。

5. 对话历史与本地缓存

为了提供更好的对话体验，我们需要维护对话历史并实现本地缓存。GLM-4-9B-Chat-1M支持长上下文，但合理管理历史记录还是很重要的。

// 在AIChatWindow类中添加对话历史管理 private: QList<QPair<QString, QString>> chatHistory; const int maxHistoryLength = 20; // 保存最近20轮对话 // 修改消息添加函数 void AIChatWindow::addMessage(const QString &sender, const QString &message) { QString formattedMessage = QString("<b>%1:</b> %2").arg(sender, message); chatDisplay->append(formattedMessage); // 保存到历史记录 if (sender != "系统") { chatHistory.append(qMakePair(sender, message)); if (chatHistory.size() > maxHistoryLength * 2) { chatHistory.removeFirst(); // 移除最旧的记录 } } } // 添加历史记录保存功能 void AIModelWorker::sendMessage(const QString &message) { // 构建包含历史记录的请求 QJsonArray messagesArray; // 添加系统提示 QJsonObject systemMsg; systemMsg["role"] = "system"; systemMsg["content"] = "你是一个有帮助的AI助手"; messagesArray.append(systemMsg); // 添加历史记录（假设chatHistory可访问） for (const auto &[role, content] : chatHistory) { QJsonObject msgObj; msgObj["role"] = role.toLower() == "用户" ? "user" : "assistant"; msgObj["content"] = content; messagesArray.append(msgObj); } // 添加当前消息 QJsonObject currentMsg; currentMsg["role"] = "user"; currentMsg["content"] = message; messagesArray.append(currentMsg); // ... 剩余请求代码 }

对于本地缓存，我们可以使用SQLite来持久化存储对话记录：

// 添加数据库管理类 class ChatDatabase : public QObject { Q_OBJECT public: explicit ChatDatabase(QObject *parent = nullptr); bool initDatabase(); bool saveMessage(const QString &sender, const QString &message, const QDateTime &timestamp); QList<QPair<QString, QString>> loadRecentHistory(int limit = 50); private: QSqlDatabase db; };

这样即使应用重启，用户也能看到之前的对话记录。

6. 界面优化与用户体验

一个好的AI应用不仅要有强大的功能，还要有良好的用户体验。我们来优化一下界面：

// 添加打字指示器 void AIChatWindow::onAIResponse(const QString &response) { // 先显示"正在输入..."提示 QTextCursor cursor = chatDisplay->textCursor(); cursor.movePosition(QTextCursor::End); cursor.insertHtml("<i>AI助手正在思考...</i><br>"); // 使用QTimer模拟逐字显示效果 QTimer *timer = new QTimer(this); int charIndex = 0; connect(timer, &QTimer::timeout, this, [=]() mutable { if (charIndex < response.length()) { // 移除"正在思考..."提示，显示实际内容 if (charIndex == 0) { chatDisplay->moveCursor(QTextCursor::End); chatDisplay->textCursor().deletePreviousChar(); chatDisplay->textCursor().deletePreviousChar(); chatDisplay->append("<b>AI助手:</b> "); } chatDisplay->insertPlainText(response[charIndex]); charIndex++; } else { timer->stop(); timer->deleteLater(); inputEdit->setEnabled(true); inputEdit->setFocus(); // 保存完整响应到历史记录 chatHistory.append(qMakePair("AI助手", response)); } }); timer->start(50); // 每50毫秒显示一个字符 }

还可以添加一些实用功能，比如清空对话、导出聊天记录等：

// 添加快捷键和菜单 void AIChatWindow::setupUI() { // ... 原有代码 // 添加菜单栏 QMenu *fileMenu = menuBar()->addMenu("文件"); QAction *exportAction = fileMenu->addAction("导出聊天记录"); QAction *clearAction = fileMenu->addAction("清空对话"); connect(exportAction, &QAction::triggered, this, &AIChatWindow::onExportChat); connect(clearAction, &QAction::triggered, this, &AIChatWindow::onClearChat); } void AIChatWindow::onExportChat() { QString fileName = QFileDialog::getSaveFileName(this, "导出聊天记录", "", "文本文件 (*.txt)"); if (!fileName.isEmpty()) { QFile file(fileName); if (file.open(QIODevice::WriteOnly | QIODevice::Text)) { QTextStream stream(&file); for (const auto &[sender, message] : chatHistory) { stream << sender << ": " << message << "\n"; } } } } void AIChatWindow::onClearChat() { chatDisplay->clear(); chatHistory.clear(); addMessage("系统", "对话已清空"); }