节点-lama-cpp

在您的机器上运行 AI 模型

_{预建的装订品从原地向建筑物提供回落式装订品}

✨ Depseek R1来了! ✨

特征

• 在您的机器上本地运行 LLMS
• 金属、CUDA和Vulkan支持
• 提供预建二进制,从源头返回到建筑 无 node-gyp 或 Python 键
• 自动适应您的硬件,不需要配置任何东西
• 在您的项目中使用 LLMS 所需的全部软件包
• 使用 CLI 与模型聊天而不写入任何代码
• 最新数据 llama.cpp。下载和汇编最新版本,其中包含 单 CLI 命令
• 执行一个模型以解析格式生成输出, 像JSON一样,甚至强迫它 遵循特定的 JSON 方案
• 提供模式,使其具有可按要求调用的职能 以获取信息或执行动作
• 嵌入和重新排序支持
• 安全免受特制注射攻击
• 开发者在全面TypeScript支持方面的更大经验,以及 完整文档
• 远远不止

文档

• 正在获取指南
• API 参考
• CLI 帮助
• 博客
• 更改日志
• 路线图

在不安装的情况下尝试

在终端上使用一个模型聊天 单一命令数字 :

npx -y node-llama-cpp chat

安装

npm install node-llama-cpp

此软件包带有预建的二进制 用于macOS,Linux和Windows.

如果无法为您的平台提供二进制, 下载发布会回落 llama.cpp 从源头构建它 cmake。 。 。 . 要禁用此行为, 请设置环境变量 NODE_LLAMA_CPP_SKIP_DOWNLOAD 改为 true。 。 。 .

使用量

import {fileURLToPath} from "url";
import path from "path";
import {getLlama, LlamaChatSession} from "node-llama-cpp";

const __dirname = path.dirname(fileURLToPath(import.meta.url));

const llama = await getLlama();
const model = await llama.loadModel({
    modelPath: path.join(__dirname, "models", "Meta-Llama-3.1-8B-Instruct.Q4_K_M.gguf")
});
const context = await model.createContext();
const session = new LlamaChatSession({
    contextSequence: context.getSequence()
});


const q1 = "Hi there, how are you?";
console.log("User: " + q1);

const a1 = await session.prompt(q1);
console.log("AI: " + a1);


const q2 = "Summarize what you said";
console.log("User: " + q2);

const a2 = await session.prompt(q2);
console.log("AI: " + a2);

更多例子,见 正在获取指南

捐款

协助: node-llama-cpp 读取 捐款指南。 。 。 .

鸣谢

• 拉玛.cpp: (原始内容存档于2017-09-26). ggml-org/lama.cpp

如果你喜欢这回波,就拍它