弹性的 OpenTelemet 仪器 openai
这个模块, @elastic/opentelemetry-instrumentation-openai自动
文书 openai,打开AI
Node.js客户端库.
它试图追踪 GenAI 语义公约。 。 。 .
状态
装有仪器的 OpenAI API 端点 :
支持的版本
- 这个工具是:
openai区域中的软件包 :>=4.19.0 <5。 。 。 . - 这支持了Node.js 18及后. ()
openai@4目前仅使用Node.js v18进行测试.)
语义公约
该仪器目前执行GenAI 1.29.0版本 语义公约: https://oponteleometry.io/docs/specs/semconv/gen-ai/ (中文(简体) )
安装
npm install @elastic/opentelemetry-instrumentation-openai
使用量
首先安装示例中使用的软件包 :
npm install openai \
@opentelemetry/sdk-node \
@elastic/opentelemetry-instrumentation-openai
保存到一个文件,说"例.js". (此示例显示 OTel 设置代码)
和应用程序代码在同一文件。 一般情况下, OTel 设置代码是:
单独文件并通过 node -r ...。见 更完整的 OTel 设置
示例. ) (中文(简体) )
const {NodeSDK} = require('@opentelemetry/sdk-node');
const {OpenAIInstrumentation} = require('@elastic/opentelemetry-instrumentation-openai');
const sdk = new NodeSDK({
instrumentations: [
new OpenAIInstrumentation({
// See the "Configuration" section below.
captureMessageContent: true,
})
]
})
sdk.start();
process.once('beforeExit', async () => { await sdk.shutdown() });
const OpenAI = require('openai');
async function main() {
const openai = new OpenAI();
const result = await openai.chat.completions.create({
model: 'gpt-4o-mini',
messages: [
{role: 'user', content: 'Say hello world.'}
]
});
console.log(result.choices[0]?.message?.content);
}
main();
然后运行它:
OPENAI_API_KEY=sk-... \
node example.js
默认情况下 NodeSDK 将通过OTLP导出遥测。 举个例子
可以看到控制台上的遥测:
OTEL_TRACES_EXPORTER=console \
OTEL_LOGS_EXPORTER=console \
OTEL_METRICS_EXPORTER=console \
OPENAI_API_KEY=sk-... \
node example.js
实例
在"实例/"目录中, 用户聊天 很简单 脚本使用 OpenAI Chat 补全 API. 首先运行脚本 无 仪器。 。 。 .
使用 OpenAI :
OPENAI_API_KEY=sk-... \
node use-chat.js
使用 Azure OpenAI( 这假设您的 Azure OpenAI 端点有一个模型) 使用“ gpt-4o- mini” 名称的部署 :
AZURE_OPENAI_ENDPOINT=https://YOUR-ENDPOINT-NAME.openai.azure.com \
AZURE_OPENAI_API_KEY=... \
OPENAI_API_VERSION=2024-10-01-preview \
node use-chat.js
使用 奥拉玛 本地操作 LLMS 的工具,它暴露 一个 OpenAI 兼容的 API :
ollama serve
# When using Ollama, we default to qwen2.5:0.5b, which is a small model. You
# can choose a larger one, or a different tool capable model like mistral-nemo.
export CHAT_MODEL=qwen2.5
ollama pull $CHAT_MODEL
OPENAI_BASE_URL=http://localhost:11434/v1 \
node use-chat.js
现在,跑 有仪器,您可以使用 实例/遥测.js
使用此仪器将 OpenTeleometry SDK 绑起 。 添加节点.js
-r ./telemetry.js 选择脚本运行前的拖曳。 例如:
# Configure the OTel SDK as appropriate for your setup:
export OTEL_EXPORTER_OTLP_ENDPOINT=https://{your-otlp-endpoint.example.com}
export OTEL_EXPORTER_OTLP_HEADERS="Authorization=..."
export OTEL_SERVICE_NAME=my-service
OPENAI_API_KEY=sk-... \
node -r ./telemetry.js use-chat.js
配置
| 选项 | 类型 | 说明 |
|---|---|---|
captureMessageContent | boolean | 允许获取内容数据, 如快速和完成内容 。 默认 false 避免敏感数据可能暴露. OTEL_INSTRUMENTATION_GENAI_CAPTURE_MESSAGE_CONTENT 环境变量覆盖. |
例如:
cd examples
OTEL_INSTRUMENTATION_GENAI_CAPTURE_MESSAGE_CONTENT=true \
OPENAI_API_KEY=sk-... \
node -r ./telemetry.js use-chat.js
无害环境管理
ECMAScript 模块(ESM)代码的 OpenTeleomet 仪器 -- -- 使用代码
import ... 而不是说 require(...) -是实验性的,而且非常有限.
本节显示,有可能获得以下仪器: openai
使用无害环境管理编码.
npm install
npm run compile
cd examples
node --import ./telemetry.mjs use-chat-esm.mjs
见注解 实例/遥测.mjs 页:1 限制这一点。 限制在于OpenTeleometry JS,而不是这个 仪器.
(TODO:为OTel JS为这一支持开展的必要工作创建并指明一个后续问题。 )