Genkit快递插件
此插件为通过Express HTTP 服务器以 REST API 来对接地曝光 Genkit 流量和动作提供公用设备.
用编码代理? 先安装基因组JS技能.
npx skills add genkit-ai/skills --skill developing-genkit-js它教你的代理人 现任Genkit JS APIs 和普通的gitchas. 其他语言的来源、人工安装和技能: 技能/技能。 。 。 .
见 正式文件 为了更多.
安装
要使用此插件, 请在您的工程中安装 :
npm i @genkit-ai/express
使用量
import { expressHandler } from '@genkit-ai/express';
import express from 'express';
const simpleFlow = ai.defineFlow('simpleFlow', async (input, { sendChunk }) => {
const { text } = await ai.generate({
model: googleAI.model('gemini-flash-latest'),
prompt: input,
onChunk: (c) => sendChunk(c.text),
});
return text;
});
const app = express();
app.use(express.json());
app.post('/simpleFlow', expressHandler(simpleFlow));
app.listen(8080);
您也可以使用上下文提供者处理认证 :
import { UserFacingError } from 'genkit';
import { ContextProvider, RequestData } from 'genkit/context';
const context: ContextProvider<Context> = (req: RequestData) => {
if (req.headers['authorization'] !== 'open sesame') {
throw new UserFacingError('PERMISSION_DENIED', 'not authorized');
}
return {
auth: {
user: 'Ali Baba',
},
};
};
app.post(
'/simpleFlow',
authMiddleware,
expressHandler(simpleFlow, { context })
);
持久流(Beta)
您可以配置流量以使用 StreamManager 坚持他们的状态。 这使得客户端可以断开并重新连接到一个流而不会失去状态.
为了能够持久地流出,提供 streamManager 输入 expressHandler 选项。 这个 InMemoryStreamManager 用于开发和测试:
import { InMemoryStreamManager } from 'genkit/beta';
// ...
app.post(
'/myDurableFlow',
expressHandler(myFlow, {
streamManager: new InMemoryStreamManager(),
})
);
对于生产环境,你应该使用耐用 StreamManager 执行,例如: FirestoreStreamManager 或者说 RtdbStreamManager 从 @genkit-ai/firebase 插件,或自定义执行 .
然后客户端可以使用 streamId数字 :
// Start a new stream
const result = streamFlow({
url: `http://localhost:8080/myDurableFlow`,
input: 'tell me a long story',
});
const streamId = await result.streamId; // Save this ID
// ... later, reconnect if needed ...
const reconnectedResult = streamFlow({
url: `http://localhost:8080/myDurableFlow`,
streamId: streamId,
});
使用 expressHandler 函数可以使用 genkit/beta/client 库 :
import { runFlow, streamFlow } from 'genkit/beta/client';
const result = await runFlow({
url: `http://localhost:${port}/simpleFlow`,
input: 'say hello',
});
console.log(result); // hello
// set auth headers (when using auth policies)
const result = await runFlow({
url: `http://localhost:${port}/simpleFlow`,
headers: {
Authorization: 'open sesame',
},
input: 'say hello',
});
console.log(result); // hello
// and streamed
const result = streamFlow({
url: `http://localhost:${port}/simpleFlow`,
input: 'say hello',
});
for await (const chunk of result.stream) {
console.log(chunk);
}
console.log(await result.output);
初始化数据
如果您的流量或动作接受初始化数据(通过 initSchema你可以通过它使用 init 选项:
const result = await runFlow({
url: `http://localhost:${port}/myFlow`,
input: 'say hello',
init: { sessionId: 'abc123', config: { temperature: 0.7 } },
});
// Also works with streaming
const streamed = streamFlow({
url: `http://localhost:${port}/myFlow`,
input: 'say hello',
init: { sessionId: 'abc123' },
});
for await (const chunk of streamed.stream) {
console.log(chunk);
}
console.log(await streamed.output);
这个 init 数据与请求中的数据同时发送 data 并被验证 行动 initSchema 在服务器侧。 如果 init 数据不符合 initSchema时,请求失败 400 INVALID_ARGUMENT 流量运行前出错 .
您还可以使用 startFlowServer 迅速揭露多种流动和行动:
import { startFlowServer } from '@genkit-ai/express';
import { genkit } from 'genkit';
const ai = genkit({});
export const menuSuggestionFlow = ai.defineFlow(
{
name: 'menuSuggestionFlow',
},
async (restaurantTheme) => {
// ...
}
);
startFlowServer({
flows: [menuSuggestionFlow],
});
您也可以配置服务器 :
startFlowServer({
flows: [menuSuggestionFlow],
port: 4567,
cors: {
origin: '*',
},
});
捐款
此套件的来源主要为 精灵 复发. 请提交问题 和拉请求反对的回波.
使用信息和参考详情见 genkit 正式文件。 。 。 .
许可证
凭"Apache 2.0许可证"获得许可.