Genkit 下一个.js 插件
见 正式文件 为了更多.
用编码代理? 先安装基因组JS技能.
npx skills add genkit-ai/skills --skill developing-genkit-js它教你的代理人 现任Genkit JS APIs 和普通的gitchas. 其他语言的来源、人工安装和技能: 技能/技能。 。 。 .
这个插件为通过 Next.js app routs 使 Genkit 的流量和动作通过 REST API 进行凸起提供效用 .
// /genkit/simpleFlow.ts
const simpleFlow = ai.defineFlow(
'simpleFlow',
async (input, streamingCallback) => {
const { text } = await ai.generate({
model: googleAI.model('gemini-flash-latest'),
prompt: input,
streamingCallback: (chunk) => streamingCallback(chunk.text),
});
return text;
}
);
// /app/api/simpleFlow/route.ts
import { simpleFlow } from '@/genkit/simpleFlow';
import { appRoute } from '@genkit-ai/next';
export const POST = appRoute(simpleFlow);
持久流(Beta)
您可以配置流量以使用 StreamManager 坚持他们的状态。 这使得客户端可以断开并重新连接到一个流而不会失去状态.
为了能够持久地流出,提供 streamManager 输入 appRoute 选项。 这个 InMemoryStreamManager 用于开发和测试:
// /app/api/myDurableFlow/route.ts
import { myFlow } from '@/genkit/myFlow';
import { appRoute } from '@genkit-ai/next';
import { InMemoryStreamManager } from 'genkit/beta';
export const POST = appRoute(myFlow, {
streamManager: new InMemoryStreamManager(),
});
对于生产环境,你应该使用耐用 StreamManager 执行,例如: FirestoreStreamManager 或者说 RtdbStreamManager 从 @genkit-ai/firebase 插件,或自定义执行 .
然后客户端可以使用 streamId数字 :
// Start a new stream
const result = streamFlow({
url: `/api/myDurableFlow`,
input: 'tell me a long story',
});
const streamId = await result.streamId; // Save this ID
// ... later, reconnect if needed ...
const reconnectedResult = streamFlow({
url: `/api/myDurableFlow`,
streamId: streamId,
});
API 可以用通用调用 genkit/beta/client 库,或 @genkit-ai/next/client
import { runFlow, streamFlow } from '@genkit-ai/next/client';
import { simpleFlow } from '@/genkit/simpleFlow';
const result = await runFlow<typeof simpleFlow>({
url: '/api/simpleFlow',
input: 'say hello',
});
console.log(result); // hello
// set auth headers (when using auth policies)
const result = await runFlow<typeof simpleFlow>({
url: `/api/simpleFlow`,
headers: {
Authorization: 'open sesame',
},
input: 'say hello',
});
console.log(result); // hello
// and streamed
const { stream, output } = streamFlow<typeof simpleFlow>({
url: '/api/simpleFlow',
input: 'say hello',
});
for await (const chunk of stream) {
console.log(chunk.output);
}
console.log(await output); // output is a promise, must be awaited
初始化数据
如果您的流量或动作接受初始化数据(通过 initSchema你可以通过它使用 init 选项:
const result = await runFlow<typeof myFlow>({
url: '/api/myFlow',
input: 'say hello',
init: { sessionId: 'abc123', config: { temperature: 0.7 } },
});
// Also works with streaming
const { stream, output } = streamFlow<typeof myFlow>({
url: '/api/myFlow',
input: 'say hello',
init: { sessionId: 'abc123' },
});
for await (const chunk of stream) {
console.log(chunk.output);
}
console.log(await output);
这个 init 数据与请求中的数据同时发送 data 并被验证 行动 initSchema 在服务器侧。 如果 init 数据不符合 initSchema时,请求失败 400 INVALID_ARGUMENT 流量运行前出错 .
此套件的来源主要为 精灵 复发. 请提交问题 和拉请求反对的回波.
使用信息和参考详情见 genkit 正式文件。 。 。 .
许可证: Apache 2.0