Google 用于 Genkit 的云插件
Google Cloud插件为Genkit提供与Google Cloud平台服务的集成.
用编码代理? 先安装基因组JS技能.
npx skills add genkit-ai/skills --skill developing-genkit-js它教你的代理人 现任Genkit JS APIs 和普通的gitchas. 其他语言的来源、人工安装和技能: 技能/技能。 。 。 .
特征
- Google 云可观测性:将遥测(追踪,度量衡)和日志输出到Google Cloud的操作套件.
- 型号装甲:用于用Google Cloud Model Armor对用户进行消毒的中端软件提示和模型响应.
- Firestore 会话存储器 (Beta): Persist 代理会话在Firestore的快照,被硬化并可任意缩放为长会话.
安装
npm install @genkit-ai/google-cloud
Google 云可观测性
该插件允许您将遥测数据导出至Google Cloud. 这对监测你的基因组流动和生产模式很有用.
为了启用它,使用 enableGoogleCloudTelemetry数字 :
import { enableGoogleCloudTelemetry } from '@genkit-ai/google-cloud';
enableGoogleCloudTelemetry({
// Optional configuration
// projectId: 'your-project-id',
// forceDevMode: false, // Set to true to enable export in dev environment
});
这将配置 Genkit , 将 OpenTeleometry 的痕迹和度量衡发送到 Cloud Trace 和 Cloud 监控, 并将日志发送到 Cloud 日志 .
型号装甲
谷歌云型装甲 在使用"大语言模型"(LLMs)时,通过提供一层保护来帮助您减轻风险,这层保护既能消毒用户的提示,又能消毒模型的响应.
使用量
你可以用这个 modelArmor 在您的世代中, 中间软件请求 :
import { modelArmor } from '@genkit-ai/google-cloud/model-armor';
import { googleAI } from '@genkit-ai/google-genai';
import { genkit } from 'genkit';
const ai = genkit({
plugins: [googleAI()],
});
const response = await ai.generate({
model: googleAI.model('gemini-flash-latest'),
prompt: 'your prompt here',
use: [
modelArmor({
templateName: 'projects/your-project/locations/your-location/templates/your-template',
// Optional configuration
filters: ['pi_and_jailbreak', 'malicious_uris'], // Specific filters to enforce
strictSdpEnforcement: true, // Block if sensitive data is found even if masked
protectionTarget: 'all', // 'all', 'userPrompt', or 'modelResponse'
clientOptions: {
apiEndpoint: 'modelarmor.us-central1.rep.googleapis.com',
},
}),
],
});
配置选项
templateName(需要): 您的模型装甲模板的资源名称( 例如, ),projects/.../locations/.../templates/...) (中文(简体) ).filters(可选):需要执行的过滤器列表(例如,rai, (中文(简体) ),pi_and_jailbreak, (中文(简体) ),malicious_uris, (中文(简体) ),csam, (中文(简体) ),sdp) (中文(简体) ). 如果没有指定,模板中启用的所有过滤器都会被执行.strictSdpEnforcement(备选):如果true,如果敏感数据保护(SDP)检测到敏感信息,即使成功解析信息,也会块块执行。 默认为false。 。 。 .protectionTarget(可选):具体如何消毒. 选项 :'all'(违约),'userPrompt', (中文(简体) ),'modelResponse'。 。 。 .clientOptions(可选):基础型号装甲客户端的附加选项.
Firestore 会话存储器 (Beta)
FirestoreSessionStore 是一个火炉支撑 SessionStore 用于持续代理会话快照。 与天真的单一文件店不同,它作为JSON Patch diff的增量站点,一直持续到定期的被压榨的全州检查站,所以:
- 没有任何文档接近 Firestore 1个米B限制 (状态在文档中变硬).
- 每个回合读出/写出的文件数量以下列文件为准:
checkpointInterval而不是总会话长度,因此它缩放为任意长会话(例如长寿的聊天员,编码代理). - 重建仅在只读交易中使用文档-ID查看,因此不需要二次索引,而且非常一致.
如果你运行在火基地
@genkit-ai/firebase软件包用 Firebase 应用程序设置再导出此商店( a)firebaseApp选项)。 见它的读取.
使用量
从这里导入 @genkit-ai/google-cloud/beta 并传递作为 store 当定义代理人时:
import { genkit } from 'genkit/beta';
import { FirestoreSessionStore } from '@genkit-ai/google-cloud/beta';
const ai = genkit({
plugins: [
// ...
],
});
const myAgent = ai.defineAgent({
name: 'myAgent',
system: 'You are a helpful assistant.',
// Defaults to a new Firestore() instance using Application Default
// Credentials; pass `db` to provide your own.
store: new FirestoreSessionStore(),
});
选项
db:一个明显的Firestore实例. 默认为新Firestore()实例(它取出应用程序默认证书和FIRESTORE_EMULATOR_HOST环境变量).collection: 存储快照文档的集合 。 默认为"genkit-sessions"由它衍生出两个伴生集:"<collection>-pointers"(每个会话一个指针文档)和"<collection>-shards"(坚固的检查站状态).checkpointInterval:全州检查站之间的转弯次数. 默认为25. 降低(如:.10) 对于小国,读重会;提高会(例如.50- 说吧100),用于长时间留存的大回转状态.shardSize: 单个硬度/ diff 文档的最大字节大小。 默认为512 KiB。任何超过此限的分数会被提升到一个被压碎的检查站,所以没有文件接近1 MiB 的限值.
参考文献
访问 genkit 正式文件 更多信息.
此套件的来源主要为 精灵 复发. 请提交问题 和拉请求反对的回波.
许可证: Apache 2.0