数据层核心
用于 Datalayer 的 Python 和 Typescript 库
概览
数据层 Core 是赋予 数据层 AI 平台. 它提供了TypeScript和Python软件包作为指令行接口(CLI),供AI工程师,数据科学家和研究人员将可扩展计算运行时间无缝地整合到他们的工作流程中.
这个软件包是许多其他Datalayer软件包使用的基础基础,包含核心应用程序类,配置,以及统一的API,用于认证,运行时间管理,以及基于云环境的代码执行.
关键特性
- 简单认证: 环境变量支持的基于符号的简单认证
- 保密管理: 在工作流程中安全处理敏感数据和证书
- QQ Python 客户端: 与上下文管理人员和清洁资源管理一起对数据编制器平台进行程序访问
- QQ 类型脚本/ 反应客户端: 用于构建基于Jupyter的应用程序的响应组件和服务
- QQ 命令行接口:用于账户和平台操作的CLI工具
- 基本类: 核心应用程序类别和配置由其他数据层项目继承
- · Jupyter 整合: 笔记本经验服务经理和协作提供者
- 环球导航:自动检测并与React Router, Next.js 或本地浏览器合作的智能导航钩
安装
Python 客户端
使用 pip 安装数据层核心 :
pip install datalayer-core
类型脚本/ 反应客户端
作为 npm 软件包安装 :
npm install @datalayer/core
开发安装
git clone https://github.com/datalayer/core.git
cd core
# Python development
pip install -e .[test]
# TypeScript development
npm install
用 Python 快速启动
1. 认证
将您的数据显示器设置为环境变量 :
export DATALAYER_API_KEY="your-api-key"
或者直接传给客户:
from datalayer_core import DatalayerClient
# Using environment variable
client = DatalayerClient()
# Or pass token directly
client = DatalayerClient(api_key="your-api-key-here")
if client.authenticate():
print("Successfully authenticated!")
2. 运行时间、快照和Evals
运行时间执行、快照工作流程和电子记录CLI现在被记录和维护于:
使用 agent-runtimes 周转时间工作量(RuntimeClient, (中文(简体) ), @datalayer,快照,和 evals),并使用 datalayer-core 用于账户/平台操作(认证、秘密、API密钥、使用、配置).
实例
这个 实例 显示工作的数据生成客户端 :
- OpenTeleometry 可观察性:具有OpenTeleometry痕迹和度量衡的仪器数据显示器使用,并有一个小型的FastAPI服务和一个可视化的反光UI(UI)
make目标 实例/数字) (中文(简体) ).
关于客户端的代理、聊天和沙盒,见 代理运行时间示例。 。 。 .
平台整合
Datalayer在您的开发工作流程中增加了AI能力和可缩放的运行时间. 该平台旨在无缝地整合到您现有的流程中,并用您所需的处理功率对您的计算进行超充电.
通过此客户端和 CLI 可访问的关键平台功能 :
- 远程运行时间: 在有CPU、RAM和GPU资源的强大远程机器上执行代码
- 多个接口: 通过 Python 客户端、 CLI 或其他综合工具访问和消耗运行时间
- 可缩放计算: 根据工作量需求动态调整计算资源
文档
- 命令行接口( CLI)数字 : https://datalayer.ai/docs/cli/ (中文(简体) )
- 核心 Python 客户端数字 : 核心.数据编制器.tech/python/
- 平台文档数字 : 文档.datalayer.app
- API 参考数字 : API 文档
发展
图书馆的建设
# Build TypeScript library
npm run build:lib
# Build Python package
python -m build
设置
# Install Python dependencies
pip install -e .[test]
# Install TypeScript dependencies
npm install
代码质量
这个项目保持高码质量标准,并有自动起伏、格式化和类型检查:
# Run all checks (format, lint, type-check)
npm run check
# Auto-fix all issues
npm run check:fix
# Individual commands
npm run lint # ESLint with React/TypeScript rules
npm run lint:fix # Auto-fix linting issues
npm run format # Prettier formatting
npm run format:check # Check formatting without changes
npm run type-check # TypeScript compilation check
承诺前的钩子会通过Husky和lint-staged在已上演的文件上自动运行格式化和linting.
运行测试
# Python tests
pip install -e .[test]
pytest datalayer_core/tests/
# TypeScript tests
npm run test
# TypeScript type checking
npm run type-check
npm run test:watch # Watch mode
npm run test:coverage # With coverage
捐款
此客户端的设计简单且可扩展. 我们欢迎捐款! 请:
- 叉子存储器
- 创建特性分支
- 做你的改变
- 添加新功能测试
- 提交拉动请求
关于问题和改进请求,请使用 GitHub 问题跟踪器。 。 。 .
建筑
核心是整个数据层生态系统的基础:
- 基础类: 其他数据层软件包继承的核心应用程序类别
- 配置管理:所有数据层组件的集中配置系统
- 认证层: 在所有数据层服务中统一认证
- 运行时间抽象: 不同类型计算运行时间的共同接口
- 资源管理:自动清理和生命周期管理
使用大小写
- AI/ML 发展: 使用客户端或 CLI 用云计算缩放您的机器学习工作流程
- 数据分析: 用强大的远程运行时间处理大数据集
- 研究: 与可复制环境合作进行计算研究
- 自动化: 利用CLI工具将数据编制器纳入CI/CD管道和自动化工作流程
- 原型制作: 快速测试没有本地硬件限制的想法
许可证
本项目根据以下规定获得许可证: BSD 3- 标签许可证。 。 。 .
支助
AI 数据分析代理人
今天从Datalayer开始!