SPL概述对于读取出的原始数据,日志服务提供SPL语句(SLS Processing Language)做结构化信息提取、字段操作和数据过滤等操作。另外,日志服务还提供多级管道级联功能,第一级管道是索引过滤条件,后面的多级管道是SPL指令,最终输出经过SPL处理后的结果数据。如果您了解SQL语言的使用,您在不同数据处理需求场景中使用日志服务SPL时,可以参考SPL与SQL的使用场景对照。
工作原理日志服务SPL支持在Logtail采集、写入处理器、基于规则消费、数据加工(新版)、扫描模式查询与分析(Scan)等日志服务功能中使用,工作原理如下图:
说明 关于SPL在各个场景中的功能定义,请参见通用参考。
使用限制类别
限制项
Logtail采集
写入处理器
实时消费
数据加工(新版)
扫描查询
SPL复杂度
脚本管道级数
16级
16级
16级
16级
16级
脚本长度
64KB
64KB
10KB
10KB
64KB
SPL运行时
运行内存大小
重要 处理方案请参见错误处理。
50MB
1GB
1GB
1GB
2GB
运行超时
重要 处理方案请参见错误处理。
1秒
5秒
5秒
5秒
2秒
