提取文本词项 / text.tokenize

使用场景 / Purpose

Text: tokenize. 本技能对提供的参数执行计算，输入输出契约如下。文档例子来自已实现函数的固定验收样例；网页本身不执行代码。

输入字段 / Parameters

字段	类型	要求	约束与说明
`text`	"string"	必填 Required	`{"minLength": 0, "maxLength": 10000}`

输入例子 / Example input

{
  "text": "Blue-shirt, size 42!"
}

预期输出 / Expected output

[
  "Blue",
  "shirt",
  "size",
  "42"
]

完整输入 JSON Schema

{
  "type": "object",
  "properties": {
    "text": {
      "type": "string",
      "minLength": 0,
      "maxLength": 10000
    }
  },
  "required": [
    "text"
  ],
  "additionalProperties": false,
  "maxProperties": 1000
}

完整输出 JSON Schema

{
  "type": "array",
  "items": {
    "type": [
      "object",
      "array",
      "string",
      "number",
      "boolean",
      "null"
    ],
    "maxProperties": 1000,
    "maxItems": 1000,
    "maxLength": 60000,
    "minimum": -1e+100,
    "maximum": 1e+100
  },
  "minItems": 0,
  "maxItems": 10000
}