选型指南 架构设计 含可复制代码

多语言场景的坑:分词、时区与本地化格式

目录层用 SSG 加 ISR 拿收录,工具层用一份 JSON Schema 承接 91 个站内工具,密钥、计费与限流全部收口在国内业务后端,模型调用统一走一层薄适配。这篇把我们真实的目录结构、Schema 字段定义、路由闸门、预扣结算伪代码和合规清单完整摊开。

陈
陈默架构组
2026-09-28 · 14 分钟阅读 · 8,432 次浏览

存储统一(NFC + UTC + ISO),展示才本地化。

多语言不是"翻译一下"

在多语言场景里,真正出问题的往往不是翻译质量,而是工程细节:

分词、编码、时区、数字与日期格式、姓名顺序。这些一旦处理错,轻则排序乱,重则业务数据算错。

五个高频坑

一、分词与检索

中文要分词、日文要处理假名与汉字混排、泰文没有词间空格;空格分词的那套直接搬到中文上,

召回会明显变差。做法:按语言选择分词器,并对每种语言单独测召回。

二、Unicode 归一化

"é" 可能是单码点也可能是 "e + 组合音符";不归一化会出现"看着一样但比不出相等"的 bug。

做法:比较与存储前统一 NFC/NFKC;长度统计与截断要按字形而不是码点(否则会截断半个字)。

三、时区

· 存储用 UTC,展示按用户时区;

· 别把"本地时间字符串"直接当时间戳;

· 跨时区的"今天"要明确以哪个时区为准(日报、配额重置最容易出错)。

四、数字与日期格式

· 千分位与小数点在不同地区相反(1.234,56 与 1,234.56);

· 日期写法歧义(03/04/2026 是哪天?)→ 存储用 ISO 8601,展示才本地化;

· 货币不要只存符号,要存币种代码。

五、姓名与地址

· 姓名顺序因语言而异,别假设"名 空格 姓";

· 地址结构各国不同,强行拆成"省/市/区"会丢信息 —— 保留原文 + 可选结构化字段。

测试怎么做

1. 每个界面至少测两种文字方向(从左到右 / 从右到左)与长文本换行;

2. 用"最长语言"测布局(德语/芬兰语常比英文长 30%+);

3. 准备边界样本:组合音符、emoji(含肤色修饰)、零宽字符、泰文与阿拉伯文;

4. 对每种语言的检索召回单独出一份指标,不要只看英文。

一个可执行的检查清单

· 存储:统一 NFC + UTC + ISO 日期 + 币种代码;

· 展示:按用户语言/时区本地化,避免硬编码格式;

· 检索:按语言分词,指标分语言统计;

· 布局:为长文本与双向文字留余量;

· 边界样本进自动化测试,防止回归。

本文由云枢 AI导航整理,内容以官方来源为准。

相关文章

顺序阅读

← 上一篇:智能体的记忆分层:短期、长期与共享
下一篇:函数调用与结构化输出的边界:什么时候该让模型「填表」 →

第 27 / 171 篇

术语速查 · 本页出现的 12 个词展开看中文名与一句话解释,点术语看完整条目
  • token词元:模型处理文本的最小单位,中文约 1–2 个汉字;计费与上下文长度都按它算。
  • 转写 / 字幕Transcription:把音视频人声逐句变成带时间戳的文字稿,便于做字幕与章节切分。
  • SSE服务器发送事件:服务器通过长连接持续推送增量文本,是对白逐字出现的常见实现。
  • API应用编程接口:程序之间约定的调用方式;站内工具由服务端调用,浏览器里不出现密钥。
  • CDN内容分发网络:把静态资源缓存到离用户更近的节点,缩短加载时间。
  • 缓存Cache:把结果暂存复用,复用得越多平均耗时越低;需要约定过期与刷新策略。
  • 限流Rate Limit:限制单位时间内的请求次数,防止单用户或异常流量打满服务端。
  • SSG静态站点生成:构建阶段就生成 HTML,访问时直接返回,不必每次请求都渲染。
  • ISR增量静态再生:先返回静态页,再在后台按需重新生成,兼顾速度与更新时效。
  • 灰度发布Canary Release:先让一小部分用户用新版本,确认无误再放量,出问题的爆炸半径最小。
  • 提示词Prompt:交给模型的指令文本;写清角色、任务、输入与输出格式比反复试更省。
  • 积分Credits:站内计费单位:按工具单价预扣,调用失败自动退还;单价以定价页为准。

完整解释与站内出现处见 AI 术语表(40 条)。