• 知识库搜索怎么做：Embedding https://github.com/ruoccofabrizio/azure-open-ai-embeddings-qna
  • 评估使用Token数量的工具：https://gpttools.com/estimator
  • OpenAI的API价格计算器，选择OpenAI - Base Series Fine-tuned + Davinci http://azure.microsoft.com/en-au/pricing/calculator
    • 参考配置 80 Hours Training + 730 Hours Hosting + 0 Inference = $ 32k/M
    • Fine-tuned很容易过拟合
    • Zero-shot / Few-shot 很强
  • Fine tuned
    • 数据量不大：epoch 8-16
    • 数据量很大：epoch 1-4
    • Learning rate慢慢加
    • 谨慎选择，需要长期使用，否则Prompt Engineering更好
    • 数据质量要求很高，Prompt completion高
    • 参数要注意
    • 结果是个费用，延迟，精度的妥协
  • 示例Use case
    • OA自动化：表单OCR发票 → OpenAI → 合规检查
    • 会议纪要：STT实时会议转写 → OpenAI → 自动会议主题 / 纪要 / Action Point
    • AI游戏直播：游戏视频 → 自动标签 + 场景描述 → 虚拟人直播介绍
    • RPA：语音标识 → OpenAI → PowerPlatform
  • OpenAI on Azure的区别
    • Rate Limit
    • Token上限
    • OpenAI用于研发，Azure用于生产环境
  • 从Davinci开始测试，逐渐使用更便宜的模型
  • 常见使用场景
    • 客服机器人
    • 舆情分析
    • Meta-prompt engineering
    • NER + Search Expansion + GPT
    • QA分类：把不能回答的问题扔给ChatGPT → Codex Query → + Context as Response