对谈徐文浩: 100万预算7天时间,如何落地“伟大”的AI产品想法?#混沌 AI 商业对谈精选

- 发布
- 2023 年 10 月 10 日
- 时长
- 1 小时 34 分
- 主播
- 任鑫、徐文浩
- 收听
- 小宇宙(节目主页)Apple Podcasts喜马拉雅
任鑫与徐文浩从商业落地视角拆解AI应用:调用ChatGPT API做原型三五天就能完成,技术不再是壁垒,壁垒回到行业积累与产品体验。两人讨论了如何判断数据是否AI ready、独有数据的两条用法(embedding知识库与微调模型)、100万预算做垂直模型的可行性与硬件成本,并回应了数字人主播、模型评测、ChatGPT插件红利、AI客服语料维护等问题。
- 调OpenAI API做AI应用原型成本很低,月薪两万的工程师看一天文档、三四天就能做出周报生成器一类的demo,难点在交互体验和渠道集成
- 享受了技术的便利就很难从技术层面建立壁垒,优势还是来自原有的行业积累和数据,大家技术水位被拉平后比拼的是业务理解
- 判断数据是否AI ready的四个维度:是文本数据、是专有或独有数据、能持续更新、预处理干净质量高
- 把独有数据变成价值有两条路:用embedding建知识库配合通用模型问答,成本低;或基于开源模型微调,受数据合规限制时只能走这条路
- 微调70亿到130亿参数模型,4块40G或8块80G的A100单机多卡就够,租一个月标价十五六万、打折七八万,100万人民币预算合理
- 推荐优先尝试的开源基座是Meta的Llama系(但授权不允许商用)和清华系智谱的ChatGLM,谷歌的FLAN-T5也值得看
- 模型评测没有公认标准,除了OpenAI开源框架和GPT-4打分,更应该自己准备一套领域数据集和自己的逻辑题去做盲测
- ChatGPT插件当下有新鲜感带来的流量红利,但交互体验还不如传统App,软件公司指望靠它立刻商业化难度大
目录
点击跳到对应位置
- 开场:一天调出的小红书爆款生成器有没有壁垒00:00
- 完全没有程序员,能做AI应用吗00:45
- 嘉宾介绍:二十年同学、广告算法与拼多多经历01:13
- 从零到一:AI应用的技术难度与成本04:23
- 拼积木式开发与开源框架08:34
- 技术能不能形成壁垒:小而美还是独角兽10:33
- 「我有一个伟大想法,就差个程序员」15:10
- 从一到N:如何判断公司的数据是否AI ready19:43
- 公有数据加上筛选,算不算独有数据25:03
- 独有数据的两种用法:微调与embedding27:59
- 数据不想出境,怎么办34:06
- 自训练能达到什么水平、要多少卡和钱38:45
- 开源基座模型推荐:Llama、ChatGLM、FLAN-T542:17
- 100万人民币预算能不能训模型47:02
- 除了大语言模型,还有哪些成熟技术可用49:29
- 数字人主播:成本、周期与主播离职风险53:08
- 怎么评估各家大模型的能力58:21
- ChatGPT插件有没有流量红利1:04:27
- 服装电商做AI客服该怎么落地1:08:16
- 做一个人的AI分身要多少钱1:10:41
文稿
共 1202 句 · 点段首时间或句子从该处收听,双下划线是重点词条,其他词条悬停可见
00:15你享受了这个技术的便利,你基本上你也就很难从技术层面建立壁垒。
00:25壁垒其实是在你原来的行业积累和你的原本的优势上面来。是的
00:29是的。我觉得因为原来的互联网其实也是一样的嘛,就是其实每个人都是做了他擅长的那个领域的应用出来,特别是我觉得越靠近现在,就越是这样的。
00:45如果完全没有程序员,能能做AI应用吗?
00:48我觉得是可以,但没有必要。写很多代码可能会变得非常容易,但是说没有必要是说,说我有一个great idea,但是我连找到一个程序员愿意帮我一起做这件事情都做不到。可能你第一个需要先想一想说,是不是有其他的出了其他的问题。
01:13大家好,呃。我是任鑫,然后混沌创新领教。徐文浩是我二十年的那个同学,我们都是上海交通大学计算机专业的,二零零一二级入学的。然后四年大学同学,两年的室友。但是把他叫过来呢,不光是因为他是室友啊,主要还是因为说在人工智能方面他是我的老师。
01:35然后他很早期就开始做那个广告算法,然后做广告推荐人工智能。然后后来的话是拼多多早期团队,然后其实有更大的title,但是他不肯让我讲。然后后来的话他又自己创业,做了那个BotHub,就是一个那个对话式的人工智能机器人。然后上过Facebook的F8大会,然后现在呢,他的那个《大模型之美》这门课程也是所有的那个想要做大模型的程序员必读。
02:01然后我现在今天还在啃他的那关于LangChain的那几章,想想好好学习一下。我是属于说大学毕业之后就一行代码都没有写过的,之所以上一次还敢做人工智能,现在还敢做,其实有一半的底气就来自于中国好同学,就反正反正有人可以问嘛,对吧?
02:19所以呢,今天就把他抓过来,然后跟他跟大家一起可以找着他问一问。因为我讲的东西比较偏商业,大家看我的课程也会发现,其实比较多的讲的是我们如何用这个科技来做产品,来做商业,来做营销,来做打造自己的商业竞争优势。但是我们如何可以用这个科技,这些科技到底有哪些技术路线,然后我们到底要花多少钱,准备什么人,
02:46到底要干嘛?这些东西其实很多的细节我是不够了解的。所以呢,今天可以把徐文浩抓过来,说来来来,我们可以抓着他好好的来问一下,具体我们要怎么用,怎么做。OK。哎,徐文浩,有没有什么介绍你疏漏的地方?
03:01啊,没
03:02有没有没有。Hello hello,大家好。但但我觉得有一个更重要的,这个中国好同学,只是我没有办法把他叫来,对吧?就是在自己做大模型的同学。对对,所以所以我只能班门弄斧,就是用相对低低一点的水平跟大家来解释一下这个问题。
03:16不不不。你你你你就是那个那个天花板了。对。然后徐文浩不一定是中国对于大模型懂得最深的人,但是他很有可能是少数懂得最广的人之一。就非常的非常的什么方面都都摸过,都做过一点。
03:31所以的话呢,我就发现他呃任何的技术方面的问题问到他这边总是会有一些那个那个insight可以反馈回来。所以今天的话呢,我们就可以开始直接来聊一聊说可以怎么做。大家呃感兴趣有什么具体的你在商业实践上的话题,也可以留在那个留在那个留言区,待会儿主持人会挑选一些,
03:52然后我们在后续回答。然后我先有结构的问一问他。那我们就闲话少说,就直接进入正题啊。因为现在其实也有很多人找我来问说这个东西技术上应该怎么做,然后找我的公司呢,我看了一下,主要分两类,一类呢就是从零到一的技术技术创业,然后另外一类呢其实是原本有一个自己的产业,比如说原本有一个几个亿的销售额的一家工厂,
04:17然后他想转型,然后说基于我这个产业我该怎么做。所以我今天分成这两个不同的主体来聊。我们先聊那种从零到一的。那从零到一很多人觉得,人工智能我要把握这次机会,我要创业,我要创新。那那如果我要纯粹做一个人工智能的AI应用,比如说他想做一个呃什么周报生成器,小红书爆款生成器。
04:39什么抖音文案生成器,什么简历修改器,这种东西现在很多嘛。呃,或者他想做一个自己优化版的什么ChatPDF之类的东西,这个技术难度大吗?如果现在我要我要做一个的话,大概需要多少成本,多少天就可以搞定啊?应该怎么做啊?
04:55嗯,我觉得第一个是说,那取决于你要研发底层技术还是你就利用OpenAI已经开放出来的ChatGPT。如果是你用,呃,ChatGPT,比如说去调它的API嘛,那我认为这个成本其实很低。你,特别是如果你要做一个demo原型的话,你可能一个人两三天,三四天可能就能做一个原型出来。
05:18当然,我觉得这个当中更大的挑战不在于我做的这个原型好不好,还在于说,本身你的产品交互体验啊,或者说面向你的用户群是不是能做到足够好。就比方说你说你做个周报生成器,可能挑战不在于说我扔一堆文字生成个周报。可能挑战在于你要卖给别人,你要连进什么钉钉呀、飞书呀、企业微信呀、什么邮箱呀,那个反而可能是工作的大头。
05:42第二个呢是说取决于说你对效果有多高的要求,对不对?就比如说,你说小红书爆款生成器,其实生成一个爆款风格的文案是容易的。那你生成的这个文案真的一定能变成爆款吗?其实是有挑战的。所以我觉得说,可能这当中大部分的挑战,特别是说我们如果假设是我们就用OpenAI提供的底层技术,
06:04那这个技术开发难度是不大的。那可能你要做个原型两三天,三四天可能就做完了。当然你要把它做好,产品化,我觉得其实都很难嘛,对吧?就像其实呃尽管已经是2023年了,你今天说我要做个电商平台,那技术可能已经非常成熟了。但你要真的做一个好的产品化的电商平台,我觉得还是有挑战的。
06:25那当然,第二种是说,我要研究底层技术,我要自己去训练模型,那这个一下子就难度就上来了,或者说挑战就上来了。那这个我觉得说,你就要做好准备,要做比较大的技术研发投入,无论是数据啊,模型的这个训练呀,包括算力啊,对吧?那那这个我觉得就是另外一类问题。
06:45那我们假设一般都是前者,那我觉得是说挑战不会在技术侧,技术侧其实就是些提示语,
06:53对吧?最多是有些应
07:01力。了解。那我再帮大家问的具体一点,比如说我要做个周报生成器,你刚说的三四天是说对于你来讲三四天,还是说对于一个就是比如说月薪两万的研发工程师,他去看看文档,他三四天也能拼出来。
08:19对对对。因为,因为,我觉得这个很重要,就是为什么AI那么火,对吧?为什么大家现在包括网上看,就是因为他把门槛降低了嘛,把很多做事情的门槛降低了。跟三年前五年前我们聊AI其实已经不是一个概念了。
08:58呃,我觉得就是软件开发一直是这样的嘛,就像你今天做Web应用开发,你不是说会从最底层的Web服务器去做。那除了OpenAI的提供的接口,有很多人把这种常用的用语言模型或者说OpenAI的这些接口能够干的事情给呃抽象出来了嘛,比如说问答,那无非就是说我要找到答案是什么,然后我把答案跟问题放在一起,让让OpenAI再去组织一下语言把问题回答出来。
09:25那么这些套路其实有很多成熟的框架嘛,比较呃开源比较流行的一个是LangChain,对不对?第二个是微软去提那个开源了一个框架,叫做Semantic Kernel,对不对?所以利用这些框架去做很多事情其实是比较方便的。呃,可以,我觉得可以节省你百分之一半的时间吧。
09:45对。就是我觉得这个就跟你现在开发做网站,你也是各种组件都是直接用开源的,就拿过来就是用调用一下就好了,而不是说啊我那个呃选日期,我自己是一天一天把那个格子给画出来的,对不对?
10:01你说得对。所以的话,刚刚评论区也有同学在聊一些比较大的、宏大的话题。我觉得我们今天可以稍微聚焦一点。因为其实很多时候我们在聊一些大事情的时候,不如看看手手上能干点什么,然后有什么东西可以用啊,然后有什么事情我可以做,有什么竞争优势我可以做,有什么价值我可以创造,有什么钱我可以赚。
10:21所以我们今天可以focus在这些方面。然后刚刚徐文浩是说,其实有很多开源的模块、开源的框架我们可以用,可以把它拼出来,所以大家的那个开发成本其实比较低的。然后那如果我用开源的东西都是拼出来的东西,我自己可能就只做了一下提示词的调优。
10:40比如说我让小朋友调了一天,调出来一个特别特别好的小红书爆款生成器。其实我们已经调出来了,对。但是后一个问题就是,我感觉我我花一天调得出来,别人花一天也调得出来。那这件事情我感觉我收人家十块钱,别人收两块钱,就是市场很血腥嘛。
10:58那技术上你觉得能有什么壁垒吗?还是说我我既然已经享受到了这个技术的便利,我也不可能通过这个技术说那别人就做不了。
11:08呃。我我觉得更偏向后者吧。就是说你享受了这个技术的便利,你基本上也就很难从技术层面建立壁垒。但是我我觉得这个取决于你到底想要做一个什么样的应用,或者做一个什么样的团队嘛,对不对?就是说如果你想做一个小而美的应用,那我觉得有很多例子,就是有,呃,特别是在海外市场,有很多这种to do list的应用,
11:33对不对?什么Things呀、Remember the Milk呀,反正各种各样应用,反正只要三五个人就能做个应用。那么很多这些应用也是盈利的,而且也活得不错。那么它的核心竞争力其实并不在于说我能做个to do list,它在于说我
11:50觉得应该怎么管理我的日程,我觉得我应该用什么样的设计交互体验,用户是满意的。比方说,呃,小红书的爆款生成器,那我觉得更重要的是说,哎——你可能更理解说小红书里喜欢什么样风格的文案,小红书里的这些用户是什么年龄层次的,他们喜欢用iPhone还是用安卓,所以我应该先做个iPhone的App,
12:14还是我应该用电脑,对吧?我觉得这个当中,在综合产品层面,你可能能够脱颖而出,对不对?因为我们其实看到有很多应用,特别是独立应用,都是小而美的。它都是一两个人、两三个人。一两个人、两三个人,他技术水平再高,你也很难谈得上说技术壁垒嘛。
12:33对,对吧?第二个逻辑是说,哎——我想做一个独角兽,甚至我想做出一个未来的,呃,抖音TikTok,对不对?那我觉得那这个的话,那你可能要做的事情就会更多了。那你可能需要去思考说,哎——我能不能,呃,有网络效应呀?我能不能累积各种各样的数据,成为,呃,始终通过数据造成这种,呃,数据上的效果上的体验的优势,
12:59让别人没有办法追赶上啊?但我觉得那个其实是个更大的一个问题。就是我觉得现在的AI,特别是OpenAI提供的这个接口,我觉得本质上是给大家提供了相同的便利,就跟今天大家都可以用搜索引擎去很容易地找到资料一样,对不对?但是你要做出更好的应用,本身并不在于说我会用搜索引擎你不会,对不对?
13:21因为学会用搜索引擎还是比较容易的,虽然可能还是有会跟不会的差异,但是毕竟跟开发一个搜索引擎比,还是容易太多了。
14:00是的。我觉得因为原来的互联网其实也是一样的嘛,就是其实每个人都是做了他擅长的那个领域的应用出来。特别是我觉得越靠近现在就越是这样的,因为其实竞争都已经非常充分了。一定是说你在你的垂直的领域有知道更多的信息,对不对?就可能我做过很多时间的自然语言处理,我做过很多时间的算法跟电商,那我可以去做这样的应用。
14:25那可能有些人说我一直做游戏的,那他一定在游戏领域能够找到,呃,我可以应用好AI的地方。那有些人说,呃,我其实一直是个这个KOL,对不对?我很理解用,就是这个这个教育是怎么样的,那你可以从这个当中去找到这个应用场景。那这个可能是,呃,其他人也许技术比你更好,但是大概率他对这个领域不了解。
15:39我觉得是可以,但没有必要。对,就为什么说可以是,就是说可以是,你说你不会,我可以学,对不对?而且现在有AI,写很多代码可能会变得非常容易。但是说没有必要是说,呃,如果你真的有一个你觉得非常好的idea,对不对?那我觉得市场上经过那么多年,那么多互联网大公司小公司,特别是最近可能外围市场还有很多裁员,所以市场上程序员的供给是非常充分的。
16:09如果今天你说我有一个great idea,但是我连找到一个程序员愿意帮我一起做这件事情都做不到,对不对?不管是你是付费还是免费,你都做不到。我觉得是说,那可能你第一个需要先想一想说,是不是有其他的出了其他的问题,是不是你没有你足够信任的、相信你的朋友,
16:31对不对?是不是没有足够相信你的朋友啊?是不是说,哎,我连这个招一个程序员都找不到?是不是说这个这个我的idea其实尽管有很多信任的朋友,但其实我连我最亲近的朋友我也没办法说服。所以我觉得问题不在于那个程序你能不能写出来,而是在于说这个这个你的idea是不是靠谱。
16:52第二个是我觉得是说,那我是的,你没有程序员——你说我通过OpenAI能不能写一些程序?我觉得说你如果写一些简单的小工具,或者写一些简单的小功能自己用,这个我觉得其实是可以做到的,对不对?你就把你的需求提给他,你跟他说,我要在Excel里干个什么,或者说我要写段Python代码干什么,
17:13一步一步,他是能帮你把这个程序给跑起来的。但是他做这个的过程一定比一个程序员去干这个事情还是要慢。这个差不多,你这样想吧,你说,哎,我要去打仗了,我从来没有摸过枪。
17:28你说,虽然旁边也可能有很丰富的教程,对不对?你说,哎,上面都有说明书,你也不是说不能开枪,对吧?肯定是可以的。但是如果旁边有个老兵,那肯定是那个老兵用枪用的比你熟练嘛,对不对?尽管这个枪,尽管可能是自动步枪,这个事情是新发明的,以前都是手动的,对不对?
17:47所以我觉得是说,没有程序员可以,但是我觉得没有必要。因为我觉得现在不是,比如2015年,呃,2014年那个时候可能是,呃,创业很火热,程序员其实很难找,对吧?供给还没有那么充分。现在是2023年,七八年过去了,那么多人进来入行来做程序员。
18:07其实特别是现在从整个互联网的就业行业其实不太景气的情况下,我觉得,呃,找个程序员呗,对不对?既能提供就业机会,又有人来帮你验证这个idea,对不对?然后这个这个,呃,你做这个产品还能做得快一点。我觉得可能是一个更靠谱的事情。
18:24就是,呃,我觉得还是把AI当成一个辅助工具,此时此刻会比说,哎,我觉得什么东西扔给AI,AI就自动出来,这个更离目前的现状更接近一点。
18:35了解了。那那如果一个程序员,他比如说他去读你的,比如说大模型之美,然后他把作业做完,是不是他大概就可以,呃,基于他原有的写程序的能力,大概就会那个搭一个AI应用
19:43刚刚讲的这种是从零到一嘛,就是就甚至于连程序员都没有。但是其实还有很多是公司已经在这里了,它其实是有一定基础的,可能有自己原有的产业,有原有的数据,有原有的,啊,甚至有研发团队。那这个时候很多公司也在考虑自己该怎么样搭上AI这一波嘛。
20:02那刚刚听你讲,比如说有数据优势,那现在有很多人找我,他就会说我们手上有数据,但是其实很多数据我看了一下,也觉得至少我我看完之后,我也觉得这到底怎么用啊,就一脸懵。所以从你的角度,我们先从数据资产这件事情上来讲讲的话,你你怎么去判断一家公司它手上数据是否AI ready,
20:24是否在这可以为它创造未来的优势?哪些数据是有用的,哪些数据是没用的,哪些是值钱的,哪些是不值钱的?你会怎么来看啊?能不能给我们的那个同学,他如果手上有数据,给他一个判断的标准?
20:38OK,OK,呃,我是这样,我我我会从这样几个维度来看。第一个维度我们先来看,就是说它是什么样的数据。我们今天讲的AI,或者说大家认为最火热的AI,就是指OpenAI的ChatGPT嘛,以及背后的所谓的叫大型语言模型,对吧?
20:53大语言模型。那么,这个数据里面,呃,最重要的数据其实是文本的数据,对吧?比方说你说你有书呀,有论文呀,有专利的文案呀,有这种呃这个咨询的对话的记录呀,那这个就是一个文本数据。它这个数据首先这个数据是对于大语言模型说,你最有价值的。
21:16你说不是的,我有个数据表格,里面有说今天销量里面有个数,那这个跟这个其实我们说的这轮的AI的热潮就没有关系。当然那个数据有那个数据的价值,但是其实今天跟我们今天讲的这个AI的这一个,那可能是以前我们讲的什么商业智能呀,大数据呀,对不对?
21:33这个是呃商业情报呀,那那是另外一个问题。那第二个这个文本数据我们也分两种。一种是说,第一个是你这个数据本身呃是一个你专有的数据,还是大家都拿得到的数据。就很多人说有的数据说什么,我从网上爬来的,对不对?我把所有的这个电商网站爬一遍,我这个我把所有的今日头条的文章爬一遍。
21:57那这个数据就是你能爬,如果你很容易能爬到,别人也能很容易的爬到,那这个数据就就不是一个专有的数据,对不对?就是说你很难利用说这个数据去建立优势,对不对?那比方说我有很多这个,
22:13就假如说你有很多这种金融领域,比如你是Bloomberg,Bloomberg他们前一阵做了一个模型叫BloombergGPT,对不对?那它有就有专有的数据,因为它有自己的新闻社,对不对?它而且它这个这个这个同时它的这个数据都是金融领域的,它都非常高质量,对不对?
22:29所以这个是专有数据本身就会价值就会高一点。第二个是说,你这个数据是不是一直能够持续更新的?对不对?因为我们有还以Bloomberg为例,对不对?它这个金融数据说,因为我有新闻社,我有全球各地有记者,所以我这个数据源源不断的有最新的数据进来,
22:47而不是一份死数据。说三年前我这个数据打包放在一块硬盘里,甚至放在一个磁带里,对不对?那你说这个数据其实就没有太高的价值,对不对?因为可能都已经过时了,所以你这个数据是不是能够,呃,因为你自己的应用或者你的业务,它能不能持续的更新,
23:05我觉得这个也是一个角度,对吧?最后一个角度我觉得说,你这个数据本身你规整的好不好,质量高不高,呃。能不能用你想要解决的问题的这个对话的模式来解决,对吧?你说我这个数据很好,我这个数据都是PDF扫描的。那这个数据质量就肯定不如说我这个PDF都是文本的,肯定不如说我已经结构化,把里面的那个内容全都提出来,
23:29里面的公式不是个图片,都是text,对不对?就是已经全部都是文本的。那这个是我数据清理的成本的高低。所以我觉得基本上就是说,我们希望说你是文本的数据。第二个是你是一个专有的数据,就是说我有或者说少数业内一些专家有,大部分人可能没有,可能我有一些竞对它也有这个数据。
23:49第三个我这个数据要能够是一个活数据,就是它能够持续的更新的。对吧?第四个说我这个数据是不是预处理的比较干净,是比较容易后续做处理。如果你这四点都做到,我觉得其实是这个数据是非常有高价值的。了解了。
24:05非常高的。但如果说你说不是的,我是个死数据,啊又都是个截屏,啊。然后,呃,这个这个又是个大家都能找到的,都是什么,这些什么公众号或者这个,呃,头条上这种洗稿的,反正大家拼凑出来的文章,那这个数据就没有什么价值了。
24:24了解,嗯,了解了,嗯。大家可以那个那个感兴趣怎么业务落地的话,可以把这个直播间发给自己的朋友,就是如果他感兴趣的不是说,哎呀,我怎么学会GPT怎么用啊什么的,而是感兴趣说这一波商业浪潮里面,我如何可以应用这个这个技术,呃要不然就是训练自己的垂直模型,要不然是做一个自己的AI应用。
24:47那今天晚上的话,我们会由浅到深的话逐步来聊,大家的提问我们会放在后面,然后前面的话会更多的我来呃问徐文浩。所以大家如果关心的是怎么做,怎么干,那今天晚上的话可以把这个直播间赶紧分享给自己的朋友们。然后刚刚我在问徐文浩说,那什么样的数据是有用的?
25:07那我再再进一步,刚刚你是说公用的数据其实用处不大嘛?呃。那如果公用数据加上我的选择呢?因为我也投了一家公司,我们现在在用一个嗯比较诡异的,其实它大部分的数据还是世界上公有的。但是因为外行其实不太知道说这个行业里面应该去哪几个公有的里面采哪些数据。
25:31然后现在其实是定了一个计划,比如说呃从这十个地方拿这十套数据,从那八个地方拿那八套数据。然后可能还有更多,但是那些数据质量从他们业内人看其实是不行的,反倒就会把东西搞坏。那就应该拿这十八套就好了。那如果是选择这一层,你觉得有价值吗?
25:50如果自己手上没有数据。但是他觉得他对于行业有自己的独特的观点,他可以挑出好的数据源,然后去建自己的一个呃来练自己的一个模型,那这样子可以吗?
26:03我觉得这个其实是,我我我会认为啊,这个其实就是一个专有的数据,对不对?就是说,呃我举个还是我我我不好意思,我今天突然因为前这两天正好在看那个BloombergGPT的那些论文里的一些数据,所以老是就是比如说财经新闻我们有非常多,对不对?
26:22新浪财经啊,什么搜狐财经啊,什么雪球啊,你有各种各样的。你说,哎,我在所有这些当中说我挑出来说,我就只看,比如Bloomberg,它其实是它通过它的编辑,它的记者做了人为的选择,他认为这些数据是高质量的,对不对?因为他的这个新闻其实是所有人都能看到的,对不对?
26:43他今天报道的这个新闻其实不是一个非公开的,他今天报道这个什么巴菲特把什么清仓了呀,他报道哪个上市公司今天的这个干了个什么事情开了个发布会呀,这个其实,那他做的这个选择筛选,他本身就是形成了一个独有的数据。我们叫专有可能不太合适,我们叫独有的数据。
27:03那么如果说我对这个事情是有insight的,那这个数据肯定是有价值的。肯定是有价值的。明白了。所以我所以我觉得是说,因为因为我们看这个ChatGPT的,包括以GPT训练为例,就整个公有数据,它也是说从网上找了很多很多数据,然后它筛选了一部分,他认为叫做高质量的数据去训练那个大模型。
27:26就是筛选出高质量数据这个事情本身就有价值。
27:30OK。对吧?
27:31所以说你假设你有全网的数据,你知道就这些数据质量高,里面错别字少,里面的知识都是准确的,那这份数据也很有价值,对吧?你现在有那么多融资做了大模型的公司,你就卖给他们就好了。
27:44好的。啊,那就那就好办一点了,要不然纯粹要靠说这份数据天下只有我有,其实也没有那么容易。我们我们之前是觉得有的,但是后来发现,嗯,其实其实挺挺挺少的,大部分也是靠挑。啊,对。那再再问一下,就是那个那个呃,假设我们手上已经拿到了一份独有的数据,就是就是就是而且是文本的,
28:09然后是质量不错的。那现在具体是可以怎么用起来呢?刚好昨天也有人问我,就是就是是我们是可以去练那个大模型,在它上面再练出一个独域,独属于自己的版本。一个一个比如说拿一个GPT的instance出来,然后去去去练它嘛,去fine-tune嘛,
28:28还是说我们就应该拿拿着一个那个那个开源的某个模型,然后拿着它去练,还是就这个数据怎么把它变成钱,怎么把它变成商业价值?
28:39呃。呃,我觉得这个问题是比较难回答,因为我不知道这个数据具体是什么,或者,呃,我觉得第一点是一样的,就是说,我们现在假设说这个大模型,我们把它想象成一个非常聪明的人。
28:52那你去想,如果我是一个非常聪明的人,而且他有他他有一点好处是我只要花钱,他就可以24小时运转,对不对?而且他看东西看得很快,对吧?你看文章只能看一页一页一页看,他看可能一秒全都能翻一遍。假设有这么一个人,他拿了这份数据,他对外提供服务,他能干什么事情?
29:12就是他的商业价值在哪里?对不对?假设说我是一个比方说,我最近在买这个医疗保险,那他说,哎,那如果说我有大量的这种医疗保险的条款啊、案例啊或者怎么样,我我是一个专业的保险顾问,那你说我有这份这些数据,包括历史上用户的咨询的这个信息,那么我就可以利用这份数据做一个比方说保险的呃AI代理,
29:40对不对?它能够来完成所有的问题啊,帮你规划说你应该买什么保险,哪个对你有用,哪个对你没用,你有各种各样的问题,它都能回答。那么,就它这个它能它做出一个有价值的应用,它本质上是对人的替代吧,对不对?就或者说对人的这个扩展,因为你可能优秀的就什么。
29:59深入了解整个行业的保险代理人其实没有那么多。那你可以从这个角度,当然,这个最终C端用户接不接受,我觉得是另外一回事情。第二个是说,那我怎么能够做出这样一个AI呢?其实是两条路径嘛。一条路径是说,就像我们说的,我们去微调一个属于自己的模型,也不一定是大模型,可能是中等规模的模型嘛,
30:20因为我们一般讲大模型都是指一千亿参数以上的模型。但实际上,呃,如果你在一个垂直领域,你可能有个一百亿参数的模型,其实就能有不错的效果了。那第二种呢,就是说,也是用连成这样说,我不用调自己的模型。那我只是把这些数据呢做一下拆分,分门别类,说哎,这个问题对应这个答案,啊,这个知识对应这个信息,
30:44把它建成一个知识库。然后呢,利用OpenAI的能力,说当用户问题的时候,我去这个知识库里检索,说哎,可能和哪些答案相关。然后再交回给OpenAI,然后说哎,你看这用户问了这个问题,这些答案可能是相关的,你要不来回答一下。
31:00那么,这个我们叫做embedding嘛,就是说,就如果大家关注这个领域,或者说关注这个研发领域,叫叫叫做embedding加上这个问答的这个逻辑。那么,这也是一种方式,可以不用微调一个模型。这两种方式,呃,都可以。那肯定是说,呃,embedding这个方式的成本比较低,对不对?
31:21我不需要有一个懂得怎么训练模型,甚至微调模型的人,我只需要知道怎么调API,大概你就能用。当然它有缺陷,缺陷是说,呃,你要考虑说数据的安全性跟合规性,对吧?你说我做国内的业务,那我们国家有数据出海,包括个人隐私数据的这种要求,你不一定能够说用embedding这个方式做。
31:42这个不是能,不是说技术上行不行,是法规上不允许。对不对?对不对?法规上不允许,那我就必须用微调一个自己模型的方式。那微调自己模型的方式呢,它的成本或者研发周期肯定会会更长一些嘛。
31:57啊,对吧?挑战就会更大一些。所以这两种方式都可以。但你说,哎,我就是做海外业务,我就做个电商,海外的电商客服。那我听起来好像没有数据合规的要求,对不对?
32:07就是说我只要把个人的隐私信息在用户的输入里去掉,反正也是海外的用户,不存在,它数据本来就在海外,海外到海外,它没有数据出海的问题。对不对?就是说那你就直接调API就好了。那你就你可能就不需要从微调模型来着手。
32:24对吧?我觉得就是说,就基本上是这两种方式为主吧。
32:27了解。所以刚刚徐文浩给了我们就是两种方法嘛,一种是你可以去fine-tune,就是去训练一个模型嘛,相当于那个模型不管它是OpenAI的还是文心一言的,它拉过来就是个大学生,你再额外交它一些知识,把它调成你想要的样子,是可以训练的。
32:44然后你也可以从开源的市场上去拉一个开源模型过来训练,用你的数据去训练。所以训练是一条路,但是可能有一些合规的问题,然后有成本的问题。待会儿在那个那个中场之后的话,我再详细问他说那到底有哪几个可以选择,我们可以训练出什么样子。
33:01然后另外一条路就是我们也不一定需要训练,很多公司你的数据库的话,其实你是可以把它embedding。就是就是所谓的把它变成相当于把它变成一本书,但是是计算机看得懂的书,向量化。然后你就那个那个那个模型还是那个模型,那个人工智能还是那个人工智能,只是你告诉它说,你每次听到一个问题,
33:23你就去查书,然后根据那本书你去回答用户,然后你不要自己瞎想,然后你照书回答。那这样子的话,其实你也把你的数据给用上了,然后是让那个你的模型每次去去翻一翻,然后翻完之后它根据你给它的那本书来来回答问题。就好像你现在比如说问主持人问题的话,主持人肯定会去翻一翻一思维是怎么看的,然后他就会用混沌混沌的黑话来回答你。
33:47所以所以大家就就就虽然虽然虽然这这个东西可以内化到脑子里,也可以外面翻一本书,都是可以做到的。那我就接下来问,我呃身边也有很多朋友在问我嘛,所以的话,也有一个非常普遍的问题,就是大家手上有数据,但是非常担心信息泄露,虽然我觉得没什么必要啊,对。
34:20但是大家非常完全不愿意把数据出自己的公司。那如果是这种情况的话,是不是就没有办法用外部模型,只能自己去搭一个那个开源的模型基础上来训练自己的大模型呢?
34:34嗯。我我觉得这个取决于说,就是大家说我的数据,呃,担心信息泄露,我觉得分成三层吧。第一层是说,
34:44就是就我我觉得就是大家可能有一个结论说,我不想把数据放出去,其实是分好几种情况啊。第一种情况是,呃,我不能放给任何人,还是我不能放给OpenAI的API,对不对?就是因为我相信今天大家所有人说,我去做一个业务,我用的服务器大概率是个云服务器,你放在阿里云、腾讯云上,
35:05对不对?所以,第一层是说,你的这个数据不能放给OpenAI,是,我是非常理解的,因为这是法律法规的问题,对不对?那么从这个角度,如果你担心说我这个数据是,呃,比如说有个人隐私信息啊,啊,可能涉及到什么,呃呃,国家安全啊之类的,那你肯定不能放给OpenAI,那这个数据你就不能用OpenAI的ChatGPT的模型了,
35:32对不对?这是第一层,对吧?这这种情况,那你必须得用,那你有两个选择。第一个是你国内其实也有,呃,什么文心一言啊,什么通义千问呀,什么智谱呀,什么呃,
35:47讯飞星火,就有很多模型,那他们你是不是也不能用?对不对?如果如果那个也不能用,那你的确只有一个选择,就是你用一个开源的模型在本地部署,或者你基于开源的模型,基于自己的数据,再去微调训练一个属于自己的模型,对吧?第二种担心是说,不是的,这个不,这不是我担心这种安全的问题。
36:09比如说我就是做海外电商的,但是我就很珍视我的数据,我不愿意给别人。那我觉得这个可能不一定特别有必要。因为比方说你信不过OpenAI,那你可以用那个微软的那个Azure云,对不对?你做海外业务,你可能本来就用Azure云或者用AWS的这个云服务。
36:27那它,你Azure云里面是部署了OpenAI的模型的,当然那个数据、那个安全的管控是用Azure的云服务的这个机制去管理的。那那个就相对来讲,我觉得就是说,那你不可能说你用云服务,用它的数据库你也不敢用,不至于嘛。对不对?
36:45所以这个是第二层。第三层是说你这个数据当中可能分成敏感的跟不敏感的。你在数据当中可能是说,我说我这是客服聊天,其实这个当中大部分文本是不敏感的。我货到了没有,还没到,我发三天发给你,这当中其实没有任何有益的信息。但是其中也有敏感的说,哎。
37:04我的名字叫什么,我的电话号码是什么,我的地址是什么。那么,这个当中,呃,那这个当中你可能要做一些我们称之为叫数据脱敏的工作,对吧?你用一些自然语言处理的技术,把什么名字呀、地址呀、邮箱呀、什么电话呀都给换掉,统一都换成张三,
37:23对不对?就跟这个罗翔老师上这个B站上法律课一样,反正是个人就都叫张三。那其实一样可以解决一部分的,就是解决一部分的这个敏感信息的问题。所以我觉得,你觉得担心信息泄露到底是哪一层?对吧?
37:38是有些层你是没办法的。比如说我就是这个,我是个央企,或者我是一个,呃,这个非常大的企业,我觉得我国内的数据放到海外,尽管我觉得可能没问题,但是还是算了吧。那你就找国内的服务商,或者国内服务商你又不担心,那你就调开源的模型。
37:56那你如果是个大的企业,你相信你有足够的资源来自己做一个模型,对不对?第二个是说,我担心我的商业机密泄露,那我觉得,如果你的业务是海外的,你用Azure云,我觉得还好,对吧?除非你是就跟微软是直接竞争对手,那我想应该也不至于。
38:13如果你是这样的公司,你不至于来问这个问题,对吧?第三层是说我可以用Azure,但是,呃,我还是有些敏感信息我需要脱敏,那你就去做好数据脱敏的工作就好了。我觉得是,就不同的问题,不同的方式来处理吧。当然我相信说有追求的,对吧,说我就是,我一定要做个自己的模型,那肯定是个好事嘛,我就需要大家众人拾柴火焰高,
38:36大家都来干这个事情,才会有更多的资料,更多的这个方法,更多的经验,可能能做出一个更好的模型,不管是说是开源的还是国产,对吧。
38:45就是想要自己训练,然后做一个垂直行业的大语言模型的话,那现在如果数据量足够,那现在大概可以训练到什么样的水平啊?大概是GPT3.0的水平还是3.5的水平,还是4.0的水平?这种垂直场景。
39:02我觉得这样,这个取决于你要不要训练基础模型。就是现在我至少看到周围大部分说要训练,都是说我基于一个别人的模型上面训练。
39:13对对。
39:13基于一个大模型,然后我有一些我的领域数据,再在上面模型上再训练几个迭代,然后在我的垂直领域去解决问题。那这个呢,就是说我目前,呃,听说看到,对吧,体验过的各种开源的模型,包括一些人,呃呃,这个其实外面已经有很多人放出了各种各样的,我称之为叫小模型或者中模型啊。
39:38我觉得到一个在垂直领域到一个GPT3.5的水平是做得到的,那需要的时间周期也不会特别长。你如果有充分的高质量数据的话,我们觉得说,你有充分的高质量的数据,你有比较优秀的工程师,这个不是,这个就不是我们刚才说一两万块钱调个API的工程师了,就是他真的做过机器学习,做过自然语言处理,
39:59他这些大模型啊,它论文看了大概也明白,它比较有经验,工程比较有经验,你就有高质量的数据。那你基于这个开源的大模型,你微调一个小模型,比如说130亿参数的、70亿参数的,或者再多一点300亿参数的,我觉得花个两三个月,能够到一个GPT-3.5,在你的垂直领域,不是说在所有所有能力上,我觉得是能够做到的,
40:25是能够做到的。
40:26两三个月其实是可能可以做到的。所以两三个月的话,算上就就就什么,买买买,就就需要很多显卡吗?还是说有个四块四块卡就搞定
40:37了?不需要很多显卡,就是我们去看一下现在的这些,就70亿的参数,大概是4块40G内存的A100就可以了。130亿的参数也只需要8块,呃。这个80G的A100,就是一个单机多卡。那大概是什么成本呢?
40:56就是你今天租一台这样的服务器,那租一个月,这些云平台都有的,标价可能是十五六万。当然当然,你说我就是租的时间长一点,我跟云平台谈个打折,可能打个对折,七八万。然后你训练一个13亿的参数,可能只需要几天时间,就是,对吧?当然你可能说我有预研、调研这种,修bug、迭代,根据这个调参数这个过程,但是单次训练的时间是几天就能搞完的,
41:27不是一个,不是一个这个这个说我需要几年成年累月的。所以,呃,我觉得是对于一个,既然你已经想训练这个模型了,训练一个小模型的这个,我觉得大部分公司还是花得起这个钱的,还是花得起这个钱的。
41:43就不是那种上来说要一千块卡,这种就几四块卡、八块卡也就可以开工了,是吧?
41:49啊,对对对。我们说要一千块卡,是你要训练基础模型。
41:53OK。那就是在基础模型上训练。
42:00基础模型上微调,
42:01两个的这个成本代价可能要差一百倍,你可以认为,甚至甚至五百倍。
42:51来的。哦,
42:52对。所以你看到什么小羊驼、什么这个羊驼那个羊驼,它都是各种羊驼。它也不是个基础模型,它是在Meta,对吧?这个公司现在叫Meta,不叫Facebook了,我非常不习惯。Meta他们开源的这个羊驼,就是Llama那个模型上微调出来的。
43:11所以,所有叫羊驼、叫羊驼相关的名字,基本上都是在这个模型上微调下来。那这个呢,是目前开源大家整体评价上来讲效果最好的一种模型,就是羊驼,就Llama,对吧?当然,这个模型其实有一个,我觉得比较需要注意的地方,就是说,
43:34它的模型的license,对吧?叫授权或者版权,是不允许商用的。OK,对。羊驼的基础模型是Facebook放出来的。
43:44它其实当时并没有完全开源,它的代码是开源的。你说我有很多很多数据,我自己拿两千块卡,用它这个代码自己再训练一个模型,那你想商用可以,没有问题。但是它训练完,Meta训练完的那个模型,它有一个模型训练完的权重,有一个很大的文件,对吧?
44:03嗯。网上到处流传,百度网盘里都能下得到,对不对?那个其实Facebook是说,我们开放给研究者,你们填表,我发给你们,你们可以用来做研究。当然有人拿到了之后就把它泄露出来。那么如果严格讲版权的话,这个模型上微调你是不能商用的。
44:22但它的确是现在效果最好的模型,那也是我看到有很多人就的确基于这个模型在商用。当然也有些人换了一个思路说,那我就去找网上的数据集,用它的代码,我不去训练那个650亿参数的模型,我就训练个70亿参数的模型,对吧?就是我利用开源的数据集,加上我自己的数据集,去训练一个垂直领域的70亿参数的模型,那其实可以。
44:47当然那个成本会比微调要高一些。那第二个现在用的比较多的模型,其实是国内的一家公司嘛,就是清华系的智谱嘛,有一个模型叫ChatGLM。那这个模型也是,因为我不是所有的模型都体验过,所以我也很难说。那我自己觉得这两个模型是在我有限的体验当中,我觉得效果不错的。
45:10那么你也可以基于ChatGLM去微调,但是ChatGLM它一样的,它那个模型你要商用,你要去问智谱去买一个授权。
45:20清华的那个不是不是智源吗?智谱和智源有关系吗?
45:26就是有一点点关系,就是背后都有一些清华的人,甚至有同一位清华的老师,可能两边都挂了名,但是我们说的ChatGLM就是指智谱。不是指智源。对,它就是,它的背后的公司就是智谱,这个是,呃,我应该没有搞错啊,万一搞错了。大家请欢迎大家纠正我,但是的确听起来很像。
45:45那智谱是一个商业的公司,也是目前就是说国内做大模型,包括融资啊,相对因为他们做得更早,他们其实不是在这波热潮之前开始做的。那智源好像也是更早做了,但是,呃,我自据我所知,那除非是可能我看错了或者怎么样,就是说你要ChatGLM你要去买一个授权。
46:08然后智谱现在在市场上的估值也非常高嘛,那他们应该上一轮,我不确定是已经完成融资还是没有完成,是以十亿美金的估值在融资吧。了
46:18解了。所以你比较看到就是当下试下来有限的体验里面觉得还可以的,就是羊驼和那个清华的ChatGLM。
46:33就是FLAN-T5。
47:01了解。如果我的预算是100万人民币,然后比如说用你刚刚说的那种比较小的参数,比如说70亿,这个是有可能的还是不可能
47:13的?有可能,有可能。因为我,对,就是我可以告诉大家一个数字嘛,就是大家如果去读那个Facebook发表的那个Llama的那篇论文,他其实算过说Llama的那个650亿参数的模型,他一共训练了100万个GPU小时。那一个GPU小时你可以认为1到2美元,那就是差不多就是100到200万美元嘛。
47:35那你如果是一个70亿的参数,你训练成本就是它的十分之一。嗯,对不对?那就是10到20万美元。所以从这个角度来讲,100万人民币我认为是一个合理的成本。嗯,对吧?
47:47你你当然你如果要微调,成本会低很多。嗯,对吧?然后这个这个但是,呃,成本的量级上来讲,我觉得100万是一个合理的成本。第二个呢。当然你要去训练一个模型,你肯定需要背后要懂这个东西的人工智能的工程师嘛,对吧?
48:05我们叫,你说搞大模型也好,或者他不是搞大模型,他他以前就是搞搜索广告推荐的,但是他算法很溜,工程能力很强,其实一样的,因为没有那么多秘密啊,就这个里面并没有那么多秘密。特别是你训练一个70亿的参数,你并不需要解决大模型的主要挑战。
48:23大模型的主要挑战是分布式多机多卡,对不对?然后这个我这个卡利用率能不能起来?70亿的小模型参数,可能这种问题都不用,你一个单机四块卡就解决了嘛。OK。所以从这个角度来讲说,呃。
48:38呃,你你面临的技术挑战不会有那么大,那么你需要的人也不会有很多。假设数据你都整理好处理好了,你可能有两三个人,这个事情就能做起来。当然当然,他们还是需要有对应的专专业领域的知识嘛。
48:53那行,就至少之前什么机器学习啊啥的得碰过。
48:57呃,对。至少你,至少你用过Transformer吧,我们的假设,或者你做过这种单机多卡的这种训练吧,对吧?或者你没有做过,就是说,呃,你做过一些分布式训练,你大概对这个有概念。因为开源的代码非常多,能把开源代码跑起来也没有那么难,对吧?
49:15就是特别是网上教程越来越多,就就差手把手教你了。
49:22你的那个大模型之美不就在手把手教吗?
49:26对对对对,
50:27对,
50:28对不对?或者说我会会来听这个。那么我觉得说,那么现在除了语言模型,对吧?比方说语音识别跟语音合成其实已经非常成熟了,它需要的算力也非常低,对不对?无论是这个也是OpenAI开源的那个叫Whisper,对不对?
50:43包括前两天我们看还是Meta的Facebook开源的那个MMS,对不对?它能够把语音识别跟语音合成的成本降得很低。你拿开源模型,单机就能布个显卡跑起来。那这个,呃呃,如果你今天是在经营一个呼叫中心,它其实就是有用的。嗯,对不对?
51:01你你你说,哎呀,我去做这种,呃呃呃,第二个比方说视觉上,对不对?就是出图,就可能大家已经看了很多了,Stable Diffusion、Midjourney,对不对?包括出视频,对不对?这些当中我相信都是,呃,看你看一看跟你的领域是不是相关嘛,对不对?
51:21对对。当然,这当中也有很多挑战,因为我其实会反而会觉得说这当中都值得投入。为什么都值得投入呢?因为大家都还没有做到极限。对。
51:32比如说出图Stable Diffusion,就是做个demo很好看。你今天真的想要说我要做这个变换装,对不对?很多人说我要把导导网膜它替换掉了。啊,这有一堆问题。
51:42其实你真的放到生产环境里,真的说我就是什么衣服都能换,然后花纹什么,其实很难做到。那它就值得去做技术的人去投入做研究嘛。对,对不对?那做业务的人我觉得更多的还是用成熟的东西。那我觉得比方说语音层面其实非常成熟,数字人层面可能非常成熟,对吧?
52:02对抗生成网络去模拟你的唇形啊什么,这个东西非常成熟。那这些我觉得是可以用的。甚至是说,我们很多的这个,呃,计算机视觉去什么,呃,扫描这个账单呀,这个这个,其实有很,对吧,扫描文件呀,这大家其实生活中都已经在用了嘛。嗯,对不对?
52:22嗯。所以,我我是觉得说,呃,但是能不能形成竞争优势,我觉得这两说啊,就是肯定是成熟你就很好用,那就大家都能用,对不对?你要不成熟,你就得投入研发,对不对?那那就是一个竞争,就就是一个技术上的竞争,对不对?
52:39所以大家乐观一点的话,可以想象说,要不然就是这个东西已经很好用了,你赶紧用起来;要不然就是这个东西很难用,哎呀太好了,这是一个我们打造竞争壁垒的时机。对,乐观一点。我觉得是这样的
52:53呀。我我觉得是这样的,
53:37我觉得可以把这个问题直接贴给ChatGPT,请ChatGPT回答一下。啊,我我我我我觉得是这样的。第一个是数字人其实并不是这一轮的AI火热起来的结果。我们去理解数字人技术其实它分成三部分。第一部分是这个这个我们叫语音合成,对不对?
53:59就是我这个文本我就能变成语音。第二部分叫做对抗生成网络,就是我用了或者voice cloning,对不对?就是录了一段我的录音,然后生成的这个文本的录音,就是跟我的声音差不多,对吧?这个就是最火的,就是现在最火的就是AI孙燕姿嘛,对不对?
54:17就是B站上这个这个这个所有的流行歌曲都通过AI孙燕姿唱过一遍了。那第三部分是我能够对唇形,就是这个声音用我的照片,我能够把唇形对上,这就叫对抗生成网络。那这三个其实是相对在这一轮的AI之前就已经比较成熟了。所以市面上其实也有很多做数字人的公司,就什
54:39么,呃呃,对,海外有什么D-ID,对不对?有什么,国内有什么什么硅基智能,反正在你在群里会看到有各种各样的广告,对吧?就是就是大家都在宣传,风平智能、硅基智能。
54:52嗯,对,对,就是就是我们也,我也不知道哪家好哪家坏啊,因为我也没有去给自己做一个数字人。包括你用开源的,就是你看我的那个AI大模型,其实我放了一段通过那个百度开源的,叫做PaddlePaddle的那个里面,做了一个可以对唇形的这个AI。
55:09那所以这一轮是,这一部分是比较成熟的。那我觉得你就找,你不用,其实不用问我们,你很简单,你就找这些服务商,让他们给你演示一下。你觉得谁效果好,那大概率就效果好,因为这个就是真实的视频嘛,对吧?那第二个呢是说,呃,最大的一个挑战是说,以前那个东西我只能录播,你知道我只能录播嘛,就是我把字打好,
55:34那我也不用自己录了,因为它能合成我的语音,然后对着唇形在那里讲,对不对?那直播有一个挑战是互动,对吧?别人问个问题,我得真的回答。那这个背后还是回到了那个大型语言模型,我是把别人问的话,对吧?先用这个语音识别转成文本,然后再扔给大语言模型,说根据我的资料库里我应该怎么回答,然后再合成这整个过程。
55:56那这个其实就比较难了。那那这里的主要挑战在大语言模型。那前面数字人的这部分的成本,其实你问一下,我相信大家的价格差别不会太大,基本上是,呃,几块钱一分钟吧,对吧?市场上好像几块钱一分钟,我看D-ID是挺贵的,它的刊例价是大概要三美,呃。
56:18三美元一分钟,就D-ID的刊例价啊,就是说它标在网站上的价格。那我相信你说我要录一千个小时,那肯定可以打折嘛,对不对?你打个一折,我觉得问题不大吧。应该,对
56:32吧?我也知道有人的大概是二十块钱一分钟,就二十人民币,所以我也不太……但是我
57:42块钱一分钟。
57:43边际成本还蛮高的。是的。想一想,
57:45二十分钟一块钱,就一小时要一千块啊。
57:47一千二啊,对啊。
57:48对不对?那你一个月就是一个人的成本就十几二十万,对吧?二三十万,呃,
57:55对吧?不如请个人吧。
57:56工作时长肯定是加班的嘛,对吧?那因为他打个一折也几万块,那那取决于你这个主播,那必须是得是比较头部的主播才值得做个数字人,对吧?不然你还是直接发工资,让他播不就得了吗?
58:09对。或者其实有些地方他们用的也不是数字人,他们用的其实就是录屏的假播。
58:16OK,
58:40呃。呃,评测其实分几种啊。就是说第一个是OpenAI其实开源了一个评测的框架,叫做,就是它放在GitHub,你可以自己去看它里面的。当然它里面的评测方式是它给了一些模板,什么,呃,对于问答对的,比如说,呃,标准的问答对。
58:58如果你有这种reference的答案,或者说这种对照组的答案,它会用这种模糊匹配的方式,是看,呃,比方说我的AI回答出来跟它的理想的答案之间的这个匹配度是有多高,对不对?这个其实在传统的什么机器翻译呀,呃,这种什么文本摘要啊,这些领域其实都有,呃,类似的,呃,
59:20分数计算的方式,比如说BlueScore,对不对?所以你基本上到五六十分,你基本上就可以认为是,啊,这个机器翻译的质量就跟人差不多了。所以你如果有标好的数据,就你已经用问答对了,你知道用户问这个就是回答这个,你挑,然后你,呃,
59:36拿这个模型用它的开源框架你去评估一下,就大概能有一个感觉。第二个呢是那个你也可以让GPT-4,对吧?就是利用一个更高级的大语言模型帮你评估一下这答案靠不靠谱,对不对?这个这个也是一种常见的方式。然后呢,我之前看到是真格基金啊,他们做了一个所谓的这个评测的数据集。
59:59但我自己的观察的感觉,还是说目前所有的无论是开源人自己组织的,还是这个跟这个这个这个理想情况下,它的这个能够衡量出大语言模型的这个数据集还是有差距。所以我自己去衡量大语言模型,是我偷偷在一个文本文件里记了很多我我的这种,呃,叫什么脑筋,
1:00:23也不能叫脑筋急转弯,叫做有一定需要一定逻辑推理能力的各种问题。然后反正只要我拿到个Vitale或者啥,我就先进去试一下。我没拿到,就让我朋友帮我试一下,我就大概能够知道这个模型的智能水平大概到到多到多大了。就智力水平到多大了。
1:00:41那,呃,这个这个,所以从这个角度来讲,我建议是说,你一定有一些你觉得可以试一试,或者你看到你收集一个自己的数据集,我觉得是一个,呃,更靠谱的一个方式。因为每个人想要解决的问题其实不一样。有些人想要解决的问题比较简单,我就是问答,对不对?
1:01:02就是我就有各种各样的条款,你问一个问题,我告诉你差不多的条款能够查出来,我能够答得上。有些人要求比较高,对不对?你说我给你一个案例,说我是法律的,我给你一个案例,你要告诉我说符合哪个法条,对不对?然后应该判几年,那这个它有一系列的逻辑推理的过程,对不对?
1:01:22那这个就比较难。那么你即使是别人的一个公开的问答数据集上效果非常好,可能到你这里就完全不可行。所以我觉得说如果你正经想要用这个东西,你本身,因为我觉得这个当中数据就是非常重要的,就是你自己要整理准备一个有用的数据集,对不对?
1:01:41同时你也最好是说,呃,再有一些这种,呃,盲测的方式,对不对?就是,即使你,呃,这次模型调好了,对不对?你找了一个服务商,呃,合作伙伴,你发现,哎,效果不错,那你尝试扩展问一些问题,去测一下那个模型的智能智智商。对吧?我觉得除了在你的领域里,问题答得好不好,你测一下它的智商,那智商肯定越高,它肯定效果就就在你的领域里,
1:02:09就未来你有一些没有见过的问题,它也一定能够达到最好。对吧?就是,完全理论化,有各种评价指标,有开源的数据集,有这
1:02:21个,这个,呃,评估的框架,这个其实网上都能找到代码,对不对?当然是在你的特定领域里,我觉得最好你还是要准备一个你你关心你重视的数据集。
1:02:33是啊,所以还是要看你关心的数据,你关心它能解决什么问题,万一刚好这一家碰中了,那其实也是很金玉良缘嘛,对不对?对对对,
1:03:40是,对,
1:03:41就是你你出个,你出个高等数学题去考初中生,这个其实测不出他的智力水平,其实意义不会特别大。嗯嗯。
1:03:51但不是号称今年底的话,有两三家都号称今年底到4.0嘛。就赌一赌吧。
1:04:43呃,我反正听到一些小道消息是早期是有流量红利的,因为我有一些做电商的朋友,他们说,呃,朋友的朋友说,哎。在上面就是做了个插件放上去,有比较多的自然流量。就是说我相信这是特别是因为特别是它插件刚出来的时候,很自然的大家都会有很多人说我都想试一试,
1:05:03对不对?有很多自然流量,也有正常的这种电商的转化,所以我觉得,此时此刻呢,流量红利是有的。嗯,对。这是第一个。第二个呢,我自己也用了插件。
1:05:13也用也用插件,也不用插件,也用不用插件,我我其实都两个场景我都用。我自己的体会是说,我觉得说一些通用的插件还挺有价值的,比较典型的就是它能让它能浏览网页,是吧?Web Browser,对不对?Web Browser,呃,让它能够这个,呃,写代码,Code Interpreter,对不对?
1:05:34然后,但是呢,就是,呃,一些面向消费者的场景,比如电商的这个场景,我自己的体验是,它其实还不如我去刷刷这种正常的电商APP的体验。因为你,你电商的体验,比如说你还是看图,然后有,不是有个人给你喷了一段文字,给你一张商品的截截图,
1:05:58下面有个链接,你要买东西当点一下,还是跳到人家网站去。那这个体验,我相信现在虽然有转化,对不对?有有这个流量,它更多的是新鲜感带来的流量红利。从体验的角度我觉得说,嗯,它离一个App Store其实,呃,还差得比较大。但是我们此时此刻其实我们很难回答这个问题,因为它更像什么呢,就是更像这个App Store刚出来的时候。
1:06:25对不对?App Store刚出来的时候,大家都做的啥应用啊,就做个手电筒,做个计算器,做个天气预报,对吧?然后有很有流量红利,大家新鲜我都有,对吧?那个,做个应用九百九十九美元,这个这个应用的作用就是显示I'm rich,
1:06:42对吧?我还记得你,
1:07:04我也发现,我居然连个搜索都没有,真的太崩溃了。
1:07:07对。所以所以现在我觉得流量红利已经开始慢慢消失了。对,第二个。如果你是个软件公司,我觉得就更难。你说我是个电商,说你说我是个游戏,或者我是个什么垂直领域的知识类的网站,那可能还比较靠谱,
1:07:23因为你本身就需要流量来转化。你是个软件公司,说我觉得这个,你那别人用你的这个插件的应用场景是什么呢?对吧?就你练练手玩玩我觉得没问题,你要指望靠这个立刻能商业化我觉得有难度。那它未来会不会变成
1:07:39App Store?那至少目前这个形态我觉得比较难。就照目前这个形态,不让它并不让你觉得这个东西很好用。
1:07:49通用的场景什么,呃,能够看网页啊之类的。就是大部分场景我觉得这个交互体验可能还不如传统的APP。所以我觉得说会不会变成App Store,我就只能慢慢看吧,就现在肯定给不了结论。
1:08:47呃,我觉得第一个你去找一些本身就做智能客服的服务商呗。
1:08:53啊对吧?就是什么很多啊,就就是这样的服务商也不止一个嘛,什么阿里自己有什么店小蜜,对吧?就是,呃,对吧,就是,呃,呃,生态里有什么乐言,然后,呃,
1:09:06就还有很多别的公司啊,就是什么,各种,包括我们我自己原来也做过这个智能客服啊,所以我觉得这样的服务商非常多,所以,所以我觉得如果你是个电商公司,对吧?你是个品牌,你肯定不要自己干这个事情,这听着就不经济嘛。对不对?就算这个事情很比较容易,我听着我觉得也不经济。
1:09:26就是你你一个靠谱的工程师为什么要加入一个,呃,这个这个服装品牌来做AI的工作呢,对吧?你你你想一想,这个逻辑就不通,对吧?这个就好像说,这个这个我和任鑫老师要去打橄榄球一样,对吧?
1:09:46对,所以所以我觉得你就找服务商嘛,你就找服务商,然后你就就你就正常走走一个,看有哪个服务商能够满足你的需求,而且价格合适,体验合适嘛。对吧?或者或者说你觉得没有服务商,那你说,哎,你找一个外包公司,甚至我觉得都比你自己做可能更靠谱,
1:10:06对吧?对啊,你你肯定不会,你你没有必要自己去装修房子吧,对吧?你肯定去找个装修队来装修一下就好
1:10:14了。对。所以也不是说有这个科技,大家就一定要自己用这个科技的。你可以是先用好,用这个科技的产品来帮助你做好主营业务,毕竟你的主营业务不是干这个的。对,你用好它也行。
1:10:28对。不一定要自己研发。好,然后那个,呃,直播间的问题的话,待会儿那个主持人挑一些,然后我这边的话继续去回答群里面的
1:10:39那个那个问题啊,就是给到我的。然后有同学说他想做一个一维的AI的“善友教授”,来完成任何时候问善友教授问题,善友教授都会一对一对他进行解答。然后这样子需要喂养一些那个比如说资料,然后这中间大概需要多长时间、多少钱啊?他说他只是拿善友教授做个比方,他想的是要做自己熟悉的人的AI人物。
1:11:05那这这这大概大概需要多少钱?就便宜的版本大概怎么做,或者很昂贵的版本大概怎么做?
1:11:13呃,我们先假设,就是我们先撇开任何所谓的数据安全隐私问题啊,比如说,那就取决于你有这个人多少的相关的文本的资料吧,对吧?就是说,你无非是说拿这些文本资料,一种是说把它变成分段,变成资料库,用我们前面说的跟,就是,呃,embedding的方式去,那这个其实成本就很低嘛。
1:11:39这个你因为embedding基本上,呃,一小段文字就是大概五六百字,呃。embedding一下只要0.00002,反正就就一分钱都不到吧,对吧?那你就算一下,其实你把一个人一辈子能说多少话,全都放,把它给embedding起来,其实也就,
1:11:59呃,一点点成本吧。然后你在这个这个,呃,每次问的时候,再去这个资料库中找到一些相关的,然后组织语言回答给你。那这种方式呢,呃,我觉得就是说一次性的成本可能就是不算人工,这个整个计算的成本可能就是几几百块钱、几千块钱,可能最多了。
1:12:21然后每问一次,当然有每问一次的成本。那这种方式有一个缺点啊,就是说,呃,它其实很难模仿这个人说话的风格。因为每个人都有一些,就是他更多的是说,啊,有人问他,更像说有这个人的知识,然后来回答你,然后AI用这个人的知识来回答你的问题。
1:12:41那很多时候我们喜欢一个人,或者想要想要模仿一个人的风格,那最合适的方式还是微调嘛。那微调的话成本就会更高一些,微调的话就取决于你有多少数据,对吧?你可以认为,假设我们认为,呃,可能他做过很多访谈,他写过很多文章,然后你可能先要调,比如说OpenAI的接口,
1:13:01说把他的访谈转化成问问题跟回答,对不对?或者说本身的访谈这个数据处理好,那么你可能有个几万条或者几十万条数据。那用OpenAI的模型上做个微调,可能也就是个,呃,几百美元,也就几千块到几万块钱,我觉得就能做到。当然如果你要自己去训练一个模型,微调可能会再贵一点,对不对?
1:13:24但是我觉得就是基本上这个范围在,呃,千级别到万级别到十万级别,应该不不需要再更贵了。
1:13:33了解,就是没有那么没有那么难。然后这边的话,我也给两个我自己看到的反馈,就是一个是百姓网他们做了一个chatbot,然后百姓网他们那边现在好像这样,呃。那个王建硕他就给自己做了一个,应该成本不是不用很高。大家也可以用这种成熟公司他们提供的这种服务和产品,就可以帮你生成一个相应的一个人,或者说像刘润小润总。
1:13:58然后我们团队为了练手的时候也练过一个,不是善友教授,我们练过另外一个网上的大V,就是模仿他。然后自己做prompt engineering是专门去调风格,大概也就是小朋友花了个整个可能加起来五到十个小时的时间吧。然后然后大概我们我们整理了一个人的,比如说十种说话风格,然后会去判断说那这一次要讲的这个话题的话,
1:14:26应该套他哪个风格。因为它其实那个里面没有什么内容,就是风格,就是强风格。然后然后GPT-4套风格套得还蛮好的,它会把一个一个道理的话,套我们想要它指定的风格,会套得很好。所以,呃,徐文浩刚刚讲的比较多是比如说内容怎么样喂进去嘛。
1:14:45套风格的话,你是可以直接让GPT-4照着某一个范本去套的,只是说你不能让它每次说话都这个范本,对吧?说不定你要有十个风格套路,然后你是可以让他去感受那个风格,然后让他去套的,也是可以做出来的。所以整体上来讲,这不是一个很贵的事情,几千几万甚至十万的级别内,就应该是可以做出来一个一个一个有这种感觉的人的话,
1:15:08是应该是现在是做得出来的。OK。然后的话呢,那个下面有同学问说,嗯。
1:15:17假设他要做一个公司的客服系统,能够满解答日常用户的咨询,然后又可以提供进一步学习建议的需求,嗯。怎么样的语料库是有帮助的?然后怎么样平衡自由语料库跟互联网信息的调用?更新语料库后模型的训练方式啊,就是语料库是不是我们持续的还在还在那个模型还在进步,是不是这个语料库什么更新维护难度、成本、信息安全。
1:15:46哇,好全面啊,基本上就是说你如果真的要做一个AI的客服系统,应该怎么做了。
1:15:52呃,其实我在那个我的那个专栏AI大模型之美里有讲,其实就拿那个客服系统做举了个例子啊,因为我们原来也做过海外电商的智能客服嘛。嗯。我觉得第一个是说,呃,什么样的语料呢?就第一个是,呃,你尽量还是去找一些,呃,真实的用户的问答,对吧?
1:16:10这是实际的,因为你肯定不是今天第一天做,你历史里肯定有各种各样的客服的问题跟答案,你也有你的FAQ的手册。那这个其实就是,呃,有效的一个数据,而且客服数据一般数据量本身就是天然的数据量就比较大。你把它整理出来,当然你要做一些清理,对不对?
1:16:28里面有可能有很多是没有什么价值的或者无效的。有人说在吗?然后你说在,然后就没有了,你就不要嘛,这个数据,对不对?所以你自己从你自己
1:16:39的,呃,客服的语料里找出一些高质量的这个语料。第二个是如何平衡自由语料库跟互联网信息调用。从调用的层面,我觉得你自己做自己的客服,你不需要互联网信息。
1:16:50对不对?你的整个客服的,你的所有的政策肯定只跟你自己有关系啊,对不对?互联网上说京东人家是次次日就能,呃,送达。你说我这个客我的,就是因为我发的是一个慢一点的快递,我发的是这个EMS就得两天。那你你又互联网上能搜到京东一天,对你也没有价值。
1:17:12所以从这个角度,你不用去关心互联网其他人的语料是怎么样。因为即使你要训练模型,你也是在一个基础模型上用你自己的语料去微调,而不,你不可能再去掺别人的客服数据的,呃,这肯定不靠谱。
1:17:27第三个是更新语料库后模型的训练方式,呃。因为你本身就有两种方式做,一种是用embedding的方式做。我们前面说过,因为我觉得客服大概率你只需要用embedding的方式。如果是电商客服啊,我我不太觉得,呃,就是,电商客服分成两类问题,一类是比较简单的问题,你只需要用embedding的方式来做。
1:17:50呃。比方说什么物流呀、发货呀、什么退换货呀,这种就是常见的问题。第二类问题可能比较难,就是我们称之为叫做售前的问题,对不对?说我买个护肤品,这个东西怎么用啊?这个东西是什么材质的,巴拉巴拉这这一堆问题。
1:18:07那这个可能是比较有挑战的,那你也可以用embedding的方式啊,那就相当于你对各种知识点,就是问答,你的自己FAQ要拆得更细嘛。你也说,哎,我有很多历史的回答,那我要去微调,那微调就就是正常的一个模型的微调。你有更多的新的语料,比如说你上了一个新的产品,有,那这个新的产品可能一开始答不上来,你必须人工答。
1:18:29那你当有人工有了问答,对。或者你编了一些问答,对的时候,在原来的模型上再灌更多语料,进一步去微调就好了。所以这两个,呃,这个就是一个正常模型微调的一个过程。然后语料库要去更新维护。那,呃,我觉得这个事情是这样的,就是,呃,最合理的一个方式就是,呃,你其实更新维护是你最好有一个平台能够做什么呢?
1:18:55能够就打勾打叉。就是你有很多客服,然后有很多用户给好评的,给差评的,你把那些差评的对话翻出来,对不对?然后你说,哎,你自己去说,哎。这个我应该怎么回答?你可能有个客服主管,那你把这些东西记记录下来,更新到你的语料库里。
1:19:11也有很多用户给好评的,或者有些客服他总用户总是好评,那你也把他找出来说,啊,你看,哎,说这条不错,这条不错。把勾都勾上,那你就有这个对应的语料了,对吧?所以你你去维护这个语料,你需要写的东西会比较少。你你更多的是选一些真实的你的客服,呃。
1:19:31能够回答问题的这个答案就好了。那信息安全,我们其实前面已经覆盖了,讲到过嘛,就是说你如果用OpenAI对吧?那你一定有一个所谓的数据出海的这种问题。无论是用OpenAI还是用Azure,如果你自己微调模型,那也没有,自己微调模型其实你连敏感数据都无所谓,
1:19:51反正都是你自己的,对不对?当然你敏感数据还是要处理一下的,因为免得,呃。呃,用这个用户问你,你回答了另外一个用户,加家庭地址给他,对吧?所以你还是要做一些这种脱敏,脱敏的前处理和后处理,对吧?
1:20:06就是就是用户来问的时候,那个地址你得在语料里你得换掉。然后你回答的时候,你对应的生成的那个地址,你如果找出来也得换掉,对吧?就是免得他胡编乱造,说比如说任鑫老师的客服的记录,因为AI在训练的过程中拿到了他的电话跟地址,然后我去问的时候,他啪把任鑫老师的地址给说,哎。
1:20:29你家地址是这个吗?啊,你叫任鑫,对吧?巴拉巴拉地址是,那我就这个就隐私就泄露了,那不行,对吧?就是这个,就这个你需要注意一下,其他的我觉得就就没什么了。
1:20:40所以如果是客服做客服应用的话,第一个就是前面回答的,就是大家尽可能买现成的啊,就不一定要自己做。第二个你要自己做的话呢,那其实你先用embedding,就是你不一定要训练一个模型,你相当于就是给一个通用模型,给它安排一本参考书,让它随时答问题的时候翻,对吧?
1:21:00embedding自己的那个,相当于给它提供你的专有数据库,而不一定你要给它洗脑成你们公司的员工的样子,这样子也是比较省钱的。所以大家可以考虑这个。这个如果还有同学在问那个用什么模型的话呢,前面讲如果你一定要自己搞的话,刚刚徐文浩推荐是说那个羊驼和那个呃呃清华那边出的那个ChatGLM都可以考虑一下。
1:21:26OK,那下一个问题是说那个老师是否会组织队伍做技术支持,有想法、有资金的创业者切入赛道。然后
1:21:38然后如果你有想法。有有资金的话,现在其实蛮多人是这种状态。但是现在看起来我觉得,呃,待会儿我先抛砖引玉啊,我们现在看起来比较缺的是,呃,商业场景和独特的数据资源。所以想法和资金目前来讲都没有那么值钱。但是如果你这边有一个独特的渠道,比如说,呃,我讲个最赤裸裸的,就是比如说你你本来是蓝色光标,
1:22:07那你要做一个比如说营销文案的AI的话,那你至少你老客户很容易就顺便买一个嘛,对吧?那这样子的话,你相当于有商业的一个变现,已经想明白了。以及你可能有一些特殊的数据,比如说你有大量的,比如说用户对于文案的,比如说点击率的一个数据,
1:22:25那哪些文案是好文案,对吧?哪些营销是有转化率的?那这样子的话,你有这两个的话,那其实技术不是非常用操心的事情。那其实其实,对,我们我们身边现在现在看到就是,如果是这样的话,其实大家都挺愿意说,来,你哎,你需不需要技术上我们帮你做点什么呀?
1:22:45来,我们分点股份啊,大家都很热情。对。但想法和钱现在不太值钱,但是你能把这个东西卖掉,当然你要表达出确实能够卖掉,有商业场景和有独特的数据资源,是是比较比较大家现在比较呃热情的一个一个方向。徐文浩,你怎么看?
1:23:06对,我觉得就是第一个是,我觉得想法跟资金其实市场上并不缺。就是因为因为的确就是,呃,就是我觉得这个东西出现以后也打开了很多想象力,所以想法非常多。第二个是资金,就是市场上永远有资金,就是说愿意去投他觉得靠谱的想法团队。但是我觉得比较大的挑战还是两个嘛。
1:23:31第一个是,呃,你是不是这个团队有能力去解决一个相对难的或者复杂的问题,对不对?就像我们今天用大语言模型,就是说我们我们刚开始讲说,我能不能给一个假设说,很多人说它能不能代替律师,对不对?我们看ChatGPT它也参加了考试。
1:23:50但是你真的想要说,我要当它一个律师助手吧,我们也不讲代替律师。那第一个你肯定需要有数据,对不对?要有大量的数据,这个可能你有没有,那可能没有数据,你其实就只能是个想法。嗯,对不对?技术实力很强你也没有用。
1:24:07第二个是说,当真的是说要出现这个问题,针对这个问题,因为它其实是非常critical的,对不对?就是,就是,呃,我们讲难听点叫人命关天,对不对?这个你如果是是是要法律类的,或者说它肯定背后就对应一个案子,就是很多钱。那么你这个模型能够产出的内容到底能有这个模型的智商到底能有多强,那其实是个比较大的技术挑战。
1:24:33它可能说我说embedding是可以,但是它可能好像代替的只是原来我原来有个所谓的案例库搜索的这个功能,对不对?我去分析去推理说这个当中到底有什么这个好的呃切入点,其实可能你要通过一个直接用OpenAI,或者说直接我稍微微调一下就能出结果,可能就没有那么容易。
1:24:56所以我的感觉是说,可能问题不在资金跟这个,这个资金跟叫什么idea,甚至也不在最简单的那部分,就是什么呢?啊,开源模型我能微调一下。因为这种通用的知识市场会越来越多。但是你独有的这个知识,比如我领域里的数据,我以及我在这个领域下,我如果真的想要微调一个很特殊的行业,
1:25:22要有很强能力的模型,我该怎么做?这个我觉得现在还是一个secret。可能每个团队都有一些有能力做这个事情的团队,都有一些自己的想法,对吧?可能你也不知道,就像今天OpenAI,其实你想,GPT-3的论文已经发表,其实也已经三年了。
1:25:39ChatGPT到现在发布也已经半年了,对不对?我们说,就大家虽然说开源非常繁荣,但是大家说的都说,在一个垂直领域能够跟GPT-3.5一样。现在没有谁说我已经有一个通用模型能力跟GPT-3.5一样,对不对?所以其实也没有那么容易。
1:25:59嗯,了解了。所以大家那个提的问题也比较越来越实在,我觉得挺好的。就是呃,我们这个直播和整个这个课程也是比较偏商业实战的,就是具体做生意的人,我们做产品,然后有一个商业实体的人可以怎么来抓住这次机会。所以大家还没有买课的同学,现在可以去那个购买那个课程,今天那个好像是限时五折,所以大家可以把课程买了。
1:26:27那么以后的话就那个提问的话会优先得到回答。那我再接下来问下一呃。看下一个问题是说,我是一位商业IP操盘手,想使用ChatGPT为达人撰写拍摄脚本。在多次应用之后啊,觉得他写的脚本我还要反复修正才能拍摄中使用,比较适合抖音短视频的热门写作方式,
1:26:49它还达不到,或者是我不太懂怎么下达指令。然后这方面老师有没有使用的经验?你有吗?你没有我就先抛砖引玉。没有,我
1:27:00我我没有,我都不知道这个脚本应该怎么写,所以我完全想象不出这个东西应该怎么做。
1:27:06因为我们团队其实在找有一段时间在找方向嘛,所以什么东西都试过一下。对,所以,对,我我我也是从业人员,也不是来光光讲课的。所以大家可以,如果你在那个产品啊、营销啊、像这种运营啊,包括这种方法啊,有一些想法的话,我们都是可以交流的,
1:27:26OK。大家也可以买课买课买课,OK。那个,这边我跟大家讲一下,就是这个,呃,我们当时试了一下,有一个非常鬼扯的方法你可以试一下。就是你不要你不要给他,你不要给他那个,呃,想你的提示词怎么写了。你直接挑你觉得好的那个脚本,你直接给他。
1:27:48你直接把脚本给他。然后的话呢。比如说因为抖音的短视频经常也是很短的嘛,然后你把比如说一分钟一分半的,你直接把那个脚本给他。然后你把你要写的那个类似的东西那个题目给他,然后你说你帮我写,请参考这个脚本写,就是你根本不是不是不是教会他比如说你一定要怎么开头啊什么的,
1:28:10你是直接丢给了他一篇东西,然后你告诉他说,呃我觉得这篇东西写得很好,然后它主要好在哪里,你告你跟他讲一讲,比如说它的那个情感线,情感故事线,我觉得特别值得我来学习,然后它特别打动人,我我希望表达的东西是我这个产品,然后他的那个产品的那篇稿子我丢给你。
1:28:30你能不能按照他的写法的话帮我生成,然后你这样改几次的话有可能会有惊喜,就是一种特别粗暴的方法,直接丢给他一篇一一整篇让他学他的风格来做,所以你可以这样试一下看看是不是可行,我们之前调出来的就是效果还蛮好的,效果还蛮好的,只是没有找到商业场景所以就就就就那个就停掉了,所以大家可以这样试一下。
1:28:55OK。然后哦又丢了一些问题给到这个群里面。然后说我是老师,我们学校有很多线上资料啊,文档、音频、视频都有。如果想让这些资料更好地服务培训老师,可以怎么利用AI呢?
1:29:15嗯。
1:29:16就怎么,这个其实我觉得这类问题其实我们都挺难回答的,因为我们其实不知道你的,因为听上去像是个,呃,呃,我不知道是个培训学校还是个我们所谓的这种公立的这种就是K12,或者说这这这种就是教教这个中小学生的学校,因为,我觉得第一个本身还是说这个资料库,呃,本身对大家有用嘛。
1:29:42本身对大家有用,那么你就把它做成一个,呃,用我们说的embedding的方式变成一个聊天机器人就好了。就是你你比如说你们用钉钉,你就接到钉钉里面,然后你是用什么企微,就接到企微里面,然后你。这个钉钉的机器人,是吧?老师想要查什么资料的时候都问这个机器人,然后它就会从这些当中找出相关的资料,然后发给你,对吧?
1:30:05这个就至少是让这个东西获得信息变得更容易,对不对?包括音频跟视频,你至少都是可以。我理解是说你这个音频视频肯定都是有语音的嘛,你都可以通过AI,用Whisper或者MMS把它转成文本,然后把文本再建了索引,其实就是一个更好的语义搜索的功能。
1:30:27而且这个语义搜索你不需要说,哎呀……我专门想怎么关键字,你就讲说,哎,我想找个大概什么方向的资料,它就能给到你,对不对?然后这个我觉得是一个最简单最直接的用法,对不对?当然,我相信肯定有更多更复杂的、更合适的场景。但是这个取决于你
1:30:49想要解决一个什么问题,或者老师的痛点是什么。这个其实我不知道,对不对?就是老师的痛点是什么?老师的痛点是,呃,也许他的痛点是管理课堂纪律,对吧?那这个资料就没有什么用,对吧?
1:31:03然后也许他的痛点是招生可能没什么用,但也许他的痛点是备课。那我的感觉就是,你只要把它封装成一个钉钉的聊天机器人或者飞书的聊天机器人,背后是你庞大的资料库,然后它很方便地用自然语言就能找到他想要的那个资料,然后不用每次从零开始写,对不对?
1:31:24有那么多前人的经验,可能整合一下就能出一个很好的课程。
本期词条
重点词条
本期重点讨论的人、公司、产品和概念,按出现顺序。
本期还提到
常见名词,文稿里悬停可见,右侧数字是本期提到的次数。
- fine-tune33
- OpenAI28
- 向量化19
- ChatGPT13
- GPT13
- 智谱8
- 小红书7
- Azure6
- GLM6
- App Store6
- Meta5
- 抖音4
- 钉钉4
- 微软4
- Llama4
- LangChain3
- FLAN-T53
- D-ID3
- 飞书2
- BloombergGPT2
- 文心一言2
- B站2
- Whisper2
- MMS2
- Stable Diffusion2
- 风平智能2
- 乐言2
- 京东2
- Glean2
- 拼多多1
- ChatPDF1
- 企业微信1
- Semantic Kernel1
- Things(待办应用)1
- TikTok1
- MVP1
- 雪球1
- 阿里云1
- 千问1
- 科大讯飞1
- AWS1
- 百度网盘1
- Transformer1
- Midjourney1
- 百度1
- PaddlePaddle1
- GitHub1
- 真格基金1
- 苹果1
- Code Interpreter1
- 阿里巴巴1
- 店小蜜1
- 百姓网1
- 刘润1
- 提示词工程1
- 蓝色光标1
- a16z1
- Cody1
