上周,OpenAI的CEOSamAltman和AI开发平台HumanLoop的创始人RazaHabib等20多位开发者开展了一次闭门讨论会,主要聊了OpenAI的使命、AI的影响以及一些在开发过程中的实际问题。
会后RazaHabib做了一份详细的会议要点整理,其中提到了OpenAI接下来的重要工作安排以及时间节点,我们对其进行了全文编译,Enjoyit!
划重点:
1.OpenAI严重受限于GPU,需要更多的GPU来解决突破ChatGPT遇到的技术问题
2.给GPT-4降本提效是OpenAI当前的首要任务
3.很快能支持输入更多的文字(最高可达100万tokens)
4.GPT-4的多模态功能(视觉识别等)要到2024年才会公开
5.OpenAI正在考虑开源GPT-3
以下是RazaHabib的全文记录:
上周,我有幸与SamAltman和其他20位开发者一起坐下来,讨论OpenAI的API和他们的产品计划。Sam对此非常开放。讨论涉及到了开发者实际遇到的问题以及与OpenAI的使命和AI对社会影响相关的大问题。以下是关键要点:
1.OpenAI目前严重受限于GPU
在整场讨论中,一个反复提到主题是OpenAI目前极度依赖GPU,这让他们很多短期计划都延迟了。
OpenAI收到最多的用户投诉都是关于API的可靠性和速度。Sam理解他们的担忧,并解释说问题的大部分是由于GPU资源短缺造成的。
ChatGPT此前支持的32ktokens上下文功能还不能推广给更多的人,OpenAI还有一些问题需要解决,因此,尽管他们可能很快就会有100k-1M的tokens上下文窗口(今年内),但还都需要在研究上取得突破。
微调API也目前受限于GPU资源。他们还没有使用像Adapters或LoRa这样的高效微调方法,因此微调运行和管理非常消耗计算资源。未来会有更好的微调方式。他们甚至可能会主持一个社区贡献模型的市场。
专用容量供应同样受限于GPU资源。OpenAI为有私有需求的客户提供了专用容量,可以让客户在专用的空间运行私人数据。要访问此服务,客户需要承诺预支10万美元。
2.OpenAI路线图
Sam分享了OpenAIAPI的暂定的短期路线图。
2023:
更便宜、更快的GPT-4——这是他们的首要任务。总的来说,OpenAI的目标是尽可能降低‘智能的成本’,因此他们将努力继续降低‘API’的成本。
更长的上下文窗口——在不久的将来,最高可达100万个tokens的上下文窗口是可能的。
微调API——微调API将扩展到最新的模型,但具体形式将由开发者实际需求的决定。
有状态的API——当你今日调用聊天API时,你必须反复传递相同的对话历史,并反复支付相同的tokens。将来将有一个记住对话历史的API版本。
2024:
多模态ーー这是作为GPT-4发行版的一部分演示的,但是在获得更多的GPU资源之前不能扩展到所有人。
3.插件‘没有PMF’,短期内应该不会出现在API中
很多开发人员都对通过API访问ChatGPT插件感兴趣,但Sam说他认为这些插件短期内不会发布。除了浏览之外,插件的使用表明他们还没有PMF。
他指出,很多人认为他们希望自己的应用程序位于ChatGPT之内,但他们真正想要的是应用程序中的ChatGPT。
4.除了与‘类ChatGPT’竞争外,OpenAI将避免与其客户竞争
有不少开发者表示,他们担心在OpenAI可能最终发布与他们竞争的产品的情况下使用OpenAI的API。Sam表示,OpenAI不会发布ChatGPT之外的更多产品。
Sam表示,按照惯例伟大的平台都会有杀手级应用,ChatGPT将允许他们通过成为自己产品的客户来使API更好。ChatGPT的愿景是成为工作的超级智能助手,但OpenAI不会涉及其他许多GPT用例
不少开发人员表示,他们担心未来OpenAI针对他们的产品会开发出强大的竞品,因此他们对使用OpenAIAPI持着谨慎的态度。对此,Sam说OpenAI不会在之外发布更多的产品。
5.监管是必要的,但开源也是必要的
虽然Sam呼吁对AI的未来进行监管,但他并不认为现有模式是危险的,并认为监管或禁止现有模式将是个大错误。
他重申了他对开源重要性的信念,并表示OpenAI正在考虑将GPT-3开源。他们之所以还没有开源是因为他们觉得没多少人和公司有能力妥善管理如此大型的大语言模型。
6.模型比例定律仍然成立
最近许多文章声称‘巨型人工智能模型的时代已经结束’。但这并不准确。
OpenAI的内部数据表明,模型性能的与规模成比例的规律仍然成立,并且使模型更大性能更强。
值得注意的是,由于OpenAI在短短几年内就将模型扩大了数百万倍,这样的扩展速度不可能持续下去。OpenAI会继续尝试把模型做得更大,但它们每年的规模可能只会增加一倍或两倍,而不是增加很多数量级。
事实上,扩大模型规模对AGI开发的时间表有重大影响。扩大规模的理念是,我们可能已经有构建AGI所需的大部分工作,剩下的大部分工作将采用现有的方法,并将它们扩展到更大的模型和更大的数据集。
如果规模扩张的时代已经结束,那么我们应该预期AGI会很遥远。比例定律仍然成立的事实也表示我们会用更短的时间实现AGI。
“中国力量”出征,BOBsports体育携手里昂电竞战队共战FIFA洲际
近日,F2021年FECC电竞洲际杯暨Fifaonline4职业赛事年终总决赛正式进入比赛周期。BOB官方合作伙伴里昂电竞战队作为中国赛区全年可可西里再现巨大露天垃圾带 影响野生动物栖息环境:网友称快清
2021年5月28日,从青海西宁出发沿青藏公路前往西藏拉萨的一位旅行者告诉经济观察网记者,他在靠近五道梁地段时看到,在公路的右