日期
04/22
2024
咨询
  • QQ扫一扫

  • Vision小助手
    (CMVU)

腾讯云上架Llama 3系列模型,支持基于TI平台一键精调
收藏
2024-04-22 12:10:10来源: 中国机器视觉网

近日,Meta公司发布具有里程碑意义的Llama 3系列模型,包括8B和70B参数的大模型。为了给企业、开发者提供更多元的模型选择,腾讯云TI平台迅速响应,成为国内首批支持Llama 3全系列模型的平台之一。

腾讯云对该系列模型进行了推理测试验证,从市场反馈、推理测试效果等角度进行了综合评估,确保模型可用性、易用性,可覆盖智能对话、文本生成、写作等多个不同场景。

微信图片_20240422132844.jpg

此前,腾讯云TI平台也已全面接入Llama 2、Falcon、Dolly、Vicuna、Bloom、Alpaca等主流模型,支持直接部署调用、应用流程简单、可全程低代码操作。企业、开发者可以根据不同细分场景的业务需求,灵活选择各类大模型,降低模型使用成本。

一站式AI大模型服务助力企业智能化升级

洞察行业需求及用户需要,腾讯云TI平台针对不同业务场景的个性化需求,推出了定制化的模型训练和推理服务。这使得开发者能够针对Llama 3等系列模型进行专门定制化训练,以确保在特定应用中达到最优的性能和效果。

在效率提升方面,腾讯云TI平台提供了一套全面的开发工具链,包括数据管理、模型调优、评估与优化等关键环节,这样的一站式服务极大地简化了AI模型的开发流程,让技术实现变得更加直接和便捷。

为了进一步提升数据处理的效率和模型训练的稳定性,腾讯云TI平台近期还进行了全面的工具链升级。预置140个不同类型大模型精调任务场景的数据集,构建覆盖数据清洗、prompt 优化、数据过滤、数据增强等数据处理环节的完整pipeline。

任务调度方面,平台具备自动故障恢复功能,保障任务连续性,支持单任务持续运行达2至3个月。此外,平台还提供定制化的任务调度策略,优化了资源密集型任务的处理效率,并通过纳管模式简化了云服务器的接入流程,确保了任务调度的高效性。最后,集成的监控告警系统简化了任务和资源状态的实时监控,助力用户提升资源使用效率。

在资源选择方面,腾讯云TI平台的模型库极为丰富,不仅包含了Llama 3系列,还涵盖了其他国内外主流的大模型,构建了一个全面且实用的模型资源库,能够满足不同行业和应用场景的多样化需求,为用户提供了广泛的选择和灵活性。

同时,腾讯云TI平台还为广大开发者提供了企业级的服务和支持,确保用户在使用Llama 3系列模型时能够获得稳定、可靠的体验。

此外,为了简化开发流程,腾讯云TI平台还提供了开放的API接口和丰富的SDK,开发者可以轻松地将Llama 3等模型集成到自己的应用中,无需进行复杂的配置和改动,显著提升了开发效率和应用的迭代速度。

持续推动大模型生态建设加速千行百业应用落地

面对AI大模型技术新浪潮,如何快速且经济地将模型产品融入实际业务场景,成为企业保持竞争力的关键。基于用户在成本、数据和安全等方面的落地挑战,腾讯云去年6月依托TI平台打造行业大模型精选商店,助力客户构建专属大模型及智能应用。

通过腾讯云TI平台内置的高质量行业大模型,使企业能够结合自身数据快速创建定制化模型,满足特定业务需求。目前,基于该平台已为金融、文旅、传媒、医疗等20多个行业提供了超过50种大模型解决方案。

比如,在内容创作领域,腾讯云与阅文集团合作,通过TI平台优化了文学创作模型,提升了30%的推理能力,同时将成本降低了75%,并通过动态加载LoRA模型,有效降低了部署和维护成本;在政务领域,腾讯云为某税务部门定制了专属大模型,提升了智能客服系统的专业性和可靠性,使其成为税务知识专家和法规指南的智能助手,解决了知识边界限制和高运营维护成本等问题。

大模型时代,算力、网络、数据构成了底层基础设施的“铁三角”。除了提供一站式AI大模型服务之外,腾讯云还为客户提供了HCC高性能计算集群、星脉高性能计算网络以及向量数据库等基础设施服务。

不断为千行百业打造行业大模型解决方案的同时,腾讯云也在积极参与行业大模型标准的制定。在金融领域,腾讯云与信通院合作,发布了国内首个金融行业大模型标准,为智能化发展和大模型的安全合规提供了支持;在医疗健康领域,腾讯参与编写的《人工智能大模型赋能医疗健康产业白皮书(2023年)》已发布,旨在推动医疗健康大模型的发展并提出标准建议。

与此同时,腾讯还被选举为全国信标委人工智能分委会委员兼副秘书长单位,作为核心成员,承担了更多标准制定工作以及技术引领作用。未来,腾讯云将持续优化技术,推动大模型生态建设,加速千行百业应用落地,为各行业的数字化转型提供有力支持。