航天信息申请spark计算调度专利，实现计算存储任务在一定资源下可正常运行、高效完成计算和存储
繁简切换

FX168财经网>合作>正文

航天信息申请spark计算调度专利，实现计算存储任务在一定资源下可正常运行、高效完成计算和存储

文 / 夏洛特 来源：第三方供稿

金融界2024年2月21日消息，据国家知识产权局公告，航天信息股份有限公司申请一项名为“一种spark计算调度的方法、装置、电子设备及介质”，公开号CN117573368A，申请日期为2023年12月。

专利摘要显示，本申请实施例提供一种spark计算调度的方法、装置、电子设备及介质，方法包括：分析总体资源情况以及执行spark任务所需的资源情况，并根据总体资源情况以及执行spark任务所需的资源情况确定任务拆分的策略；根据任务拆分的策略，分别对各条spark任务运行所需的资源进行拆分，获得具有不同范围的参数值的spark任务命令；将具有不同范围参数的spark任务命令进行任务调度并编写成脚本，根据业务需要进行脚本的执行。本申请实施例解决了spark计算存储大批量的数据到Hbase时任务执行过慢甚至失败的问题，通过任务拆分的策略，实现计算存储任务在一定资源下可正常运行、高效完成计算和存储。

分享
掌握最新全球资讯，下载FX168财经APP

敬告读者：所有内容不代表FX168财经报社立场，仅供读者参考！FX168提供的交易相关数据及资讯不构成投资决策的依据，由此带来的投资风险和损失由交易者自行承担。

+更多经纪商大全

    相关文章

    推荐阅读

    市场低估了日本“黑天鹅”事件！荷兰国际集团：美元/日元恐遇更...

    07-26 18:46

    48小时/周排行

    最热文章
    本网站文字内容归FX168财经报社所有，任何单位和个人未经许可，不得擅自转载使用！