无法报告状态600秒钟。杀人!报告Hadoop的进度

天天见闻 天天见闻 2023-03-15 教育 阅读: 69
摘要: 如何解决无法报告状态600秒钟。这个问题是一个做错误Hadoop中0.20由此将调用context.setStatus()和context.progress()不被报告给底层框架。有可用的补丁程序,因此更新到较新版本的Hadoop应该可以解决此问题。但是, 我不想增加hadoop杀死不报告进度的任务之前的默认时间 ,即。相反,我想无论是使用定期汇报工作进度context.progress(),context.setStatus或者context.getCounter.increment或者类似的东西。但是,在默认时间后,该作业仍被终止。我是否以错误的方式使用上下文?

如何解决无法报告状态600秒钟。杀人!报告Hadoop的进度?

这个问题是一个做错误Hadoop中0.20由此将调用context.setStatus()context.progress()不被报告给底层框架(电话设置不同的柜台不工作要么)。有可用的补丁程序,因此更新到较新版本的Hadoop应该可以解决此问题。

解决方法

我收到以下错误:

Task attempt_201304161625_0028_m_000000_0 failed to report status for 600 seconds. Killing!

我的地图工作。但是, 我不想增加hadoop杀死不报告进度的任务之前的默认时间 ,即

Configuration conf=new Configuration();
long milliSeconds = 1000*60*60;
conf.setLong("mapred.task.timeout",milliSeconds);

相反,我想无论是使用定期汇报工作进度context.progress()context.setStatus("Some Message")或者context.getCounter(SOME_ENUM.PROGRESS).increment(1)或者类似的东西。但是,这仍然导致该作业被杀死。这是我尝试报告进度的代码段。映射器:

protected void map(Key key,Value value,Context context) throws IOException,InterruptedException {

    //do some things
    Optimiser optimiser = new Optimiser();
    optimiser.optimiseFurther(,context);
    //more things
    context.write(newKey,newValue);
}

Optimiser类中的optimiseFurther方法:

public void optimiseFurther(,TaskAttemptContext context) {

    int count = 0;
    while(something is true) {
        //optimise

        //try to report progress
        context.setStatus("Progressing:" + count);
        System.out.println("Optimise Progress:" + context.getStatus());
        context.progress();
        count++;
    }
}

映射器的输出显示状态正在更新:

Optimise Progress:Progressing:0
Optimise Progress:Progressing:1
Optimise Progress:Progressing:2
...

但是,在默认时间后,该作业仍被终止。我是否以错误的方式使用上下文?为了成功报告进度,我需要在作业设置中做其他事情吗?

其他相关
靠谱的人是如何写电子邮件的?

靠谱的人是如何写电子邮件的?

作者: 天天见闻 时间:2023-11-12 阅读: 62
尽可能允许写电子邮件的工作,就是一天工作12小时就写了3.4小时电子邮件。有些邮件的回复很有趣。现在我们无法想象一个没有电子邮件或手机的世界。我认为以下是电子邮件应有的样子。另外,今后也要注意你写给同事和朋友的简短邮件。...
Swing实现播放器进度条(可随意拖动进度)的思路引导

Swing实现播放器进度条(可随意拖动进度)的思路引导

作者: 天天见闻 时间:2023-08-13 阅读: 99
Swing的组件显示音乐的播放进度,如进度条。通过设置进度条的最大值和当前值,可以让用户了解当前音乐的播放进度。最后,您可以添加控件,如播放/暂停按钮、停止按钮和进度条,以控制音乐的播放。首先,需要设计用户界面,包括播放/停止按钮、文件选择按钮和音乐播放进度条等组件。可以使用接口侦听音频的播放状态,并在相应的事件处理方法中更新播放进度条。...
卓创资讯调研:2023新疆棉花面积单产双减 总产或明显下降

卓创资讯调研:2023新疆棉花面积单产双减 总产或明显下降

作者: 天天见闻 时间:2023-07-04 阅读: 94
市场担忧棉花单产也将减少,2023年新疆棉花种植面积同比明显减少,棉花植棉面积有所下降,棉花生长进度也出现不同程度滞后,棉花播种面积同比降幅普遍略小于北疆,北疆地区棉花播种时间普遍晚于去年,北疆地区棉花播种面积普遍减少,南北疆棉花生长进度仍明显缓慢。市场对棉花单产降幅仍有较高预期,当前生长缓慢对棉花单产的影响无法消除,2023年新疆地区棉花播种面积下降。...
欧林生物:重组金葡菌疫苗最新进展情况具有不确定性

欧林生物:重组金葡菌疫苗最新进展情况具有不确定性

作者: 天天见闻 时间:2023-05-04 阅读: 116
有投资者向格隆汇5月4日↑奥林生物(688319.SH)提问:重组金葡菌疫苗最新进展?重组金葡糖疫苗目前的工作重心是临床入组的速度和质量。重组后的金葡糖疫苗临床III期已在全国范围内实现近50个中心入组,入组进度符合预期。从目前已经入朝的情况来看。...
用Java下载文件。多线程,这行得通吗?

用Java下载文件。多线程,这行得通吗?

作者: 天天见闻 时间:2023-03-15 阅读: 99
...
苹果周报:苹果进入节后的平淡期

苹果周报:苹果进入节后的平淡期

作者: 天天见闻 时间:2023-02-21 阅读: 88
当下现货行情仍存在一定的产销倒挂情况,节后补货引起的惜售、炒货行情也略有降温,然而元宵节后的产区倒货、销区平淡行情使库存距离理想出库进度的差距有所加大,出库进度问题、现货的产销倒挂叠加既相对廉价、且价格下降更为明显的柑橘带来的竞争。苹果库存的意义在于其本质上是直至次年新季早熟苹果下树前供需平衡表的供给侧峰值。当下市场的交易主轴为节前的强预期与节后相对强预期略逊一筹的实际兑现。...
我来说两句

年度爆文