<form id="pblhr"><nobr id="pblhr"></nobr></form>
              <form id="pblhr"><nobr id="pblhr"><th id="pblhr"></th></nobr></form>

                <address id="pblhr"></address>

                當前位置: 首頁 / 技術分享 / 正文
                怎么提高Flink的執行性能(代碼方面)

                2022-07-29

                序列化 類型 數據 flink

                怎么提高Flink的執行性能(代碼方面)

                通用的優化方式

                4. 一些基數較少的并且本身較長維度可以采用數據字典的方式減少網絡傳輸及內存占用、gc開銷。

                數據類型和序列化

                Flink支持java、scala基本數據類型,以及java Tuples、scala Case Class、Flink Value,對于這些數據類型,flink會采用自身的序列化反序列化器去做序列化操作,對于其他數據類型,flink會采用kyro方式序列化,kyro序列化方式效率會比flink自帶的方式低很多。因此在數據序列化方面我們可以做如下工作

                3. 如果使用了lambda或者泛型的話,顯式的指定類型信息讓flink類型提取系統識別到以提升性能。

                多組相同keyby可使用DataStreamUtils

                在多組keyby的場景可以采用DataStreamUtils.reinterpretAsKeyedStream的方式避免多次shuffle操作

                盡量減少狀態的大小

                3. checkpoint頻率不宜過高,超時時間不要太長,可以異步化的地方盡量異步化

                 

                好程序員公眾號

                • · 剖析行業發展趨勢
                • · 匯聚企業項目源碼

                好程序員開班動態

                More+
                • HTML5大前端 <高端班>

                  開班時間:2021-04-12(深圳)

                  開班盛況

                  開班時間:2021-05-17(北京)

                  開班盛況
                • 大數據+人工智能 <高端班>

                  開班時間:2021-03-22(杭州)

                  開班盛況

                  開班時間:2021-04-26(北京)

                  開班盛況
                • JavaEE分布式開發 <高端班>

                  開班時間:2021-05-10(北京)

                  開班盛況

                  開班時間:2021-02-22(北京)

                  開班盛況
                • Python人工智能+數據分析 <高端班>

                  開班時間:2021-07-12(北京)

                  預約報名

                  開班時間:2020-09-21(上海)

                  開班盛況
                • 云計算開發 <高端班>

                  開班時間:2021-07-12(北京)

                  預約報名

                  開班時間:2019-07-22(北京)

                  開班盛況
                在線咨詢
                試聽
                入學教程
                立即報名

                Copyright 2011-2020 北京千鋒互聯科技有限公司 .All Right 京ICP備12003911號-5 京公網安備 11010802035720號

                骚货在线

                      <form id="pblhr"><nobr id="pblhr"></nobr></form>
                            <form id="pblhr"><nobr id="pblhr"><th id="pblhr"></th></nobr></form>

                              <address id="pblhr"></address>