flink

개요StreamExecutionEnvrionment에는 런타임에 대한 Job별 구성 값을 설정할 수 있는 ExecutionConfig가 포함되어 있습니다. 모든 작업에 영향을 미치는 기본값은 conf 디렉토리의 Configuration File에서 설정할 수 있다설정 목록setClosureCleanerLevel(): 클로저 클리너 레벨은 기본적으로 ClosureCleanerLevel.RECURSIVE로 설정되어 있습니다. 클로저 클리너는 Flink 프로그램 내부의 익명 함수 주변 클래스에 대한 불필요한 참조를 제거합니다. 클로저 클리너가 비활성화되면, 익명 사용자 함수가 주변 클래스를 참조할 수 있으며, 이는 일반적으로 직렬화할 수 없습니다. 이로 인해 직렬화 도중 예외가 발생할 수 있습니다. 설정값은 ..

개요Flink에서 Execution Environment는 Flink Application을 개발할 때 가장 먼저 획득하는 인스턴스의 클래스입니다. 이 글에서는 Flink에서 Execution Environment의 개념을 용어 중심으로 파고들어 Flink의 아키텍처를 이해해 보겠습니다.public class WindowWordCount { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); DataStream> dataStream = env ..