fix: use mongoTemplate to get distinct

Author: alexisszmundy

src/main/java/fr/insee/genesis/domain/ports/spi/LunaticJsonRawDataPersistencePort.java

@@ -16,9 +16,9 @@ public interface LunaticJsonRawDataPersistencePort {
     void save(LunaticJsonRawDataModel rawData);
     List<LunaticJsonRawDataModel> findRawData(String campaignName, Mode mode, List<String> interrogationIdList);
     List<LunaticJsonRawDataModel> getAllUnprocessedData();
-    Set<String> findDistinctQuestionnaireIdsByNullProcessDate();
     void updateProcessDates(String campaignId, Set<String> interrogationIds);
     Set<String> findDistinctQuestionnaireIds();
+    Set<String> findDistinctQuestionnaireIdsByNullProcessDate();
     Page<LunaticJsonRawDataModel> findByCampaignIdAndDate(String campaignId, Instant startDt, Instant endDt, Pageable pageable);
     long countResponsesByQuestionnaireId(String questionnaireId);
     List<GroupedInterrogation> findProcessedIdsGroupedByQuestionnaireSince(LocalDateTime since);

src/main/java/fr/insee/genesis/infrastructure/adapter/LunaticJsonRawDataMongoAdapter.java

@@ -51,7 +51,7 @@ public List<LunaticJsonRawDataModel> getAllUnprocessedData() {
 
     @Override
     public Set<String> findDistinctQuestionnaireIdsByNullProcessDate(){
-        return new HashSet<>(repository.findQuestionnaireIdsByNullProcessDate());
+        return getDistinctQuestionnaireIdsInCollection(Constants.MONGODB_LUNATIC_RAWDATA_COLLECTION_NAME);
     }
 
     @Override
@@ -70,13 +70,7 @@ public void updateProcessDates(String campaignId, Set<String> interrogationIds)
 
     @Override
     public Set<String> findDistinctQuestionnaireIds() {
-        Set<String> questionnaireIds = new HashSet<>();
-        for(String questionnaireId : mongoTemplate.getCollection(Constants.MONGODB_RAW_RESPONSES_COLLECTION_NAME).distinct(
-                "questionnaireId",
-                String.class)){
-            questionnaireIds.add(questionnaireId);
-        }
-        return questionnaireIds;
+        return getDistinctQuestionnaireIdsInCollection(Constants.MONGODB_RAW_RESPONSES_COLLECTION_NAME);
     }
 
     @Override
@@ -111,4 +105,14 @@ public Set<String> findUnprocessedInterrogationIdsByCollectionInstrumentId(Strin
 
         return interrogationIds;
     }
+
+    private Set<String> getDistinctQuestionnaireIdsInCollection(String collectionName) {
+        Set<String> questionnaireIds = new HashSet<>();
+        for (String questionnaireId : mongoTemplate.getCollection(collectionName).distinct(
+                "questionnaireId",
+                String.class)) {
+            questionnaireIds.add(questionnaireId);
+        }
+        return questionnaireIds;
+    }
 }

src/main/java/fr/insee/genesis/infrastructure/repository/LunaticJsonMongoDBRepository.java

@@ -81,7 +81,4 @@ public interface LunaticJsonMongoDBRepository extends MongoRepository<LunaticJso
                     "} }"
     })
     List<GroupedInterrogationDocument> aggregateRawGroupedWithNullProcessDate(String questionnaireId);
-
-    @Query(value = "{\"processDate\" : null}", fields = "{'questionnaireId' : 1 }")
-    List<String> findQuestionnaireIdsByNullProcessDate();
 }

src/test/java/fr/insee/genesis/infrastructure/adapter/LunaticJsonRawDataMongoAdapterTest.java

@@ -74,35 +74,4 @@ void findRawDataTest(){
         List<LunaticJsonRawDataModel> rawdatas = adapter.findRawData("campaign01",Mode.WEB,List.of("interrogation01"));
         Assertions.assertThat(rawdatas).hasSize(1);
     }
-
-    @Test
-    void getAllUnprocessedQuestionnaireIdTest(){
-        //GIVEN
-        repository.getDocuments().add(doc);
-        //Not null processdate
-        LunaticJsonRawDataDocument rawData = LunaticJsonRawDataDocument.builder()
-                .campaignId("campaign01")
-                .questionnaireId("questionnaire02")
-                .interrogationId("interrogation01")
-                .idUE("idUE01")
-                .mode(Mode.WEB)
-                .processDate(LocalDateTime.now())
-                .build();
-        repository.getDocuments().add(rawData);
-        //Null processdate
-        rawData = LunaticJsonRawDataDocument.builder()
-                .campaignId("campaign01")
-                .questionnaireId("questionnaire03")
-                .interrogationId("interrogation01")
-                .idUE("idUE01")
-                .mode(Mode.WEB)
-                .build();
-        repository.getDocuments().add(rawData);
-        //THEN
-        Assertions.assertThat(adapter.findDistinctQuestionnaireIdsByNullProcessDate()).containsExactlyInAnyOrder(
-                "questionnaire01",
-                "questionnaire03"
-        );
-    }
-
 }

src/test/java/fr/insee/genesis/stubs/LunaticJsonMongoDBRepositoryStub.java

@@ -148,19 +148,6 @@ public List<GroupedInterrogationDocument> aggregateRawGroupedWithNullProcessDate
         return Collections.singletonList(groupedInterrogationDocument);
     }
 
-    @Override
-    public List<String> findQuestionnaireIdsByNullProcessDate() {
-        List<String> questionnaireIds = new ArrayList<>();
-        documents.stream().filter(
-                lunaticJsonDataDocument -> lunaticJsonDataDocument.processDate() == null
-        ).forEach(doc -> {
-            if(doc.questionnaireId() != null){
-                questionnaireIds.add(doc.questionnaireId());
-            }
-        });
-        return questionnaireIds;
-    }
-
     // Implémentations vides requises par MongoRepository
     @Override public <S extends LunaticJsonRawDataDocument> S save(S entity) { return null; }
     @Override public Optional<LunaticJsonRawDataDocument> findById(String s) { return Optional.empty(); }