[Spring AI 🤖] 이미지를 분석하고 JSON 포맷팅을 해보자! (feat. EatToFit)

안녕하세요 dev_writer입니다.

 

요즘 회사 일과 다른 일들로 인해 블로그 작성을 잠시 하지 않았었는데요, 이번에 다시 EatToFit 프로젝트를 하면서 Spring AI를 연결한 과정이 있어 이 부분을 공유드리고자 합니다.

 

개발 계기: 음식 AI API 만료 문제 발생 🙅

사실 Spring AI를 적용하는 것은 음식 검색이 아니라 음식과 회원의 정보를 기반으로 운동 플랜을 생성할 때에만 진행할 계획이었습니다.

 

기존에는 음식 AI 회사로부터 API를 발급받아서, 분석 품질과 속도, 신뢰성 면에서 모두 우수한 음식 AI 회사의 서비스를 이용할 계획이었습니다.

 

그러나 API를 받았던 시점이 5월이었는데, 그래서인지 재시도한 결과 만료되었다는 문제가 발생되어 당장은 프로젝트에 사용할 수 없게 되었습니다. (음식 AI 회사에 문의를 드리긴 했지만 답변이 오는 데에도 추가 시간이 걸릴 것으로 생각했습니다.)

 

이 문제를 해결하기 위해, 우선은 음식을 검색하는 기능에도 Spring AI를 이용해 보자는 결론을 내리게 되었습니다.

 

Spring AI 적용하기 (1.0.0 M2 버전)

먼저, Spring AI는 24년 9월 기준으로 M2 버전이 나왔습니다.

 

그래서인지 build.gradle 작성 코드가 조금 달라졌는데, 자칫하면 기존에 사용 중이던 lombok 및 다른 스프링 라이브러리와 충돌할 수 있다는 사실을 발견했습니다.

 

스프링부트 스타터 사이트에서 처음부터 Spring AI 및 다른 라이브러리 (lombok 등)를 함께 적용하실 분들은 괜찮으시겠지만, 저처럼 이후에 Spring AI를 적용하려는 분들을 위해 build.gradle 코드를 공유해 드리겠습니다.

 

build.gradle

repositories {
    mavenCentral()
    // 추가
    maven { url 'https://repo.spring.io/milestone' }
}

ext {
    jwtVersion = '0.12.6'
    snippetsDir = file('build/generated-snippets')
    // 추가
    set('springAiVersion', "1.0.0-M2")
}

dependencies {
    ...
    // 추가
    implementation 'org.springframework.ai:spring-ai-openai-spring-boot-starter'
}

// 추가
dependencyManagement {
    imports {
        mavenBom "org.springframework.ai:spring-ai-bom:${springAiVersion}"
    }
}

...

 

application.yml (OpenAI 기준)

application.yml이든 application-local.yml 이든 관계없이 spring.ai.openai.api-key에 OpenAI 키를 작성해 두시면 됩니다.

 

AiConfig.java

다음으로는 Spring AI의 ChatClient를 정의할 AiConfig 설정 파일을 global/config에 작성했습니다.

@Configuration
public class AiConfig {

    @Value("${spring.ai.openai.api-key}")
    private String apiKey;

    @Bean
    public ChatClient chatClient() {
        ChatModel chatModel = new OpenAiChatModel(new OpenAiApi(apiKey));
        return ChatClient
                .builder(chatModel)
                .build();
    }
}

 

ChatClient는 실제적으로 Spring AI로부터 호출할 수 있는 인터페이스이며, ChatModel은 사용할 AI 구현체를 지정할 수 있습니다.

 

이전에 작성한 글을 참고하시면 ChatClient와 ChatModel에 대해 익히실 수 있습니다.

 

JSON 포맷팅은 어떻게 할까?

LLM에게 특정 JSON 포맷으로 반환해 달라는 것은 개발자들에게 빈번히 발생하는 문제입니다.

 

이를 해결하기 위해, 기존에는 프롬프트 말미에 어떤 JSON 형태로 반환해 달라고 직접 정의를 해줘야 했습니다.

 

만약 일종의 JSON 변환기가 있다면, 이 부담을 쉽게 덜어낼 수 있지 않을까요?

 

이를 위해 Spring AI에서는 BeanOutputConverter를 정의하고 있습니다.

 

1. BeanOutputConverter 생성

Spring AI의 BeanOutputConverter 클래스

 

마지막에 있는 BeanOutputConverter(Class<T> clazz)를 통해, 특정 클래스에 맞는 형태로 변환할 수 있습니다. (해당 코드를 더 보시면, 커스텀 objectMapper도 받을 수 있습니다.)

 

2. getFormat 함수 호출

getFormat 함수

 

getFormat 함수에서는 LLM에게 전달할 명령어를 포함하여 일종의 프롬프트로 만들어냅니다.

 

즉, 요구하는 json 스키마에 맞추어 응답하라고 명령할 수 있게 됩니다. (저희가 직접 JSON으로 응답해야 한다고 작성하지 않아도 됩니다.)

 

3. convert 함수 호출

convert 함수

 

이후, convert 함수에서 주어진 text를 objectMapper를 이용하여 클래스로 만들어냅니다. 반환 도중 예외 (JsonProcessingException)가 발생할 시 일반적인 RuntimeException이 발생합니다.

 

정리

따라서 BeanOutputConverter를 이용하는 순서는 아래와 같습니다.

1. BeanOutputConverter를 요구하는 클래스에 맞게 선언
2. getFormat 함수를 호출하여 프롬프트 꺼내기, LLM에 전달
3. 반환된 LLM 응답을 convert 함수를 호출하여 요구하는 클래스로 변환

 

이미지 분석하기

원리

다음으로는 이미지 분석에 대해 알아보겠습니다.

 

처음에는 이미지와 관련되기 때문에 chat 관련 부분이 아니라 image 관련 부분을 알아봐야 하는 것으로 생각했었는데, Spring AI의 image는 이미지를 만들어내는 데 집중되어 있으며, 이미지를 분석하는 것은 chat과 관련되어 있다는 사실을 발견하였습니다.

 

저희는 이미지에 대한 정보를 URL로써 제공할 것으로 설정합니다. ChatClient에는 두 가지의 prompt 방식이 있는데, Promt 인자를 받는 방식과 받지 않는 방식이 있습니다.

 

그리고 Prompt 인자를 받지 않는 방식은 ChatClientRequestSpec을 반환하며, Prompt 인자를 받는 방식은 ChatClientPromptRequestSpec을 받습니다.

 

Spring AI의 ChatClient (하단에 두 prompt 함수 위치)

 

예전에 Spring AI 글을 작성했을 때 보신 분들은 알겠지만, Prompt는 일반 채팅 메시지를 의미합니다.

 

그렇기에 만약 파일을 올리는 등 부가적인 정보를 넘기고자 한다면, Prompt를 받지 않는 prompt 함수를 사용해야 합니다.

 

이 말은 곧 PromptTemplate의 이점을 누릴 수 없다는 뜻이기도 합니다. 물론 프롬프트 (텍스트)를 만드는 과정에서 부분적으로 PromptTemplate을 쓸 수도 있겠지만, prompt 함수를 이용할 때에는 첫 번째의 prompt 함수를 써야 합니다. (파일 등 부가 정보가 필요하다면)

 

Prompt를 받는 함수의 반환인 ChatClientPromptRequestSpec은 별도의 정보를 추가할 수 없으며, 바로 call을 하여 응답을 받는 것만 나옵니다.

ChatClientPromptRequestSpec

 

반면 Prompt를 받지 않는 함수의 반환인 ChatClientRequestSpec에서는 연쇄적으로 추가 정보를 작성할 수 있는 게 보이며, 이 중 Consumer<PromptUserSpec> consumer를 받는 함수를 이용하면 파일 정보를 붙일 수 있습니다.

 

ChatClientRequestSpec

 

이는 PromptUserSpec에 media를 받을 수 있는 함수가 있기 때문입니다.

PromptUserSpec

 

실습 (JSON 컨버터 포함)

그러면 이제 최종 실습을 해 보겠습니다.

 

1. 응답 DTO 정의

먼저, 프로젝트에 필요한 응답 DTO를 정의합니다.

 

저는 음식 분석에 맞게 FoodSearchResponse를 정의하고, 이를 리스트로 가지고 있는 PredictFoodSearchResponse를 추가로 정의하였습니다.

// eattofit > food > infrastructure > dto

public record PredictFoodSearchResponse(
        List<FoodSearchResponse> predictFoods
) {
}

public record FoodSearchResponse(
        String name,
        BigDecimal servingSize,
        String unit,
        BigDecimal kcal,
        BigDecimal carbohydrate,
        BigDecimal protein,
        BigDecimal fat,
        BigDecimal sodium
) {
}

 

2. FoodSearchManager 정의

다음으로는 응답을 받을 수 있도록 기능하는 구현체들을 추상화하기 위해 FoodSearchManager를 정의하였습니다. (향후 음식 AI 회사 등 다른 구현체가 들어올 수 있을 것이라 판단)

// eattofit > food > domain

public interface FoodSearchManager {

    PredictFoodSearchResponse search(String url);
}

 

3. FoodService 정의

FoodSearchManager를 서비스와 연결합니다.

// eattofit > food > application

@RequiredArgsConstructor
@Service
public class FoodService {

    private final FoodSearchManager foodSearchManager;

    public PredictFoodSearchResponse foodSearch(final String url) {
        return foodSearchManager.search(url);
    }
}

 

4. FoodController 정의

서비스를 컨트롤러와 연결합니다.

// eattofit > food > ui

@RequiredArgsConstructor
@RequestMapping("/api/foods")
@RestController
public class FoodController {

    private static final String IMAGE_URL = "image_url";

    private final FoodService foodService;

    @GetMapping("/search")
    public ResponseEntity<PredictFoodSearchResponse> search(final @RequestParam(value = IMAGE_URL) String imageUrl) {
        PredictFoodSearchResponse response = foodService.foodSearch(imageUrl);
        return ResponseEntity.ok()
                .body(response);
    }
}

 

5. OpenAiFoodSearchManager 정의 (핵심)

FoodSearchManager를 구현한 OpenAiFoodSearchManager를 작성합니다.

 

AiConfig.java를 통해 OpenAI 전용의 ChatClient를 받았으니, 주입할 수 있게 됩니다.

 

// eattofit > food > infrastructure

@RequiredArgsConstructor
@Component
public class OpenAiFoodSearchManager implements FoodSearchManager {

    private final ChatClient chatClient;

    @Override
    public PredictFoodSearchResponse search(final String url) {
        BeanOutputConverter<PredictFoodSearchResponse> parser = new BeanOutputConverter<>(PredictFoodSearchResponse.class);

        String response = chatClient.prompt()
                .user(userSpec -> {
                    try {
                        userSpec.text(
                                """
                                <role>
                                너는 20년 이상 음식 경력을 가진 요리사 겸 영양사다. 음식 사진을 주면, 제공된 format에 맞춰 응답해야 한다.
                                </role>
                                <instruction>
                                1. 예측 가능한 음식은 최소 3개 이상 나와야 한다.
                                2. unit은 'g'로 고정한다.
                                3. servingSize는 gram 기준으로 계산한다.
                                4. servingSize, kcal, carbohydrate, protein, fat, sodium은 모두 소수점 둘째 자리까지 표현되어야 한다.
                                5. 소수점 둘째 자리들로 표현을 할 때, 이것들이 모두 0으로 된 경우가 아닌 경우도 있을 수 있다. (0으로 된 경우가 있을 수도 있다.)
                                6. name은 한글 기준으로 나와야 한다.
                                </instruction>
                                <example>
                                예시 응답을 알려주겠다. 예시 응답과 같은 음식이 나오더라도 이 예시 값을 똑같이 활용하지는 마라.
                                {
                                    "predictFoods": [
                                        {
                                            "name": "비빔밥",
                                            "servingSize": 488.02,
                                            "unit": "g",
                                            "kcal": 635.31,
                                            "carbohydrate": 97.13,
                                            "protein": 24.21,
                                            "fat": 16.23,
                                            "sodium": 1248.24
                                        },
                                        {
                                            "name": "산채비빔밥",
                                            "servingSize": 433.24,
                                            "unit": "g",
                                            "kcal": 596.83,
                                            "carbohydrate": 93.21,
                                            "protein": 17.82,
                                            "fat": 16.23,
                                            "sodium": 1135.35
                                        },
                                        {
                                            "name": "돌솥비빔밥",
                                            "servingSize": 430.24,
                                            "unit": "g",
                                            "kcal": 656.51,
                                            "carbohydrate": 93.23,
                                            "protein": 17.39,
                                            "fat": 18.66,
                                            "sodium": 1135.35
                                        }
                                    ]
                                }
                                </example>
                                format은 아래와 같다.
                                """ + parser.getFormat())
                                .media(MimeTypeUtils.IMAGE_JPEG, new UrlResource(url));
                    } catch (MalformedURLException e) {
                        throw new BadImageUrlException();
                    }
                })
                .call()
                .content();
        return parser.convert(response);
    }
}

 

• ChatClient를 주입받았습니다.
• PredictFoodSearchResponse에 맞춘 BeanOutputConverter를 정의하였습니다.
• chatClient.prompt()를 호출하고, user 메서드를 호출함과 동시에 userSpec을 이용하여 기본 프롬프트를 작성했습니다.
  • 프롬프트 마지막에는 BeanOutputConverter의 json 스키마를 넣었습니다.
  • media 메서드를 이용하여 파일 정보를 넣었습니다. 파일의 URL을 넣고, 전달은 IMAGE_JPEG로 고정하였습니다.
  • 당근에서의 LLM 사용 사례를 참고하여 프롬프트를 작성해 봤습니다. 역할을 부여하고, 명령을 부여한 뒤 예시를 제공하였습니다.
• call() 메서드를 통해 응답을 받고, content() 메서드를 호출하여 응답 본문을 받습니다. (String)
• BeanOutputConverter의 convert 메서드를 통해 PredictFoodSearchResponse을 반환하도록 하였습니다.

 

결과

최종적으로 버거 사진을 주고 테스트해 보면, 아래와 같이 dto에 맞추어 반환됨을 보실 수 있습니다.

postman에서의 예

 

이것을 통해 이미지 분석, DTO 파싱, 파일 전송 등을 배울 수 있었습니다. 읽어주신 분들 감사드립니다!

 

추가로 현재 프롬프트가 직접 text로 관리하는 부담이 있습니다. 이를 개선하기 위해 스프링의 AOP를 이용하여, 파일 (프롬프트)의 주소만 넣으면 해당 파일의 내용을 조회해 주는 기능을 개발하고자 합니다. 이 부분은 AOP와 관련 있기 때문에 별도의 글에서 다루겠습니다.

 

Reference

• From Prompts to Reality: Exploring Multimodal AI with Spring AI & DALL-E
• 진행한 EatToFit Pull Request (코드가 살짝 다를 수 있으며, 테스트 코드도 포함되었습니다.)