Apple Intelligence의 새로운 기능

Foundation Models 프레임워크는 네이티브 Swift API로, Apple Intelligence를 구동하는 동일한 온디바이스 모델에 바로 접근할 수 있습니다. 이제, Apple Foundation Models, 클라우드 모델인 Claude나 Gemini, 또는 언어 모델 프로토콜을 준수하는 다른 제공자를 비롯하여 모든 언어 모델을 이용해 작업할 수 있습니다.

멀티모달 프롬프트는 이미지를 텍스트와 함께 전달하여 앱이 시각적 콘텐츠에 대해 추론할 수 있도록 합니다. 또한, OCR이나 바코드 리더와 같은 Vision 프레임워크 도구를 모델에서 바로 호출할 수 있습니다. 이 모든 건 온디바이스로 작동합니다. Dynamic Profiles를 이용해 모델이나 도구, 지침을 즉석에서 전환하면 앱의 동작이 지속적인 세션 내에 적용됩니다.

App Store Small Business Program에 등록했는데 App Store에서 앱의 최초 다운로드 건수가 총 2백만을 넘지 않았다면, 클라우드 API 비용 없이 비공개 클라우드 컴퓨팅에서 실행되는 차세대 Apple Foundation Models에 접근할 수 있습니다. 또한, Evaluations 프레임워크를 사용하면 AI 기능이 다양한 조건하에서 제대로 작동하는지 검증해 유닛 테스트만 사용했을 때보다 더 정확히 확인할 수 있습니다.

App Intents 프레임워크는 앱을 Apple Intelligence 및 Siri AI 같은 기능에 연결하는 방법입니다. App Intents 스키마를 도입하면 앱 콘텐츠의 노출도를 높이고 더 적은 코드로 자연어를 통해 기능을 활용할 수 있습니다. 이 스키마는 Siri가 깊이 이해하는 인식 가능한 구조로 수년간의 언어 모델 훈련을 기반으로 합니다.

엔티티 스키마는 앱의 콘텐츠를 Spotlight 시맨틱 인덱스에 제공해 개인 맥락을 이해하게 하고, 어트리뷰션은 다시 앱으로 연결됩니다. 또한, 인텐트 스키마를 사용하면 사람들은 자연스럽게 해당 콘텐츠에 대한 동작을 수행할 수 있습니다. Siri의 언어 이해 능력이 발전하고 새로운 언어와 지역 방언으로 확장됨에 따라 특정 단계에서 정의하고 코드를 변경할 필요가 없습니다. 스키마는 작업 관리, 사진 편집, 커뮤니케이션 등 일반적인 앱 카테고리를 다루고, 시스템에서 정의하기 때문에 개발자의 인텐트는 향후 업데이트의 이점을 누릴 수 있습니다.

새로운 View Annotations API는 이러한 모든 이점에 화면 인식 기능을 더해 뷰를 엔티티에 매핑하므로 사람들은 대화하듯 화면 속 내용을 참조하고 동작을 수행할 수 있습니다. 그리고 새로운 App Intents Testing 프레임워크를 사용하면 UI 자동화 없이 실제 시스템 경로를 통해 Siri부터 단축어, Spotlight까지 전반적인 통합을 검증할 수 있습니다. 덕분에 문제를 조기에 발견하고 자신있게 배포할 수 있습니다.

Image Playground는 비공개 클라우드 컴퓨팅에서 구동되는 강력한 새 생성형 모델로 재구상되어, 앱에서 바로 고품질의 이미지를 생성할 수 있도록 지원합니다. 사진처럼 정확한 이미지를 비롯하여 거의 모든 스타일의 이미지 생성이 가능합니다. 사진이나 설명에서 시작해서, 자연어 혹은 터치를 통해 이미지를 다듬고, 풍경이나 인물 사진 중 원하는 특성을 골라 더욱 다양한 환경에서 이미지를 생성할 수 있습니다. 이와 같은 새로운 기능은 전부 Image Playground API를 통해 앱에서 사용할 수 있습니다.

시각 지능이 앱의 콘텐츠 검색 기능을 어떻게 바꾸는지에 대한 인사이트를 얻어보세요. 엔티티를 정의하고, 이미지를 처리하며, 여러 결과 유형을 효과적으로 처리하는 방법을 알아볼 수 있습니다. 속도와 관련성을 최적화하는 모범 사례를 알아보고, 인텐트가 탭 한 번으로 콘텐츠를 열거나 플레이하는 등의 직접적인 작업을 가능하게 하는 방법을 확인하세요.