온디바이스 기반 모델에 대한 프롬프트 디자인 및 안전성 살펴보기

안녕하세요, 저는 인간 중심 AI 연구자인 Mary Beth입니다 저는 AI 안전 엔지니어인 Sprite입니다 새 파운데이션 모델 프레임워크로 앱을 위한 생성형 AI 경험을 매우 쉽게 디자인할 수 있습니다 생성형 AI는 흥미로운 기술입니다 핵심 과제는 다양한 실제 상황 에서도 앱 사용자에게 잘 작동하는 강력한 경험을 만드는 것입니다 다행히 Mary Beth와 제가 도움이 될 지침을 준비했습니다 네, 디자이너이든 엔지니어든 이 세션이 도움이 될 것입니다 시작하기 전에 방향을 잡는 의미로 프롬프트와 LLM을 살펴보겠습니다 프롬프트는 생성형 AI 모델에 입력해 응답을 이끌어 내기 위한 텍스트 내용입니다 동료에게 메시지를 보내듯 사람들이 쓰는 자연어로 작성하죠

여기서 문자열 변수로 프롬프트를 “여우에 대한 잠자리 동화를 만들어 줘”로 작성했습니다 저는 이 프롬프트를 영어로 작성했지만 Apple Intelligence에서 지원하는 모든 언어로 가능합니다 다음으로 언어 모델 세션에 대해 프롬프트를 실행할 코드를 살펴보겠습니다 이것을 실행하면 모델이 상세하고 상상력이 가미된 잠자리 동화로 응답합니다 멋지네요! 여기서 무엇이 진행되는지 자세히 살펴보겠습니다 새 파운데이션 모델 프레임워크를 사용하면 프롬프트가 온디바이스 대형 언어 모델(LLM)로 전송됩니다 LLM은 텍스트 추론 및 생성이 가능하고 범용이며 iOS, iPadOS, macOS 및 visionOS의 운영 체제에 내장되어 있습니다 실제로 이와 동일한 언어 모델이 Apple Intelligence에서 글쓰기 도구 등에 사용됩니다 내부를 보면 Apple Intelligence도 모델 지시에 프롬프트를 사용하죠 프롬프트와 LLM이 무엇인지 대략적으로 알아보았으니 이 세션에서 다룰 내용을 본격적으로 살펴보겠습니다 먼저 사용할 온디바이스 언어 모델별로 디자인 전략을 살펴본 다음 프롬프트 모범 사례를 알아보겠습니다 이후 Sprite가 AI 안전을 위한 디자인 과정을 안내하고 마무리로 품질 및 안전을 위한 프롬프트 평가 및 테스트 전략을 설명하겠습니다 그럼 시작하겠습니다 먼저 온디바이스 LLM의 디자인에 대해 살펴보겠습니다 이 모델은 기기에 저장되어 있고 여러 일반 언어 작업에 사용하는데 예를 들면 요약, 분류 멀티턴 대화 텍스트 구성, 텍스트 수정 텍스트로 태그 생성 등입니다 다만 명심할 점은 이 대형 언어 모델이 소형 기기 규모에 맞게 최적화되고 압축되어 있다는 것입니다 온디바이스 모델은 약 30억 개의 매개변수로 구성됩니다 어떤 기준에서도 30억 개라면 거대한 머신 러닝 모델 규모입니다 하지만 관점을 바꿔서 이 서클이 ChatGPT와 같은 인기 LLM이라고 상상해 보세요 현재 이와 같은 LLM은 수백억 개의 매개변수로 구성되며 대규모 서버에서 실행됩니다 오늘날 이러한 규모 차이는 온디바이스 LLM이 대규모 서버 기반 LLM만큼 기능할 수는 없음을 의미합니다 우선 대규모 LLM을 통한 작업은 소규모 모델에서 똑같이 작동하지 않을 수 있습니다 복잡한 추론 작업에 대해 시스템 모델에서 양호한 결과가 나오지 않는다면 작업 프롬프트를 더 간단한 단계로 나눠 보세요 수학 관련 작업의 경우 이러한 소규모 모델에 계산기 역할을 요청하는 것은 피해야 합니다 수학에는 비 AI 코드를 훨씬 더 신뢰할 수 있습니다 시스템 모델은 코드에 최적화되어 있지 않습니다 따라서 코드 생성 작업도 피하세요

다음으로 시스템 모델은 규모가 작기 때문에 세계 지식이 한정적입니다 예를 들어 이러한 모델은 학습 날짜 이후에 일어난 최근 이벤트에 대해 알지 못합니다 철저한 검증 없이 시스템 모델이 베이글 등 특정 주제에 대해 말하는 사실을 완전히 신뢰하지 마세요 모델에게 인기 베이글 맛 10가지를 나열하라고 요청하겠습니다

그리고 이것이 제 프롬프트에 대해 모델이 생성한 내용입니다 모델은 베이글을 알고 있지만 플레인 베이글에 각종 토핑이 들어간다고 설명하는군요 틀린 내용이죠 이 모델은 베이글 백과사전으로 사용해서는 안 됩니다 완벽히 정확하지 않으니까요 하지만 이 정도 수준의 지식은 베이커리 게임 같은 몇몇 용도로는 적합할 수 있습니다 예를 들어 이 모델을 사용하여 베이글을 주문하는 고객을 위한 대화를 생성할 수 있습니다 모델이 실수를 하더라도 게임에서 이상한 베이글 맛은 허위라기보다 재미있다는 느낌을 줄 수 있습니다 다음으로 환각의 영향을 이해하는 것이 중요합니다 모델은 알지 못하는 지식에 대해 환각 현상을 보일 수 있습니다 환각은 완전한 허위 답변 작성을 뜻하는 기술 용어입니다 지침처럼 사실이 중요한 경우에는 허위 사실을 내놓을 수 있는 환각을 경계하세요 사실 확인을 시스템 언어 모델에 의존하지 마세요 사실을 생성하려면 검증된 정보로 작성한 프롬프트를 모델에 제공하는 방식을 고려하세요 새 프롬프트를 작성할 때마다 출력값이 사실인지 확인하세요 현재 이 모델의 특별 기능으로 다양한 상황에서 신뢰성을 향상할 수 있습니다 바로 유도 생성입니다 파운데이션 모델 프레임워크로 유도 생성을 통해 문자열, 숫자, 배열, 사용자가 정의한 맞춤형 데이터 구조 등 모델이 생성해야 하는 내용을 제어할 수 있습니다 유도 생성 작동 방식에 대한 자세한 내용은 파운데이션 모델 프레임워크 세션을 참고하세요 다음은 프롬프트 모범 사례를 이야기해 보겠습니다 프롬프트 엔지니어링은 중요합니다 추가로 학습하면 더 좋은데요 여기서는 시작에 도움이 되는 모범 사례를 살펴보겠습니다 먼저 사용자는 시스템 모델이 생성하는 콘텐츠의 양을 모델에 지시해 제어할 수 있습니다 프롬프트가 “여우에 대한 잠자리 동화를 만들어 줘”인데

한 문단으로 만들라고 프롬프트를 바꾸겠습니다

그러면 훨씬 짧은 잠자리 동화가 나옵니다 “세 문장으로”, “몇 마디로” 등의 문구로 출력을 줄입니다 “자세히” 같은 문구를 사용하면 생성되는 출력이 길어집니다 또 프롬프트에서 역할을 지정하면 모델이 생성하는 텍스트의 스타일 및 어조를 제어 가능합니다 여우가 셰익스피어 시대 영어를 쓴다고 모델에 알려 주겠습니다

그러면 그대로 적용됩니다 모델이 성공적으로 셰익스피어 시대 여우 역할을 맡아 그 캐릭터처럼 귀여운 일기장 글을 작성했습니다 모델은 프롬프트에 따라 다양한 역할을 수행할 수 있습니다 이 모델이 훈련받은 방식을 기반으로 추가 팁을 알려 드리겠습니다 먼저 프롬프트를 명확한 명령으로 구문화하세요 전반적으로 모델은 상세한 특정 작업 하나를 받을 때 최고의 성능을 발휘합니다 원하는 종류의 출력을 다섯 가지 미만의 예시로 모델에 제공했을 때 작업 성능이 향상됩니다 그러한 예시의 내용을 프롬프트로 직접 작성하세요 마지막으로, 더 이상 원치 않는 출력이 보인다면 모델은 전체 대문자 명령을 중요하게 받아들입니다 “DO NOT” 같은 식이죠 엄한 어조로 모델에게 말하는 셈입니다

실험해 볼 준비가 되었다면 프롬프트를 활용해 보기 좋은 곳은 Xcode의 새 Playground 기능입니다 프로젝트의 코드 파일에 #Playground를 추가하고 언어 모델 세션으로 프롬프트를 작성하면 됩니다 오른쪽 캔버스에 모델의 응답이 즉시 나타납니다 Swift UI 미리보기와 같습니다 앱에서 가장 잘 작동하는 프롬프트를 확인하는 실험에 좋은 방법입니다 이러한 프롬프트 엔지니어링 모범 사례는 프롬프트와 지침 모두에 적용할 수 있습니다 지침은 파운데이션 모델 프레임워크의 두 번째 프롬프트 종류인데 목적은 약간 다릅니다 언어 모델 세션을 만들 때 지침을 인수로 포함할 수 있습니다 지침은 모델이 어떻게 행동해야 하는지, 모든 후속 프롬프트에 어떻게 응답해야 하는지 모델에 알려 주는 특별한 프롬프트입니다 여기 제가 작성한 지침이 있습니다 “너는 청소년을 위한 무서운 이야기를 만드는 조수야”죠 효과를 볼까요

간단한 프롬프트로 생성했던 원래 잠자리 동화는 이런 내용이었습니다 지침을 추가하면 모델은 다른 모든 프롬프트보다 지침을 우선 받아들입니다 이제 잠자리 동화를 생성하기 위한 프롬프트를 보내면 잠자리 동화의 어조가 크게 바뀌어 지침에 맞게 이야기가 무서워집니다

모델에 계속 프롬프트를 보낼 수 있으며 지침은 유지됩니다 “베이글에 대한 시를 써 줘” 라는 프롬프트를 보내겠습니다 예상대로 모델은 베이글에 대한 오싹하고 무서운 시를 생성합니다 그러면 상호작용에 대한 언급으로 프롬프트 논의를 끝내겠습니다 앱 디자이너만 프롬프트를 작성하라는 법은 없습니다 지침과 프롬프트를 함께 사용하면 대화형 모델 세션을 만들어 앱 사용자도 프롬프트를 작성하도록 할 수 있습니다 한번 살펴보겠습니다 일기 앱을 빌드한다고 생각해 보죠 먼저 언어 모델에 지침을 제공하겠습니다 “너는 사용자가 일기를 쓰는 데 유용한 조수고 이를 위해 사용자의 하루에 대해 질문해”라고요 이제 저는 앱 사용자가 모델에 대한 프롬프트로 직접 일기를 시작하도록 하려고 합니다 사용자가 “휴, 힘든 하루였어”라고 하면 이제 모델은 일기 프롬프트로 응답합니다 “뭐 때문에 힘들었나요?”처럼요 이 시나리오에서 사용자의 입력을 모델의 프롬프트로 가져올 때 사용자가 어떤 내용을 입력할 지 알 수 없습니다 프롬프트는 안전에 영향을 줍니다 우연히든 의도적으로든 사용자가 제공한 입력 때문에 모델이 도움이 되지 않거나 유해한 방식으로 응답할 수 있습니다 AI 안전에 대한 자세한 내용은 Sprite가 설명해 드릴 것입니다 고맙습니다, Mary Beth Mary Beth가 온디바이스 모델을 최대한 활용하여 좋은 프롬프트를 작성하는 방법을 알려 드렸습니다 프롬프트 디자인은 안전 도구 상자의 첫 번째 도구입니다 안전을 고려해 앱을 디자인하는 방법을 자세히 알아보겠습니다 Apple Intelligence 기능에 대한 일련의 원칙이 마련되어 있습니다 Apple 핵심 가치를 반영한 내용이죠 파운데이션 모델 프레임워크를 디자인할 때도 이 원칙을 따릅니다 여러분이 앱을 위해 매력적이고 안전한 경험을 만들 수 있도록요 여러분이 사용자가 마음껏 상상할 수 있는 앱을 만들도록요 아이들을 위한 잠자리 동화를 생성하는 앱이든 꿈의 휴가를 계획하는 앱이든요 생성형 AI는 오용될 수도 있고 해를 끼칠 수도 있습니다 파운데이션 모델 프레임워크에는 안전한 앱 경험을 만들도록 일종의 가드레일이 있습니다 앱의 사용 사례에 따라 발생할 수 있는 문제도 잘 생각해 보시기 바랍니다 우리는 개인정보 보호를 고려해 모델과 프레임워크를 디자인했죠 그리고 고정 관념과 체계적 편향이 영구적으로 자리 잡지 않도록 모델을 지속적으로 개선하고 있습니다 이제 가드레일을 살펴보겠습니다 파운데이션 모델 프레임워크에는 Apple에서 훈련한 가드레일이 있어 사용자가 최악의 상황을 걱정할 필요가 없습니다 가드레일은 모델의 입력과 출력 모두에 적용됩니다 지침, 프롬프트 및 도구 호출 모두 모델에 대한 입력으로 간주됩니다 가드레일은 유해한 입력을 차단하도록 디자인되었습니다 모델의 출력도 가드레일의 보호 대상입니다 덕분에 유해한 모델 출력이 차단됩니다 입력 가드레일을 우회하게 작성된 프롬프트라도 마찬가지입니다

Swift에서 안전 오류를 포착하는 방법은 이러합니다 오류가 발생하면 앱 사용자에게 이 사실을 어떻게 전달할지 생각해야 합니다 기능이 선제적이라면 달리 말해 사용자가 명령한 것이 아니라면 오류를 무시하면 되며 예상치 못한 정보로 UI를 방해할 필요가 없습니다

사용자 주도 기능, 특히 사용자가 기다리는 기능이면 적절한 UI 피드백을 제공하여 앱이 요청을 처리할 수 없음을 반드시 설명해야 합니다 간단한 알림을 표시할 수도 있고 이 기회를 활용해 대체 동작을 제공하여 사용자가 선택하게 할 수도 있죠 예를 들어 Image Playground에서는 안전 오류를 유발한 프롬프트를 사용자가 쉽게 취소할 수 있습니다 파운데이션 모델 프레임워크는 좋은 출발점이지만 앱의 경험은 여전히 여러분의 책임입니다 사용자가 신뢰할 수 있도록 기대에 맞는 적절한 콘텐츠를 만들어야 합니다

앱 사용자의 신뢰를 구축하는 세 가지 요소는 이러합니다 앱이 부적절한 콘텐츠를 생성하지 않도록 하세요 파운데이션 모델 프레임워크의 가드레일이 그러한 콘텐츠를 차단합니다 또한 사용자 입력을 주의해서 처리해야 합니다 이를 위해서는 지침과 프롬프트를 신중하게 작성해야 합니다

그리고 사용자가 앱의 응답에 따라 행동했을 때 어떻게 될지 어떤 영향을 미칠지도 생각하세요 어떻게 해야 할지 참고할 수 있도록 나중에 예를 알려 드리죠 일단 Mary Beth가 앞서 보여 드린 일기 예시로 돌아가 보겠습니다 우리 모델은 프롬프트보다 지침을 우선시하게 훈련되었습니다 그래서 응답 안전성을 향상하려면 지침에 조치하는 것이 좋습니다

여기 문장을 추가하여 부정적인 프롬프트에 공감은 하지만 건전한 내용으로 응답하라고 모델에 알려 줍니다 이렇게 새로운 지침으로 모델 출력이 어떻게 조정되는지 볼 수 있습니다 완벽한 예방책은 아니지만 안전 지침을 주의 깊게 작성하면 앱의 응답 품질이 향상됩니다 반드시 여러분만 지침을 만들고 신뢰할 수 없는 콘텐츠 또는 사용자 입력은 포함하지 않아야 합니다 대신 여러분의 프롬프트에 사용자 입력을 포함할 수 있습니다 한번 살펴보겠습니다 일반적인 패턴은 사용자 입력을 직접 프롬프트로 사용합니다 앱 사용자에게 입력을 받는 챗봇을 생각해 보세요 이 패턴은 매우 유연하지만 안전 위험도 있습니다 이 패턴이 필요하다면 다양한 사용자 입력을 주의해 처리하도록 모델에 미리 지침을 제공해야 합니다 유연성을 저해하지 않고 위험을 줄이는 좋은 방법은 여러분의 프롬프트와 사용자 입력을 결합하는 것입니다 앱에서 내장된 프롬프트 목록을 제공해 사용자가 선택하게 하면 더 좋은데, 여러분이 프롬프트를 완벽히 제어할 수 있기 때문입니다 다른 패턴만큼 유연하지는 않지만 앱에 적합하면서 모델이 좋은 응답을 생성하게 하는 일련의 프롬프트를 엄선할 수 있는 방법입니다 훌륭한 지침을 작성하고 사용자 입력을 주의 깊게 처리해도 앱에는 안전 위험이 존재합니다 사용자가 앱에서 콘텐츠를 생성하고자 동작을 취할 때의 영향과 결과를 예상해야 합니다 몇 가지 예를 살펴보겠습니다

이것은 Mary Beth가 보여 드린 베이글 맛 생성 프롬프트입니다

사용자가 앱을 사용할 때의 잠재적인 위험은 모델이 말한 베이글 맛에 견과류, 마늘처럼 알레르기 유발요소가 있다는 거죠 이를 완화할 한 가지 방법은 UI에 알레르기 경고를 표시하는 것입니다 또는 설정을 추가하여 사용자가 앱에서 식이 제한 사항을 설정해 모델의 레시피를 필터링하도록 할 수도 있습니다

또 다른 예는 퀴즈 생성 앱을 빌드하는 경우입니다 논란의 여지가 있거나 이질적이라 대상자에게 부적절한 주제에 대한 질문을 생성하지 않도록 해야 할 수 있습니다 별도의 지침을 추가하거나 거부 키워드 목록을 작성하는 것을 고려하세요 여러분이 ML 전문직이라면 더욱 강력한 솔루션을 위해 분류기를 훈련할 수도 있습니다 자체 사용 사례에 대한 완화책을 적용하는 것은 궁극적으로 여러분의 책임입니다 다른 많은 안전 시스템처럼 지금까지 우리가 논의한 것은 적층식 접근 방식입니다 모든 계층에서 문제를 놓쳤을 때만 안전 문제가 발생하는 형태입니다 이들 계층들은 스위스 치즈 조각을 쌓아 놓은 것 같은 구조입니다 조각마다 구멍이 있기는 하지만 치즈 전체의 구멍이 한 줄이어야 무언가가 떨어질 수 있습니다 이제 안전 도구 상자를 열어 보죠 스택의 기초 계층은 파운데이션 모델 프레임워크에 내장되어 있는 가드레일입니다 여러분은 지침을 통해 모델에 안전성을 추가합니다 이러한 지침은 프롬프트보다 우선합니다 또한 여러분은 모델 프롬프트에 사용자 입력을 포함하는 방법을 제어할 수 있게 앱을 디자인합니다 마지막으로 여러분은 자체 사용 사례 완화책을 구현합니다 앱 빌드 시 생성형 AI를 사용하는 또 다른 중요한 단계는 평가와 테스트입니다

이를 위해 품질과 안전을 위한 데이터 세트를 엄선할 수 있습니다 앱의 모든 주요 사용 사례를 아우르는 프롬프트를 수집하세요 안전 문제를 유발할 수 있는 프롬프트도 수집해야 합니다

데이터 세트가 준비되었으면 이것을 기능의 처음부터 끝까지 실행하는 자동화를 디자인합니다 전용 명령 라인 도구나 이 목적의 UI 테스터 앱을 만들면 좋습니다

소규모 데이터세트의 경우 각 응답을 수동으로 검사하여 문제가 있는지 확인할 수 있습니다 검사를 대규모 데이터세트로 확장하려면 다른 대규모 언어 모델을 사용해 자동으로 응답에 점수를 매기도록 하는 방법을 탐색할 수 있습니다 앱에서 부적절 경로를 테스트하는 것도 잊지 마세요 안전 오류가 있을 때 앱의 동작이 예상대로인지 확인하는 작업입니다

평가와 테스트에 투자하면 여러분의 프롬프트 업데이트와 Apple의 모델 업데이트 과정에서 시간 경과에 따른 개선이나 퇴화를 추적할 수 있습니다 이를 통해 앱에 있는 지능형 기능의 품질과 안전에 자신감을 가질 수 있습니다 Apple은 계속 모델과 안전 시스템을 업데이트하여 최신 모범 사례를 따르고 안전 문제를 해결할 예정입니다 앱을 개발할 때 안전 문제가 발생하면 피드백 지원을 통해 이러한 문제를 보고할 수 있습니다 앱 기능에 대한 사용자 피드백을 수집하는 자체 UI를 만들 수도 있습니다 이때 앱에서 수집되는 데이터가 무엇인지 이 데이터가 어떻게 사용되는지 사용자에게 명확히 알려야 합니다 앱의 데이터 수집 및 개인정보 보호 관련 자세한 내용은 Apple 개발자 웹사이트에 있습니다 오늘 많은 내용을 다루었는데요 안전 주제를 마무리하면서 고려할 체크리스트를 드리겠습니다 앱은 모델에 프롬프트를 제공할 때 가드레일 오류를 처리해야 합니다 안전은 여러분 지침의 일부여야 합니다 프롬프트에 사용자 입력을 넣을 때 유연성과 안전 사이에서 어떻게 균형을 맞출지 생각해 보세요 사용자가 지능형 기능을 사용할 때의 영향을 예상하여 사용 사례별 완화책을 적용하세요 평가와 테스트에 투자하면 앱에 있는 지능형 기능의 품질과 안전에 자신감을 가질 수 있습니다 마지막으로 피드백을 통해 안전 문제를 알려 주세요 이상으로 AI 안전 세션을 마칩니다 여러분이 앱에서 생성형 AI로 무엇을 만들어낼지 기대됩니다 도움이 될 추가 리소스와 도구를 알려 드리겠습니다 새 Xcode 인라인 플레이그라운드 기능을 프롬프트 엔지니어링에 사용해 보세요 오늘 앱의 안전에 대해 많은 권장 사항을 알려 드렸는데요 파운데이션 모델의 내장 안전 완화책 등 Apple의 책임감 있는 AI 접근 방식에 대한 자세한 내용은 machinelearning.apple.com의 심층 문서에서 확인할 수 있습니다 마지막으로, 새로운 생성형 AI 디자인 지침과 휴먼 인터페이스 가이드라인을 참고하세요 프롬프트와 안전 세션이었습니다 즐거운 프롬프팅 되세요! 안전이 최우선임을 명심해 주세요!