Thiết lập chế độ nâng cao ChatGPT trong Playground
Hiểu về Temperature, Top P, Maximum length để điều chỉnh nâng cao ChatGPT trong Playground
Giới thiệu
Chúng ta có thể sử dụng một số cài đặt LLM nhất định để kiểm soát các khía cạnh khác nhau của mô hình, chẳng hạn như mức độ ‘ngẫu nhiên’ của nó. Những cài đặt này có thể được điều chỉnh để tạo ra sản phẩm sáng tạo, đa dạng và thú vị hơn.
Cài đặt Temperature, Top P và Maximum Length là quan trọng nhất, nhưng chúng ta cũng sẽ mô tả mọi cài đặt mà OpenAI Playground cho phép bạn sửa đổi.
Temperature
Temperature điều chỉnh tính không thể đoán trước của đầu ra của mô hình ngôn ngữ. Với cài đặt Temperature cao hơn, kết quả đầu ra trở nên sáng tạo hơn và ít dự đoán hơn vì nó khuếch đại khả năng xảy ra các mã thông báo ít có khả năng xảy ra hơn đồng thời giảm khả năng đó đối với các mã thông báo có khả năng xảy ra cao hơn. Ngược lại, Temperature thấp hơn mang lại kết quả bảo toàn hơn và có thể dự đoán được. Ví dụ sau minh họa những khác biệt này ở đầu ra:
10 điều kỳ lạ, độc đáo và thú vị để làm ở bãi biển là gì? Tạo một danh sách không có mô tả.
1. Xây lâu đài cát
2. Nhặt vỏ sò
3. Chơi bóng chuyền bãi biển
4. Thả diều
5. Đi dã ngoại
6. Thử chèo thuyền
7. Chơi ném đĩa
8. Lặn với ống thở
9. Đi bộ dài dọc bờ biển
10. Ngắm hoàng hôn
1. Lội trong vùng nước nông thổi bong bóng kẹo cao su
2. Tạo tác phẩm điêu khắc lâu đài cát phức tạp
3. Tham gia một trận bóng chuyền bãi biển ngẫu hứng
4. Đi bộ ngắm cảnh dọc theo vách đá gần đó
5. Quan sát mọi người và đoán câu chuyện liên quan đến bãi biển của mỗi người
6. Thu thập vỏ sò để tạo ra tác phẩm nghệ thuật bãi biển của riêng bạn
7. Học lướt sóng hoặc thử các môn thể thao dưới nước khác
8. Bắt đầu cuộc chiến trên cát tự phát
9. Thử câu cá ven bờ như người dân địa phương
10. Tham gia cạnh tranh thân thiện bằng cách tổ chức cuộc thi xây lâu đài cát
Đầu ra được tạo ra với cài đặt Temperature cao hơn mang lại danh sách các hoạt động đa dạng và giàu trí tưởng tượng hơn để thực hiện trên bãi biển. Điều này có thể rất hữu ích cho việc viết sáng tạo.
Nếu bạn điều chỉnh Temperature quá cao, bạn có thể nhận được kết quả đầu ra vô nghĩa như Bắt đầu cuộc thi chạy bóng chày bằng bóng xốp gần Bãi biển Becksmith Stein Man.
Top P
Top P là một cài đặt trong mô hình ngôn ngữ giúp quản lý tính ngẫu nhiên của đầu ra. Nó hoạt động bằng cách thiết lập ngưỡng xác suất và sau đó chọn các mã thông báo có khả năng kết hợp vượt quá giới hạn này.
Ví dụ: hãy xem xét một ví dụ trong đó mô hình dự đoán từ tiếp theo trong: Con mèo trèo lên ___. 5 từ hàng đầu mà nó có thể xem xét có thể là cây (xác suất 0,5), máy nhà (xác suất 0,25), tường (xác suất 0,15), cửa sổ (xác suất 0,07) và thảm, với xác suất là 0,03.
Nếu chúng ta đặt Top P thành .90, AI sẽ chỉ xem xét những mã thông báo có tổng cộng tối thiểu ~90%. Trong trường hợp của chúng ta:
- Thêm cây-> tổng số cho đến nay là 50%.
- Sau đó cộng mái nhà-> tổng trở thành 75%.
- Tiếp theo đến tường, và bây giờ tổng của chúng tôi đạt đến 90%.
Vì vậy, để tạo đầu ra, AI sẽ chọn ngẫu nhiên một trong 3 tùy chọn này (cây, máy nhà, và tường) vì chúng chiếm khoảng ~90% tổng số khả năng. Phương pháp này có thể tạo ra kết quả đầu ra đa dạng hơn so với các phương pháp truyền thống lấy mẫu từ toàn bộ từ vựng một cách bừa bãi vì nó thu hẹp các lựa chọn dựa trên xác suất tích lũy thay vì mã thông báo riêng lẻ.
Maximum Length (Chiều dài tối đa)
Độ dài tối đa là tổng số mã thông báo mà AI được phép tạo. Cài đặt này rất hữu ích vì nó cho phép người dùng quản lý độ dài phản hồi của mô hình, ngăn chặn các phản hồi quá dài hoặc không liên quan. Nó cũng giúp kiểm soát chi phí vì độ dài được chia sẻ giữa đầu vào trong hộp Playground và phản hồi được tạo.
Cài đặt LLM khác
Có nhiều cài đặt khác có thể ảnh hưởng đến đầu ra của mô hình ngôn ngữ, chẳng hạn như Stop Sequences (Trình tự dừng) cũng như các Frequency Penalty (Hình phạt về tần suất) và Presence Penalty (Hình phạt về sự hiện diện).
Stop Sequences (Trình tự dừng)
Frequency Penalty (Hình phạt về tần suất)
Frequency Penalty (Hình phạt về tần suất) là cài đặt không khuyến khích sự lặp lại trong văn bản được tạo bằng cách phạt các mã thông báo tương ứng với tần suất chúng xuất hiện. Mã thông báo được sử dụng trong văn bản càng thường xuyên thì AI càng ít có khả năng sử dụng lại mã thông báo đó.
Presence Penalty (Hình phạt về sự hiện diện)
Presence Penalty (Hình phạt về sự hiện diện) tương tự như hình phạt tần suất, nhưng phạt thẳng các mã thông báo dựa trên việc chúng có xảy ra hay không, thay vì theo tỷ lệ.
Determinism Note (Thuyết quyết định ngẫu nhiên)
Ngay cả khi Temperature và Top-P được đặt hoàn toàn về 0, AI có thể không đưa ra kết quả đầu ra chính xác như nhau mọi lúc. Điều này là do tính ngẫu nhiên trong tính toán GPU (bộ xử lý đồ họa) được thực hiện trong “bộ não” của AI.
Tổng Kết
Tóm lại, việc nắm vững các cài đặt như temperature, top p, maximum length và các cài đặt khác là điều cần thiết khi làm việc với các mô hình ngôn ngữ. Các tham số này cho phép kiểm soát chính xác đầu ra của mô hình để phục vụ cho các tác vụ hoặc ứng dụng cụ thể.
Chúng quản lý các khía cạnh như tính ngẫu nhiên trong phản hồi, độ dài phản hồi và tần suất lặp lại cùng nhiều yếu tố khác—tất cả đều góp phần cải thiện khả năng tương tác của bạn với AI.