diff --git a/SharpToken.Tests/data/GptEncoderTestSamples.txt b/SharpToken.Tests/data/GptEncoderTestSamples.txt index ad8c7a7..820d2fc 100644 --- a/SharpToken.Tests/data/GptEncoderTestSamples.txt +++ b/SharpToken.Tests/data/GptEncoderTestSamples.txt @@ -62,3 +62,4 @@ wNb)I<>#:i^P]*cR8ytUx1Q`6O@z/ 😾😿🙀😽😼😻🙈🙉🙊👶👦👧👨👩👴👵👨‍⚕️👩‍⚕️ 🌞🌝🌚🌛🌜🌙⭐️🌟💫✨🔥💥☄️🌈☀️🌤️⛅️🌥️ 🍏🍎🍐🍊🍋🍌🍉🍇🍓🍈🍒🍑 +В цепочках поставок кейс-стадии, когда называются одна или несколько сторон, страдают от серьезных конфликтов интересов. Компании и их поддерживающие поставщики (программное обеспечение, консалтинг) имеют заинтересованность в представлении результата в положительном свете. Кроме того, фактические цепочки поставок обычно получают пользу или пострадают от случайных условий, которые никак не связаны с качеством их исполнения. Персонажи цепочки поставок - это методологический ответ на эти проблемы. diff --git a/SharpToken.Tests/data/TestPlans.txt b/SharpToken.Tests/data/TestPlans.txt index 47c71a2..fa73d67 100644 --- a/SharpToken.Tests/data/TestPlans.txt +++ b/SharpToken.Tests/data/TestPlans.txt @@ -254,6 +254,10 @@ EncodingName: r50k_base Sample: 🍏🍎🍐🍊🍋🍌🍉🍇🍓🍈🍒🍑 Encoded: [8582, 235, 237, 8582, 235, 236, 8582, 235, 238, 8582, 235, 232, 8582, 235, 233, 8582, 235, 234, 8582, 235, 231, 8582, 235, 229, 8582, 235, 241, 8582, 235, 230, 8582, 235, 240, 8582, 235, 239] +EncodingName: r50k_base +Sample: В цепочках поставок кейс-стадии, когда называются одна или несколько сторон, страдают от серьезных конфликтов интересов. Компании и их поддерживающие поставщики (программное обеспечение, консалтинг) имеют заинтересованность в представлении результата в положительном свете. Кроме того, фактические цепочки поставок обычно получают пользу или пострадают от случайных условий, которые никак не связаны с качеством их исполнения. Персонажи цепочки поставок - это методологический ответ на эти проблемы. +Encoded: [140, 240, 220, 141, 228, 16843, 140, 123, 15166, 141, 229, 31583, 16142, 141, 227, 12466, 123, 15166, 21727, 20375, 16142, 38857, 25443, 118, 12466, 118, 16843, 140, 117, 21727, 12, 21727, 20375, 16142, 43666, 18849, 18849, 11, 12466, 118, 25443, 111, 43666, 16142, 12466, 121, 16142, 140, 115, 45035, 38857, 16142, 141, 236, 20375, 21727, 40623, 12466, 122, 43666, 22177, 16142, 12466, 116, 30143, 18849, 12466, 121, 16843, 21727, 31583, 25443, 119, 45367, 31583, 15166, 220, 21727, 20375, 15166, 21169, 15166, 22177, 11, 220, 21727, 20375, 21169, 16142, 43666, 16142, 141, 236, 20375, 12466, 122, 20375, 220, 21727, 16843, 21169, 45367, 16843, 140, 115, 22177, 45035, 141, 227, 12466, 118, 15166, 22177, 141, 226, 30143, 18849, 31583, 20375, 25443, 110, 12466, 116, 22177, 20375, 16843, 21169, 16843, 21727, 25443, 110, 13, 12466, 248, 25443, 120, 140, 123, 16142, 22177, 18849, 18849, 12466, 116, 12466, 116, 141, 227, 12466, 123, 25443, 112, 43666, 16843, 21169, 140, 114, 18849, 38857, 16142, 141, 236, 141, 231, 18849, 16843, 12466, 123, 15166, 21727, 20375, 16142, 38857, 141, 231, 18849, 31583, 18849, 357, 140, 123, 21169, 25443, 111, 21169, 16142, 43108, 43108, 22177, 15166, 16843, 12466, 122, 140, 109, 16843, 21727, 140, 123, 16843, 141, 229, 16843, 22177, 18849, 16843, 11, 12466, 118, 15166, 22177, 21727, 16142, 30143, 20375, 18849, 22177, 140, 111, 8, 12466, 116, 43108, 16843, 141, 236, 20375, 12466, 115, 16142, 18849, 22177, 20375, 16843, 21169, 16843, 21727, 25443, 110, 16142, 22177, 22177, 15166, 21727, 20375, 45367, 12466, 110, 12466, 123, 21169, 16843, 43666, 21727, 20375, 16142, 38857, 30143, 16843, 22177, 18849, 18849, 220, 21169, 16843, 140, 115, 35072, 30143, 45367, 20375, 16142, 20375, 16142, 12466, 110, 12466, 123, 25443, 119, 25443, 114, 18849, 20375, 16843, 30143, 45367, 22177, 25443, 120, 220, 21727, 38857, 16843, 20375, 16843, 13, 12466, 248, 21169, 25443, 120, 16843, 220, 20375, 25443, 111, 15166, 11, 220, 141, 226, 16142, 31583, 20375, 18849, 141, 229, 16843, 21727, 31583, 18849, 16843, 220, 141, 228, 16843, 140, 123, 15166, 141, 229, 31583, 18849, 12466, 123, 15166, 21727, 20375, 16142, 38857, 25443, 118, 12466, 122, 140, 109, 45035, 141, 229, 22177, 15166, 12466, 123, 25443, 119, 35072, 141, 229, 16142, 141, 236, 20375, 12466, 123, 25443, 119, 45367, 140, 115, 35072, 12466, 116, 30143, 18849, 12466, 123, 15166, 21727, 20375, 21169, 16142, 43666, 16142, 141, 236, 20375, 12466, 122, 20375, 220, 21727, 30143, 35072, 141, 229, 16142, 140, 117, 22177, 45035, 141, 227, 220, 35072, 21727, 30143, 25443, 110, 18849, 140, 117, 11, 12466, 118, 15166, 20375, 15166, 21169, 45035, 16843, 12466, 121, 18849, 31583, 16142, 31583, 12466, 121, 16843, 220, 21727, 38857, 40623, 140, 115, 16142, 22177, 45035, 220, 21727, 12466, 118, 16142, 141, 229, 16843, 21727, 20375, 38857, 25443, 120, 12466, 116, 141, 227, 12466, 116, 21727, 140, 123, 25443, 119, 22177, 16843, 22177, 18849, 40623, 13, 12466, 253, 16843, 21169, 21727, 15166, 22177, 16142, 140, 114, 18849, 220, 141, 228, 16843, 140, 123, 15166, 141, 229, 31583, 18849, 12466, 123, 15166, 21727, 20375, 16142, 38857, 25443, 118, 532, 220, 141, 235, 20375, 15166, 12466, 120, 16843, 20375, 25443, 112, 25443, 119, 25443, 111, 18849, 141, 229, 16843, 21727, 31583, 18849, 140, 117, 12466, 122, 20375, 38857, 16843, 20375, 12466, 121, 16142, 220, 141, 235, 20375, 18849, 12466, 123, 21169, 25443, 109, 30143, 16843, 43108, 45035, 13] + EncodingName: p50k_base Sample: Encoded: [] @@ -510,6 +514,10 @@ EncodingName: p50k_base Sample: 🍏🍎🍐🍊🍋🍌🍉🍇🍓🍈🍒🍑 Encoded: [8582, 235, 237, 8582, 235, 236, 8582, 235, 238, 8582, 235, 232, 8582, 235, 233, 8582, 235, 234, 8582, 235, 231, 8582, 235, 229, 8582, 235, 241, 8582, 235, 230, 8582, 235, 240, 8582, 235, 239] +EncodingName: p50k_base +Sample: В цепочках поставок кейс-стадии, когда называются одна или несколько сторон, страдают от серьезных конфликтов интересов. Компании и их поддерживающие поставщики (программное обеспечение, консалтинг) имеют заинтересованность в представлении результата в положительном свете. Кроме того, фактические цепочки поставок обычно получают пользу или пострадают от случайных условий, которые никак не связаны с качеством их исполнения. Персонажи цепочки поставок - это методологический ответ на эти проблемы. +Encoded: [140, 240, 220, 141, 228, 16843, 140, 123, 15166, 141, 229, 31583, 16142, 141, 227, 12466, 123, 15166, 21727, 20375, 16142, 38857, 25443, 118, 12466, 118, 16843, 140, 117, 21727, 12, 21727, 20375, 16142, 43666, 18849, 18849, 11, 12466, 118, 25443, 111, 43666, 16142, 12466, 121, 16142, 140, 115, 45035, 38857, 16142, 141, 236, 20375, 21727, 40623, 12466, 122, 43666, 22177, 16142, 12466, 116, 30143, 18849, 12466, 121, 16843, 21727, 31583, 25443, 119, 45367, 31583, 15166, 220, 21727, 20375, 15166, 21169, 15166, 22177, 11, 220, 21727, 20375, 21169, 16142, 43666, 16142, 141, 236, 20375, 12466, 122, 20375, 220, 21727, 16843, 21169, 45367, 16843, 140, 115, 22177, 45035, 141, 227, 12466, 118, 15166, 22177, 141, 226, 30143, 18849, 31583, 20375, 25443, 110, 12466, 116, 22177, 20375, 16843, 21169, 16843, 21727, 25443, 110, 13, 12466, 248, 25443, 120, 140, 123, 16142, 22177, 18849, 18849, 12466, 116, 12466, 116, 141, 227, 12466, 123, 25443, 112, 43666, 16843, 21169, 140, 114, 18849, 38857, 16142, 141, 236, 141, 231, 18849, 16843, 12466, 123, 15166, 21727, 20375, 16142, 38857, 141, 231, 18849, 31583, 18849, 357, 140, 123, 21169, 25443, 111, 21169, 16142, 43108, 43108, 22177, 15166, 16843, 12466, 122, 140, 109, 16843, 21727, 140, 123, 16843, 141, 229, 16843, 22177, 18849, 16843, 11, 12466, 118, 15166, 22177, 21727, 16142, 30143, 20375, 18849, 22177, 140, 111, 8, 12466, 116, 43108, 16843, 141, 236, 20375, 12466, 115, 16142, 18849, 22177, 20375, 16843, 21169, 16843, 21727, 25443, 110, 16142, 22177, 22177, 15166, 21727, 20375, 45367, 12466, 110, 12466, 123, 21169, 16843, 43666, 21727, 20375, 16142, 38857, 30143, 16843, 22177, 18849, 18849, 220, 21169, 16843, 140, 115, 35072, 30143, 45367, 20375, 16142, 20375, 16142, 12466, 110, 12466, 123, 25443, 119, 25443, 114, 18849, 20375, 16843, 30143, 45367, 22177, 25443, 120, 220, 21727, 38857, 16843, 20375, 16843, 13, 12466, 248, 21169, 25443, 120, 16843, 220, 20375, 25443, 111, 15166, 11, 220, 141, 226, 16142, 31583, 20375, 18849, 141, 229, 16843, 21727, 31583, 18849, 16843, 220, 141, 228, 16843, 140, 123, 15166, 141, 229, 31583, 18849, 12466, 123, 15166, 21727, 20375, 16142, 38857, 25443, 118, 12466, 122, 140, 109, 45035, 141, 229, 22177, 15166, 12466, 123, 25443, 119, 35072, 141, 229, 16142, 141, 236, 20375, 12466, 123, 25443, 119, 45367, 140, 115, 35072, 12466, 116, 30143, 18849, 12466, 123, 15166, 21727, 20375, 21169, 16142, 43666, 16142, 141, 236, 20375, 12466, 122, 20375, 220, 21727, 30143, 35072, 141, 229, 16142, 140, 117, 22177, 45035, 141, 227, 220, 35072, 21727, 30143, 25443, 110, 18849, 140, 117, 11, 12466, 118, 15166, 20375, 15166, 21169, 45035, 16843, 12466, 121, 18849, 31583, 16142, 31583, 12466, 121, 16843, 220, 21727, 38857, 40623, 140, 115, 16142, 22177, 45035, 220, 21727, 12466, 118, 16142, 141, 229, 16843, 21727, 20375, 38857, 25443, 120, 12466, 116, 141, 227, 12466, 116, 21727, 140, 123, 25443, 119, 22177, 16843, 22177, 18849, 40623, 13, 12466, 253, 16843, 21169, 21727, 15166, 22177, 16142, 140, 114, 18849, 220, 141, 228, 16843, 140, 123, 15166, 141, 229, 31583, 18849, 12466, 123, 15166, 21727, 20375, 16142, 38857, 25443, 118, 532, 220, 141, 235, 20375, 15166, 12466, 120, 16843, 20375, 25443, 112, 25443, 119, 25443, 111, 18849, 141, 229, 16843, 21727, 31583, 18849, 140, 117, 12466, 122, 20375, 38857, 16843, 20375, 12466, 121, 16142, 220, 141, 235, 20375, 18849, 12466, 123, 21169, 25443, 109, 30143, 16843, 43108, 45035, 13] + EncodingName: p50k_edit Sample: Encoded: [] @@ -766,6 +774,10 @@ EncodingName: p50k_edit Sample: 🍏🍎🍐🍊🍋🍌🍉🍇🍓🍈🍒🍑 Encoded: [8582, 235, 237, 8582, 235, 236, 8582, 235, 238, 8582, 235, 232, 8582, 235, 233, 8582, 235, 234, 8582, 235, 231, 8582, 235, 229, 8582, 235, 241, 8582, 235, 230, 8582, 235, 240, 8582, 235, 239] +EncodingName: p50k_edit +Sample: В цепочках поставок кейс-стадии, когда называются одна или несколько сторон, страдают от серьезных конфликтов интересов. Компании и их поддерживающие поставщики (программное обеспечение, консалтинг) имеют заинтересованность в представлении результата в положительном свете. Кроме того, фактические цепочки поставок обычно получают пользу или пострадают от случайных условий, которые никак не связаны с качеством их исполнения. Персонажи цепочки поставок - это методологический ответ на эти проблемы. +Encoded: [140, 240, 220, 141, 228, 16843, 140, 123, 15166, 141, 229, 31583, 16142, 141, 227, 12466, 123, 15166, 21727, 20375, 16142, 38857, 25443, 118, 12466, 118, 16843, 140, 117, 21727, 12, 21727, 20375, 16142, 43666, 18849, 18849, 11, 12466, 118, 25443, 111, 43666, 16142, 12466, 121, 16142, 140, 115, 45035, 38857, 16142, 141, 236, 20375, 21727, 40623, 12466, 122, 43666, 22177, 16142, 12466, 116, 30143, 18849, 12466, 121, 16843, 21727, 31583, 25443, 119, 45367, 31583, 15166, 220, 21727, 20375, 15166, 21169, 15166, 22177, 11, 220, 21727, 20375, 21169, 16142, 43666, 16142, 141, 236, 20375, 12466, 122, 20375, 220, 21727, 16843, 21169, 45367, 16843, 140, 115, 22177, 45035, 141, 227, 12466, 118, 15166, 22177, 141, 226, 30143, 18849, 31583, 20375, 25443, 110, 12466, 116, 22177, 20375, 16843, 21169, 16843, 21727, 25443, 110, 13, 12466, 248, 25443, 120, 140, 123, 16142, 22177, 18849, 18849, 12466, 116, 12466, 116, 141, 227, 12466, 123, 25443, 112, 43666, 16843, 21169, 140, 114, 18849, 38857, 16142, 141, 236, 141, 231, 18849, 16843, 12466, 123, 15166, 21727, 20375, 16142, 38857, 141, 231, 18849, 31583, 18849, 357, 140, 123, 21169, 25443, 111, 21169, 16142, 43108, 43108, 22177, 15166, 16843, 12466, 122, 140, 109, 16843, 21727, 140, 123, 16843, 141, 229, 16843, 22177, 18849, 16843, 11, 12466, 118, 15166, 22177, 21727, 16142, 30143, 20375, 18849, 22177, 140, 111, 8, 12466, 116, 43108, 16843, 141, 236, 20375, 12466, 115, 16142, 18849, 22177, 20375, 16843, 21169, 16843, 21727, 25443, 110, 16142, 22177, 22177, 15166, 21727, 20375, 45367, 12466, 110, 12466, 123, 21169, 16843, 43666, 21727, 20375, 16142, 38857, 30143, 16843, 22177, 18849, 18849, 220, 21169, 16843, 140, 115, 35072, 30143, 45367, 20375, 16142, 20375, 16142, 12466, 110, 12466, 123, 25443, 119, 25443, 114, 18849, 20375, 16843, 30143, 45367, 22177, 25443, 120, 220, 21727, 38857, 16843, 20375, 16843, 13, 12466, 248, 21169, 25443, 120, 16843, 220, 20375, 25443, 111, 15166, 11, 220, 141, 226, 16142, 31583, 20375, 18849, 141, 229, 16843, 21727, 31583, 18849, 16843, 220, 141, 228, 16843, 140, 123, 15166, 141, 229, 31583, 18849, 12466, 123, 15166, 21727, 20375, 16142, 38857, 25443, 118, 12466, 122, 140, 109, 45035, 141, 229, 22177, 15166, 12466, 123, 25443, 119, 35072, 141, 229, 16142, 141, 236, 20375, 12466, 123, 25443, 119, 45367, 140, 115, 35072, 12466, 116, 30143, 18849, 12466, 123, 15166, 21727, 20375, 21169, 16142, 43666, 16142, 141, 236, 20375, 12466, 122, 20375, 220, 21727, 30143, 35072, 141, 229, 16142, 140, 117, 22177, 45035, 141, 227, 220, 35072, 21727, 30143, 25443, 110, 18849, 140, 117, 11, 12466, 118, 15166, 20375, 15166, 21169, 45035, 16843, 12466, 121, 18849, 31583, 16142, 31583, 12466, 121, 16843, 220, 21727, 38857, 40623, 140, 115, 16142, 22177, 45035, 220, 21727, 12466, 118, 16142, 141, 229, 16843, 21727, 20375, 38857, 25443, 120, 12466, 116, 141, 227, 12466, 116, 21727, 140, 123, 25443, 119, 22177, 16843, 22177, 18849, 40623, 13, 12466, 253, 16843, 21169, 21727, 15166, 22177, 16142, 140, 114, 18849, 220, 141, 228, 16843, 140, 123, 15166, 141, 229, 31583, 18849, 12466, 123, 15166, 21727, 20375, 16142, 38857, 25443, 118, 532, 220, 141, 235, 20375, 15166, 12466, 120, 16843, 20375, 25443, 112, 25443, 119, 25443, 111, 18849, 141, 229, 16843, 21727, 31583, 18849, 140, 117, 12466, 122, 20375, 38857, 16843, 20375, 12466, 121, 16142, 220, 141, 235, 20375, 18849, 12466, 123, 21169, 25443, 109, 30143, 16843, 43108, 45035, 13] + EncodingName: cl100k_base Sample: Encoded: [] @@ -1022,3 +1034,7 @@ EncodingName: cl100k_base Sample: 🍏🍎🍐🍊🍋🍌🍉🍇🍓🍈🍒🍑 Encoded: [9468, 235, 237, 9468, 235, 236, 9468, 235, 238, 9468, 235, 232, 9468, 235, 233, 9468, 235, 234, 9468, 235, 231, 9468, 235, 229, 9468, 235, 241, 9468, 235, 230, 9468, 235, 240, 9468, 235, 239] +EncodingName: cl100k_base +Sample: В цепочках поставок кейс-стадии, когда называются одна или несколько сторон, страдают от серьезных конфликтов интересов. Компании и их поддерживающие поставщики (программное обеспечение, консалтинг) имеют заинтересованность в представлении результата в положительном свете. Кроме того, фактические цепочки поставок обычно получают пользу или пострадают от случайных условий, которые никак не связаны с качеством их исполнения. Персонажи цепочки поставок - это методологический ответ на эти проблемы. +Encoded: [16604, 39233, 67124, 38438, 13433, 10693, 18154, 68374, 15088, 7820, 21708, 2297, 12, 6735, 23680, 47273, 11, 7820, 14837, 40590, 6850, 19188, 35667, 1506, 70129, 21204, 53419, 14525, 46177, 19175, 66144, 54570, 18868, 9239, 17766, 11, 18868, 11001, 112, 1506, 70129, 20879, 66386, 4929, 32985, 44786, 38098, 19916, 11320, 4898, 1830, 6856, 98051, 23297, 6856, 13, 36479, 12507, 8164, 14332, 1840, 7740, 7740, 10693, 40842, 7094, 58669, 28089, 1506, 90457, 50306, 18154, 68374, 14476, 1840, 17165, 320, 8164, 2233, 69954, 6578, 48150, 21923, 23297, 8164, 56857, 17618, 11, 38098, 2297, 16331, 1830, 19479, 15752, 8, 48835, 1532, 70129, 44946, 19479, 58060, 23297, 6856, 7486, 61379, 5927, 57925, 68374, 3114, 84198, 18600, 71889, 43203, 5927, 29619, 21956, 56008, 94962, 45916, 8341, 1532, 13, 36479, 2233, 12507, 1532, 11047, 22885, 11, 18034, 16248, 23311, 6148, 23297, 17165, 1532, 39233, 67124, 38438, 17165, 18154, 68374, 15088, 21923, 4655, 6148, 13999, 52432, 1506, 70129, 5173, 28647, 3865, 46177, 18154, 6735, 11001, 112, 1506, 70129, 20879, 90226, 19039, 44786, 97991, 6856, 44938, 11, 38153, 51736, 6850, 38822, 16248, 19175, 45916, 64084, 7486, 4655, 5524, 7820, 50223, 35034, 12507, 7740, 10693, 53687, 47680, 18999, 13, 23227, 7753, 2297, 17766, 38657, 1840, 39233, 67124, 38438, 17165, 18154, 68374, 15088, 482, 68979, 56729, 7975, 14837, 81301, 17165, 12415, 93747, 13373, 21599, 23311, 12561, 14082, 37131, 4655, 13] +