Йо, нимәгә тиклем барыһы ла! Мин’м тәьмин итеүсе Transformer продукцияһы, һәм бөгөн мин теләйем, чат тураһында айырмалар трансформаторҙар һәм конволюцион нейрон селтәрҙәре (CNNs) тексты эшкәртергә. Был супер ҡыҙыҡлы тема, бигерәк тә донъяла ЯИ һәм мәғлүмәттәр тураһында фән.
Әйҙәгеҙ, был ике нәмәнең нимә икәнен төп аңлауҙан башлайыҡ. Ҡыҫҡаса конволюцион нейрон селтәре, йәки CNN, бер аҙ ваҡыт тирәләй. Ул тәүҙә һүрәт эшкәрткән өсөн эшләнгән, әммә кешеләр ҙә уны тексты эшкәрткәндә ҡуллана башланы. CNNs эшләй, бәләкәй генә фильтр тайпылыш, шулай уҡ ядро тип атала, өҫтөндә индереү мәғлүмәттәре. Текс осрағында был һүҙҙәрҙең эҙмә-эҙлеге булыуы мөмкин. Фильтр мәғлүмәттәр буйынса конволюция тип аталған математик операцияны башҡара, был функцияларҙы сығарыуҙа ярҙам итә. Мәҫәлән, әгәр һеҙ яңылыҡтар мәҡәләһен анализлау, CNN, бәлки, ҡалыптарҙы йыйып ала, йышлығы кеүек айырым һүҙҙәр йәки һүҙбәйләнештәр, улар мәҡәлә темаһын күрһәтә.
Икенсе яҡтан, Трансформатор – блоктағы сағыштырмаса яңы бала. Ул 2017 йылда "Иғтибарлы бөтә нәмә һеҙгә кәрәк" тип аталған ҡағыҙҙа индерелгән. Трансформатор архитектураһы үҙ-үҙенә иғтибар төшөнсәһенә нигеҙләнгән. Традицион нейрон селтәрҙәре кеүек мәғлүмәттәрҙе эҙмә-эҙлекле эшкәртергә урынына, Transformer индереү эҙмә-эҙлегенең бөтә өлөштәрен бер юлы ҡарай ала. Был уйын - тексты эшкәрткәндә үҙгәртеүсе, сөнки ул модель текста оҙайлы - диапазонлы бәйлелектәрҙе тотоу мөмкинлеген бирә. Мәҫәлән, әгәр һеҙ роман уҡый һәм унда’ы һылтанма нимә булған, тип, бер нисә бүлек элек, трансформатор еңел генә тоташтыра ала, был нөктәләрҙе.
Ике араһында төп айырмаларының береһе – улар нисек эҙмә-эҙлекле мәғлүмәттәр менән эш итеү. CNNs нығытылған ҡабул итеү ҡырына эйә, тимәк, фильтр бер юлы билдәле бер һанлы элементтарҙы ғына ҡарай ала. Был оҙайлы текстар менән эш иткәндә сикләү булыуы мөмкин, сөнки ул һүҙҙәр араһындағы мөһим бәйләнештәрҙе һағынып ҡалыуы ихтимал. Мәҫәлән, «Парижда үткән конференцияла үткән аҙнала осрашҡан кешем яһалма интеллект буйынса белгес» кеүек оҙайлы хөкөм менән CNN улар араһындағы оҙон арауыҡ арҡаһында «кеше»не «эксперт» менән бәйләү өсөн көрәшергә мөмкин.
Ә Transformer үҙ-үҙенә иғтибар итеү механизмы уны туранан-тура индереү эҙмә-эҙлегенең теләһә ниндәй өлөшөнә йөрөргә мөмкинлек бирә. Ул эҙмә-эҙлеклелектәге һәр пар һүҙҙәр өсөн балл иҫәпләй, был улар бер-береһенә ни тиклем актуаль булыуын күрһәтә. Был ысул менән, ул еңел генә тота ала, араһындағы мөнәсәбәттәрҙе "кеше" һәм "эксперт" өҫтәге миҫалда.
Тағы бер айырма уҡытыу һөҙөмтәлелегендә. CNNs, ғөмүмән, тиҙерәк өйрәтергә, сөнки улар күберәк урындағы операция. Фильтр бер юлы инеүҙең бәләкәй генә өлөшөн генә ҡарағанға күрә, иҫәпләү ҡатмарлылығы сағыштырмаса түбән. Әммә глобаль мәғлүмәтте тотоу тураһында һүҙ барғанда, CNN-ға йыш ҡына бер нисә ҡатлам өйөргә кәрәк, был уҡытыу ваҡытын һәм параметрҙар һанын арттырырға мөмкин.
Трансформаторҙар, улар глобаль мәғлүмәтте һөҙөмтәлерәк тота алһа ла, уҡытыу ваҡытында иҫәпләү ҡатмарлылығына юғарыраҡ. Үҙ-үҙеңде иғтибар итеү механизмы эҙмә-эҙлеклелектәге бөтә пар элементтар өсөн иҫәпләүҙәр үткәреүҙе талап итә, был бик ваҡыт — ҡулланыу һәм хәтер — интенсив, бигерәк тә оҙайлы эҙмә-эҙлеклелек өсөн. Әммә, һуңғы алға китеш кеүек һирәк иғтибар һәм квантлау был мәсьәләләрҙе кәметергә һәм трансформатор уҡытыу һөҙөмтәлерәк итергә ярҙам итте.
Хәҙер, әйҙәгеҙ, спектакль тураһында төрлө текст эшкәрткән эштәрҙә һөйләшәйек. Текст классификацияһы кеүек бурыстарҙа, CNNs ярайһы уҡ һөҙөмтәле булыуы мөмкин. Улар тиҙ арала локаль үҙенсәлектәрҙе текстан сығара ала, уларҙы тексты төрлө категорияларға классификациялау өсөн ҡулланырға мөмкин. Мәҫәлән, әгәр һеҙ’яңылыҡтар мәҡәләләрен сәйәсәткә классификациялау, спорт, йәки күңел асыу, CNN төп һүҙҙәр һәм ҡалыптарҙы йыйып ала, улар һәр категорияға хас.
Әммә трансформаторҙар контекстты аңлауҙы талап иткән һәм оҙон - диапазонға бәйлелектәрҙе, мәҫәлән, машина тәржемәһе, һорау - яуап биргән системалар һәм текст генерациялауын талап иткән бурыстарҙа балҡый. Машина тәржемәһендә, мәҫәлән, трансформатор сығанаҡ телендә бөтә һөйләмдең мәғәнәһен аңлай һәм маҡсатлы телдә анығыраҡ тәржемә генерациялай. Ул ҡатмарлы һөйләм структураларын һәм идиоматик аңлатмаларҙы CNN-ға ҡарағанда яҡшыраҡ эшләй ала.
Әгәр һеҙ баҙарҙа юғары - сифатлы Transformer продукцияһы өсөн һеҙҙең тексты эшкәрткән ихтыяждар, беҙ һеҙҙе ҡаплаған. Беҙ тәҡдим итәбеҙ, киң спектр3 Автомобиль трансформаторы фазаһы, 1990 й.Электрик энергия трансформаторы, һәмТрактор трансформаторытип, төрлө ҡушымталар төрлө талаптарға яуап бирергә уйлап сығарылған. Һеҙ’бәләкәй стартап яңы NLP проекты йәки ҙур предприятие эшләй, һеҙҙең ғәмәлдәге тексты эшкәрткән системаларҙы яҡшыртыу өсөн эҙләй, беҙҙең продукция етештереүсәнлеген һәм ышаныслылығын тәьмин итә ала, һеҙгә кәрәк.
Әгәр һеҙ’беҙҙең продукция тураһында күберәк белергә йәки потенциаль һатып алыу тураһында фекер алышыу, тартынмағыҙ, ярҙам итеү өсөн. Беҙ’беҙ һәр ваҡыт бәхетле, чат һәм беҙ һеҙгә нисек ярҙам итә ала, һеҙҙең текст эшкәртергә киләһе кимәлгә.
Һылтанмалар
- Васвани, А., Шазер, Н., Пармар, Н., Ускорейт, Дж., Джонс, Л., Гомес, Ан, ... & Полосухихин, И. (2017). Иғтибар ғына кәрәк. Нейрон мәғлүмәт эшкәрткән системаларҙа алға китеш.
- ЛеКун, Ю., Бенджио, Ю., & Хинтон, Г. (2015). Тәрән өйрәнеү. тәбиғәте, 521(7553), 436 — 444.
