Каква е разликата между скрития слой и проекцията в невронните мрежи?                    https://arxiv.org/pdf/1301.3781.pdf


Отговор 1:
Прожекционният слой картографира отделните словни индекси от n-грамов контекст към непрекъснато векторно пространство.

Както е обяснено в тази теза

Прожекционният слой е споделен така, че за контексти, съдържащи една и съща дума няколко пъти, се прилага един и същ набор от тегла, за да се формира всяка част от проекционния вектор. Тази организация ефективно увеличава обема на наличните данни за трениране на тежестите на прожекционния слой, тъй като всяка дума от всеки контекст на обучение модел поотделно допринася за промени в стойностите на теглото.

тази фигура показва тривиалната топология как изходът на прожекционния слой може да бъде ефективно сглобен чрез копиране на колони от матрицата на тежестта на прожекционния слой. Всеки неврон в прожекционния слой е представен с множество тегла, равни на размера на речника. Проекционният слой се различава от скритите и изходните слоеве, като не използва нелинейна функция на активиране. Целта му е просто да предостави ефикасно средство за проектиране на дадения контекст на грамата върху намалено непрекъснато векторно пространство за последваща обработка от скрити и изходни слоеве, обучени за класифициране на такива вектори. Като се има предвид един или нулев характер на входните векторни елементи, изходът за определена дума с индекс i е просто i-тата колона на обучената матрица с тегла на проекционния слой (където всеки ред на матрицата представлява теглата на един неврон ).

Сега, скритият слой:

Скритият слой обработва изхода на прожекционния слой и също се създава с редица неврони, посочени в конфигурационния файл на топологията.