Представете си, че служител на фирмата ви утре я напуска. С него напуска и акаунтът му в ChatGPT, Claude и/или Gemini. В този акаунт може да е качил чувствителна и конфиденциална фирмена информация, както и фирмена тайна. Акаунтът е личен и с това никой мениджър или управител на фирмата няма какъвто и да е контрол. Още по-лошо – в личния си акаунт може да е качил ноу-хау, фирмени данни и пр. на други служители или контрагенти. Как фирмата ви управлява този риск?

Представете си и друга ситуация – фирмата ви използва AI чатбот на сайта, във Facebook, WhatsApp или друга клиентска среда. Клиентите стандартно питат за срок, цена, гаранция, право на връщане, наличност или конкретно условие по услуга. Чатботът отговаря доста уверено, но грешно. Обещава вместо вас някакви несъществуващи условия, отстъпка, срок, компенсация или условие, което реално не съществува. Клиентът по този начин е убеден, но и излъган – съоветно прави поръчка или взема решение на база този отговор. След това фирмата казва: „ама това го е написал ботът и няма да може да го изпълним“. За клиента всъщност изобщо няма значение. Отговорът е дошъл от вашия сайт, вашия профил или вашата официална комуникация – и в този момент на AI не му пука, че ви носи загуби, срива ви репутацията и създава риск от някакви санкции.

Това не са фантастични сценарии

Това са нормални работни ситуации, когато AI се използва без правила, без одобрени инструменти, без контрол на достъпа и без яснота кой носи отговорност.

Представете си, че HR служител качва CV-та, мотивационни писма, вътрешни оценки, бележки от интервюта или информация за служители в AI инструмент, за да „спести време“ и да получи бързи решения в ежедневната си работа. Примерно пита AI кой кандидат е най-подходящ, кой служител е най-слаб, кого да поканим на интервю, кого да отхвърлим. В тези документи може да има лични данни, професионална история, възраст, пол, снимка, здравна информация, семейно положение, адрес, телефон, имейл, очаквана заплата и субективни бележки от интервю. AI може да направи изводи, които изглеждат логични, но са пристрастни, неточни или дискриминационни. Така фирмата може да се окаже в позиция да вземе един куп решения за хора на база „преценка“ на инструмент, който никой не е одобрил, никой не е проверил и никой не може да аргументира ако стане проблем.

Рискът е само за вашия бизнес – днес никой не може да осъди AI агент или AI бот.

Рисковете са много и все за управляващите бизнеса – от репутационни кризи и спад в доверието на клиенти, бранш, пазар, служители… до съдебни дела, обезщетения, канселиране на бизнес отношения и загуба на конкурентни позиции.

Знаете ли дали в момента, докато четете този текст – някой служител вече не свързва AI инструмент с Gmail, Google Drive, Microsoft 365, CRM, календар или система за обслужване на клиенти. Ако го питате – оправдание ще има – да е по-продуктивен и да работи по-„умно“ чрез новите технологии… Но AI през неговите решения е получил достъп до реални фирмени данни, клиентски данни и фирмена тайна. AI вече вижда неща, в които сте хвърлили вероятно години опит, пари и нерви: клиентска кореспонденция, договори, оферти, вътрешни файлове, цени, финансови документи, срещи, задачи и данни за партньори. Още по-рисково: ако AI инструментът обработи злонамерен имейл, PDF, уеб страница или инструкция, той може да бъде подведен да извади информация, да подготви грешен отговор, да разкрие чувствителни данни или да извърши действие, което служителят не е разбрал напълно. Т.е. фирмената тайна може да бъде хакната злонамерено през AI агент или инструмент.

Сега се сетете за всички онези хора, които не са програмисти, не са наясно със security, software архитектура, LLM AI модели – но имат достъп до AI софтуер за vibe кодване и ви продават софтуерни програми и решения, писани не чрез експертни знания от софтуерен екип инженери – а чрез няколко промпта как да изглежда и какво да прави нещото… Дори аз, в качеството си на маркетолог, мога още днес да ви предложа през добре изглеждащ уебсайт, някаква моя система за обработване на вашите маркетинг отчети („писана“ от AI чрез мои промптове) – и тъй като не съм го писал аз този код, писано е от AI и аз нямам идея как, а и не съм програмист и не знам как да я секюритизирам тази система – най-вероятно няколко човека ще източат целия ви marketing know-how за секунди през security „дупки“, за които даже не подозираме… Аз самият също бих могъл да си източа маркетинг данните ви, нали? Как се справяте с тези неща?

Как фирмата ви управлява риска AI инструмент да й донесе проблеми и загуби?

AI вече се използва в ежедневната работа на всяка фирма. Служителите целят да си спестят време и усилия, което е нормално. Но AI не може да поеме отговорност, с него нямате трудов договор, нито споразумения за конфиденциалност и корпоративна етика. Несъзнателното или съзнателно използване на AI неправомерно, безотговорно или некомпетентно от служители на коя да е компания – крие риск както за тях, така и за колегите им – което рефлектира пряко негативно и за самата компания.

Риск №1: Shadow AI – служителите използват AI без знанието на фирмата

Shadow AI означава използване на AI инструменти без:

• официално одобрение,
• обучение,
• контрол,
• прозрачност и видимост от страна на организацията.

Типични примери, в които имаме налице Shadow AI:

• Служител качва договор в ChatGPT, Claude или Gemini, за да го обобщи и да получи резюме според желанията си.
• Маркетинг екип използва AI инструмент за рекламни текстове, без да проверява фактите или ниво на nativeness и brand voice.
• Търговец генерира оферта с AI и я изпраща към клиент.
• HR качва CV-та в AI инструмент за сравнение на кандидати.
• Програмист поставя част от код в публичен AI инструмент.
• Мениджър използва AI за анализ на вътрешни финансови данни.

Големи компании вече си патиха от Shadow AI практики. Рискът е управленски. Фирмата няма видимост и яснота какви данни са качени, къде са обработени, дали резултатът е верен и дали инструментът е подходящ за служебна употреба. Reuters вече е описвал конкретен казус със Samsung, при който служител е качил чувствителен код в ChatGPT, след което компанията е ограничила използването на подобни инструменти поради реални рискове, свързани с интелектуалната собственост и фирмената тайна.

Какво да правите като управляващ фирмата? Първата стъпка е веднага да направите инвентаризация! Да разберете какви AI инструмненти и за какви задачи се използват. И не очаквайте, че това ще стане просто ако попитате служителите – може да има такива, които нямат интерес или желание да разкрият колко време и усилия пестят. Не задължително от лоши намерения. Причините обикновено са страх от наказание, страх от забрана, притеснение, че са качвали грешни данни, или желание да запазят инструмент, който им помага да работят по-бързо и леко. Тук е важна втората стъпка – да изясните, че няма да налагате наказания – това не ви е цел. Целта е да видите какви са адекватните правила за използване на AI, чрез които служителите да не търпят в бъдеще наказания. Втората стъпка е съответно е изготвянето на общофирмените правила. Минимум това включва : служебна работа с AI се прави само през одобрени от фирмата инструменти и акаунти, както и през одобрени подходи и добри практики.

Като част от услугите по бизнес консултиране – в BOLANDILA™ сме създали програма, чрез която покриваме по адекватен и целесъобразен начин двете стъпки – разкриване на Shadow AI практики в екипа и последващо формиране на правила на компанията. Програмите се създават индивидуално за всяка фирма, конфиденциалността е гарантирана, както и прилагането на най-модерните и ефективни практики за реална оценка и ефективност на последващите действия.

В програмите ни, свързани с рискове от Shadow AI, накрая имаме отговори на важните въпроси, за да е AI използването истински ефективно и сигурно:

• Къде AI реално спестява време?
• Къде има най-голям риск?
• Кои задачи не трябва да се изпълняват с лични AI акаунти?
• Кои AI инструменти са полезни и трябва да бъдат разрешени?
• Кои инструменти трябва да се забранят?
• Кои процеси изискват човешка проверка?
• Къде има нужда от обучение и повишаване на квалификацията?

Риск №2: изтичане на лични, клиентски и фирмени данни

Най-честият практически риск е качването на чувствителна информация в неподходящ AI инструмент.
GDPR се прилага независимо от технологията. Европейската комисия описва личните данни като информация за идентифицирано или идентифицируемо лице, а обработването включва събиране, записване, съхраняване, използване, разкриване и предаване. Това важи и когато данните се въвеждат в AI инструмент. EDPB вече има становище за обработването на лични данни в контекста на AI модели, включително въпроси като анонимизация, legitimate interest и последствията от незаконно обработени лични данни при разработване и използване на AI модели.

Трябва да се изготви ясна политика за подаването на лични данни към AI инструменти. Това не може да стане ако преди това не сте уредили напълно въпросът със Shadow AI практиките.

В нашите програми от BOLANDILA™ провеждаме консултации с мениджмънта на компанията с цел да се изготвят необходимите правила. В тези консултации задължително консултиращо лице е и юристът на компанията, за да може всичко да бъде синхронизирано с европейското и националното законодателство.

Риск №3: лични AI акаунти и фирмени AI акаунти

Много фирми допускат една груба грешка: приемат, че ChatGPT, Gemini, Copilot или Claude са едно и също нещо, независимо дали служителят ги използва през личен акаунт, безплатен план, Pro план, Team, Business или Enterprise среда.

Това не е вярно.

При OpenAI, например, бизнес продуктите като ChatGPT Business, ChatGPT Enterprise и API – по подразбиране не се използват за обучение на моделите върху бизнес данните на клиента, докато при потребителски услуги режимът зависи от настройките и продукта.

Политиките на компанията трябва ясно да разграничават правилата за използване на безплатни и платени AI инструменти, корпоративни и лични акаунти, API среда, използване на добавки (plugins, add-ons и пр.) в различни режими.

Риск №4: AI дава грешен резултат, който звучи убедително

Генеративният AI може да ви даде неточни факти, измислени източници, неверни твърдения и интерпретации, грешни обобщения, неправилни правни тълкувания, подвеждащи анализи и уверено написани, но неверни заключения.

Казусът Air Canada показва реалния риск. Канадски трибунал приема, че компанията носи отговорност за подвеждаща информация, дадена от нейния AI chatbot относно политика за възстановяване на сума. Изводът е директен: ако AI комуникира с клиент от името на фирмата, резултатът е фирмена комуникация и цялата правна, репутационна и финансова тежест ще падне изцяло върху фирмата, а не върху AI технологията.

Това е особено опасно в бизнес среда, защото добре формулиран текст често изглежда професионален дори когато съдържанието е грешно или звучи нелепо на второ четене.

McKinsey отчита, че 88% от анкетираните организации използват AI поне в една бизнес функция, но повечето още са в етап на експериментиране или пилотиране, а не на истинско мащабиране или качествено прилагане. Същото проучване посочва, че 62% от респондентите вече поне експериментират с AI агенти.

Това увеличава нуждата от контрол, защото агентите вече не само генерират текст, а могат да изпълняват последователност от действия.

В практиката има безброй вече примери за проблеми:

• AI обобщава договор и пропуска критична клауза.
• AI генерира оферта с грешни срокове или условия.
• AI преформулира юридически текстове в документи и по този начин дава възможност за проблемни хипотези, за правни рискове и пр.
• AI пише клиентски имейл с обещание, което фирмата не може да изпълни.
• AI chatbot дава невярна информация за цена, гаранция или политика на фирмата.
• AI създава анализ с измислена или невярна статистика.
• AI предлага правна формулировка, която изглежда професионална, но не защитава фирмата, а напротив.

Минималното изискване от мениджмънта на всяка компания, което да се създаде още днес е: AI може да подготвя някаква чернова, но финалната й версия се проверява от човек.

Риск №5: Хакване и атака на AI с Prompt injection

Prompt injection е атака или манипулация, при която AI системата получава скрити или злонамерени инструкции чрез текст, сайт, PDF, имейл, документ, чат или външен източник. Това е особено опасно, когато AI има достъп до инструменти, чувствителни файлове, фирмени кореспонденции и имейли, CRM, календари или някакви административни функции.

OWASP поставя prompt injection като водещ риск в OWASP Top 10 for LLM Applications. В същата категория попадат и други важни злодеяния като sensitive information disclosure, supply chain risk, excessive agency и overreliance.

Рискът вече отдавна не само AI да изплюе някоя простотия или да халюцинира. При AI агенти рискът е, че системата може да изпълни злонамерено действие: да изпрати scam или spam имейл, да промени запис, да извлече файл, да използва API, да направи резервация или покупка, да публикува съдържание или да активира друг инструмент – с което да застраши фирмата.

Та… след като ограничите правата на служителите относно Shadow AI и всичко описано по-горе – AI агентите трябва също да имат ограничени права. AI, който може да упражнява действия е по-рисков от AI, който само пише текст.

Риск №6: AI Act и AI literacy вече са важна управленска тема

EU AI Act е първата цялостна правна рамка за AI в ЕС. Европейската комисия го описва като risk-based framework за разработчици и внедрители на AI системи.

За бизнеса има няколко важни дати и изисквания.

• AI Act влезе в сила на 1 август 2024 г. – добре е да се запознаете с него ако не сте
• Забранените AI практики и AI literacy задълженията се прилагат от 2 февруари 2025 г., т.е. вече са в сила
• Правилата за GPAI модели се прилагат от 2 август 2025 г. – вече са в сила и те
• Правилата за прозрачност за AI влизат в сила от август 2026 г.
• След политическото споразумение по AI omnibus, Европейската комисия посочва, че част от правилата за високорискови AI системи в определени области ще се прилагат от 2 декември 2027 г., а за системи, интегрирани в продукти като асансьори или играчки — от 2 август 2028 г.

AI literacy е особено важна за обикновения бизнес. Европейската комисия посочва, че Article 4 изисква providers и deployers на AI системи да осигурят достатъчно ниво на AI грамотност на персонала и други лица, които работят с AI от тяхно име.

В тази връзка екипът ни в BOLANDILA™ провежда такива комплексни обучения. AI literacy не е мотивационно обучение за личностно развитие, макар че и такова често е нужно заради страховете на служителите. Това е практическо обучение какво може, какво не може и кой носи отговорност. И то се случва чак след като компанията си оправи политиките, процесите, клаузите и ограниченията.

В нашата методология разделяме AI практиките и AI literacy сегментите в три зони: червена, жълта и зелена. В зелената зона имаме позволено използване без нужда от контрол, но с нужда от протоколи и правила. В жълтата зона имаме позволено използване, но с проверка предварително – отново минава през конкретика от правила, протоколи и обучения. В червената зона имаме две нива. Първото е за преминаване на задължителен одобрителен процес. Второто е тотална забрана в определени случаи.

Важно е да споделя, че трябва също да имате процедури при инциденти и проблеми, свързани с използването на AI.