收藏中国人民公安大学出版社 社长致辞 | 出版社简介 | 帮助中心 
      高级搜索
访问群众出版社

法国人工智能犯罪治理 France’s Response to AI Crime

中国人民公安大学出版社  2024/1/24 9:38:40
浏览次数:781  

  文/付琴雯

  在2023年7月的安理会辩论中,法国将人工智能称为“21世纪的革命”。近年来,人工智能技术成为法国媒体的追踪焦点之一,特别是生成式人工智能ChatGPT带来了爆炸式热度。然而,法国公众对这一现象的看法并不积极。根据法国民调机构奥多克萨研究所(Odoxa institute)最近为甲骨文云计算公司(Oracle)进行的一项调查结果显示,67%的法国人认为人工智能是一种威胁:“现在(持威胁论)的比例明显占多数。去年同期,只有53%的法国人持这种观点。”对于许多法国人来说,人工智能的发展仍是一个令人担忧的问题。
  此外,许多法国人也对人工智能发展的国家监管能力提出质疑。甲骨文公司法国分公司总经理克里斯托夫-内格里尔(Christophe Negrier)指出:“整个问题的关键在于人工智能的识别、应用和控制。”82%的法国受访者表示“希望看到政府监管”。

  在法国境内,利用人工智能实施不法行为情形日益增多

  人工智能技术的快速性、精确性,使其成为许多投机分子实施不法行为的新手段、新方法。近年来,伴随着全球经济衰退,犯罪分子利用人工智能实施不法行为的情形日益增多,这种新兴趋势也成为当前理论界和实务部门的关注焦点。
  例如,近年来,法国境内利用人工智能技术实施“网络钓鱼”等金融欺诈的案件频发。这些不法分子可以使用生成式人工智能工具,快速为其“网络钓鱼”电子邮件编写欺骗性内容,并在目标系统上安装恶意欺诈软件。有数据统计,截至2023年1月,“网络钓鱼”成为法国最常见的网络攻击类型,大约四分之三的法国公司成为恶意电子邮件的攻击目标。专注于IT(信息技术)安全治理的波耐蒙研究所(Ponemon Institute)曾于2018年做过一项调查,调查结果显示,54%的法国公司认为网络黑客已较好掌握了机器学习等人工智能技术;人工智能等技术带来的全球数字化转型使网络犯罪分子的攻击能力“呈指数级扩大”。现有网络犯罪技术和方法可以通过人工智能实现自动化和加速化,从而对相关企业产生毁灭性的影响。该调查还显示,计算机黑客、间谍活动、数据盗窃等是困扰法国企业的主要网络威胁,勒索软件等自动化攻击正在增加其频率,尤其是这些“数据勒索攻击”占报告事件总数的比例从13%增加到27%。以加密货币领域为例,这些虚拟货币本来受到复杂算法的保护以确保交易,但现如今,许多不法分子利用人工智能技术在网络钓鱼软件或勒索软件中添加数据泄露功能,产生的数据可以让其访问相关公司的加密货币钱包,从而增加了运用加密货币进行交易操作的风险性。可以说,飞速发展的人工智能技术就像一把“双刃剑”,虽然对人类生活带来了便利,但同时也增加了其被滥用的风险。
  又如,法国社会中基于人工智能实施的“合成身份欺诈”案件不断增多。事实上,虚拟远程开展业务作为扩大金融业务可及性的一种方式受到了公众欢迎,但这种做法也为犯罪分子开展欺诈提供了系统漏洞,尤其是人工智能技术为犯罪分子伪造个人身份的恶意行为提供了新的方法。近年来,犯罪分子进一步利用“深度伪造”(Deepfake)技术进行在线欺诈,特别是合成身份欺诈。在这方面,抵押贷款行业特别容易受到影响。“深度伪造”技术诞生于2014年,由一位名为伊恩·古德费洛(Ian Goodfellow)的研究人员所创造,这项技术也被称为“生成式对抗网络”(Generative Adversarial Networks)。“深度伪造”有几种类型,最著名的就是“换脸”,包括通过该人工智能技术替换一张“已知”的脸,或者以完全合成为基础生成一张“不存在”的脸。2018年,一段“深度伪造”美国前总统巴拉克·奥巴马的视频一举成名,人们开始关注这项人工智能技术。值得注意的是,法国政府切实开展“深度伪造”技术的打击活动是基于一个特殊的背景原因,即2022年法国总统选举期间受到了外国社交网络上利用人工智能技术传播虚假信息的干预和威胁。为此,法国政府成立了一个名为“警惕和保护外国数字干扰局”(Viginum)的机构,隶属于法国国防和国家安全总秘书处 ,专门负责监控和防范来自外国的“数字干扰”。
  案例1:“假勒德里昂”案——人工智能“换脸”技术造成多位社会名流重大经济财产损失
  比利时国王、道达尔公司首席执行官、巴黎大主教、加蓬总统……2015年至2016年间,一个法国骗子团伙利用人工智能“深度伪造”技术,冒充时任法国国防部长让-伊夫·勒德里昂(Jean-Yves Le Drian)或其他内阁成员,与150多位公众人物取得联系并实施诈骗,其惯常采用的诈骗理由是“要钱支付在叙利亚被劫持的法国人质的赎金,并保证迅速偿还”。除了上述社会名流外,上当受骗的还有经营法国波尔多最负盛名的葡萄酒庄之一的玛歌酒庄庄主、伊斯玛仪教派的精神领袖阿加汗和某土耳其富商等,总涉案金额近6000万欧元。
  2020年3月11日,巴黎刑事法院分别判处涉嫌策划这一骗局的吉尔贝·奇克利(Gilbert Chikli)和安东尼·扎列维奇(Anthony Lazarevitch)11年和7年监禁。对此,让-伊夫·勒德里昂的辩护律师指出:“在这个假冒伪劣泛滥的时代,一审对诈骗犯的重判向社会释放出了强烈的信号。”
  案例2:“数字监管”——法国新闻出版业联合反对利用人工智能进行内容窃取
  2023年9月26日,近300家新闻公司聚集在法国新闻联盟,宣布计划“建立法律储备机制”,以防止人工智能公司的网络爬虫无偿使用他们的内容。法国新闻联盟指出,新闻出版物受知识产权保护,对人工智能公司“在不补偿任何价值的情况下”使用相关文章内容的行为表示遗憾,同时,“面对这一现实,新闻出版商必须捍卫自己的权利,保障其商业模式的未来和新闻业的资金来源”。
  与搜索引擎机器人一样,一些人工智能研究企业开发了相关爬虫软件,对互联网上的所有数据进行筛选和抽取,如通过OpenAI的ChatGPT、Google的Bard、Meta的LLaMa等生成式人工智能工具进行摄取和合成,但却没有向原始资源生产者支付丝毫的经济补偿。对此,新闻联盟进一步指出,使用相关法律武器可以“使新闻出版业重新获得对其出版物使用的控制权”,并且“这也是与人工智能服务商展开谈判的必要前提”。

  在法律领域,法国较早关注到对数据和算法的规制问题

  众所周知,数字技术发展在一定程度上是与法律标准背道而驰的。当前,国际社会仍有声音认为不应对算法和人工智能进行监管,其理由主要是在当前制定相关规则“为时尚早”,因为技术发展的速度与法律发展的速度不可同日而语。这种观点忽略了一个现实,即“算法及其使用已经直接或间接地受到许多法律规则的制约”,法国的相关立法实践就是典型例证。
  早在20世纪60年代,法国政府就开始注意到信息和通信技术对个人自由带来的风险与挑战。1969年,法国政府提请国务委员会审视信息技术对个人自由带来的威胁。1970年3月,在时任法国总统乔治·蓬皮杜(Georges Pompidou)领导下,法国政府曾尝试创建一个集中的个人数据数据库,又名“SAFARI”数据库,并由法国国家统计和经济研究所(Insee)秘密执行该项目。然而,该项目遭到泄露并引起了法国社会舆论的巨大争议。随后,时任总理皮埃尔·梅斯梅尔 (Pierre Messmer)停止了该项目,并于1974年3月30日成立了“信息技术和自由委员会”,其任务是保护公民的隐私权,防止因计算机文件的发展而可能造成的侵犯。
  1975年9月,该委员会提交了著名的《关于保障尊重个人自由的措施的报告》(因总报告人为时任法国国务委员会委员伯纳德·特里科特,因此又被称为《特里科特报告》)。该委员会在报告中指出了一些重要问题,除了就收集和储存大量数据的处理能力等相关问题进行讨论之外,还提出了包括法国国家和社会层面的“计算机化”所带来的挑战,并从一开始就明确了歧视或排斥个人的风险以及过度依赖计算机的风险。此外,报告还指出,既要有效应对这些威胁,又要维护信息技术带来的机遇,并不是靠建立一个烦琐而分散的法律体系,而是靠对它的控制与主导使其发挥应有的效用。可以说,《特里科特报告》也是一个缩影,代表了法国在算法与信息安全、个人数据保护等议题上所具有的敏锐性和前瞻性,该报告成为了1978年法国《数据保护法》的基础。
  1978年1月6日,法国颁布第78-17号“关于数据处理、文件和自由的法律”,即《数据保护法》。自此,法国成为欧洲最早规范个人数据处理的西方国家之一,70年代,另外两个就个人数据处理问题出台法律规范的国家是德国和瑞典。随后,法国政府也有力推动了1981年欧洲委员会《个人数据自动化处理中的个人保护公约》(简称《108号公约》)以及1990年的《个人数据文件监管指南》制定出台。
  1978年《数据保护法》于2004年修订,涉及个人数据的所有自动处理,包含多项规定,如向国家信息与自由委员会申报包含个人数据的文件的义务、禁止收集敏感数据(即一般情况下与宗教、健康、政治等有关的数据)、确立了“公平数据收集原则”、确保所收集的所有数据的安全的义务、有义务告知相关个人其数据的收集情况以及访问、修改和删除相关数据的权利,等等。
  此外,对于算法和人工智能新型生态的法律规制,还引发了法国公众对于人工智能引发的相关伦理和社会问题的思辨。法国国家信息与自由委员会发起过一项公众调查,结果显示法国公众要求对算法和人工智能制定规则或进行限制。除了具有约束力的规范之外,这些规则和限制还可以采用其他方式,例如行业或企业采用的“章程”形式。
  在这一背景下,法国国家信息与自由委员会成立了一个特别工作组来审议数字技术发展带来的伦理和社会问题。这显然反映了人们希望对新技术的限制和标准进行反思。因此,国家信息与自由委员会寻求尽可能广泛地开展辩论,辩论的对象不仅包括公共参与者,还包括从业人员、专业人士和普通公众。

  在数据领域,法国建立针对人工智能的专门性监管机构

  人工智能的快速发展正在快速而深入地改变世界各国人民的工作和生活形态,同时,这也要求各国能够及时研究制定相关法律法规为人工智能融入人类活动提供适当的框架。出于对数据使用的担忧,意大利成为西方世界第一个阻止生成式人工智能聊天程序ChatGPT的国家。2023年3月31日,意大利当局宣布屏蔽聊天机器人ChatGPT,理由是“缺乏证明大规模收集和保存个人数据合理性的法律依据”。同时,ChatGPT没有设置任何过滤器来验证用户的年龄,无法限制13岁以下儿童对于该机器人的使用。欧洲警察署也在一份报告中指出,从网络钓鱼到虚假信息和恶意软件,人工智能聊天机器人的快速发展容易被恶意利用。对于意大利禁止ChatGPT的做法,法国国家信息与自由委员会表示“尚未收到投诉,也没有进行类似的程序”,但已联系意大利同行讨论相关调查结果,并旨在“澄清相关法律框架”。
  法国国家信息与自由委员会指的“法律框架”,是指目前欧盟于2021年提出的《人工智能法案》(Artificial Intelligence Act)。《人工智能法案》旨在通过确立统一的人工智能法律监管框架,以基于风险识别分析的方法,为不同类型的人工智能系统提出不同的义务要求,从而确保基于人工智能的商品和服务在高度保护健康、安全、公民基本权利和保障公共利益的前提下,促进人工智能规范化的开发、使用和营销。该法案的法律框架内,主要讨论人工智能算法的定义,相关软件可能产生哪些社会后果,以及如何打击人工智能使用中存在的相关种族主义和性别歧视情形,等等。值得注意的是,《人工智能法案》还规定为每个国家需要指定一个负责人工智能的监管机构。为此,2023年1月,法国国家信息与自由委员会成立了一个由五人组成的、专门负责人工智能事务的部门,由其下设的技术与创新局(DTI)监管。除了为人工智能用户制定明确的数据保护规定等基本目标外,该机构还旨在确保对于人工智能的法律规制能在欧洲层面统一步调、协调发展。
  实际上,早在2017年,法国国家信息与自由委员会就提交了一份《关于算法和人工智能伦理挑战报告》,表达了对人工智能问题的密切关注。近年来,欧盟委员会希望通过制定更为明确的规则,以确保针对人工智能的相关数据保护措施适用于所有欧洲公民。为此,法国国家信息与自由委员会的人工智能监管部门设置了四大目标:了解人工智能的工作原理、为人工智能的发展提供法律框架、保护使用人工智能的用户、支持法国和欧洲的人工智能创新。
  法国国家信息与自由委员会还表示,之所以要进一步开展对人工智能的研究,是因为其注意到2022年期间对于这些工具的使用呈爆炸式增长。根据该委员会的说法,这些基于数据密集型算法的、涉及个人数据的工具可能存在问题。此外,为了处理大量人工智能相关的投诉案件,委员会还通过开发一个人工智能服务的门户网站,使用户能够跟踪案件进展,简化程序并确保交流。
  诚然,人工智能的快速发展影响社会多领域和多部门,具有典型的跨部门性,因此迫切需要专业机构的监督。法国国家信息与自由委员会及时成立专门针对人工智能的监管机构,无疑是一种具有前瞻性的国家实践。不过,对于此种实践,也有专家提出不同看法,尤其是指出法国国家信息与自由委员会不可能成为规范人工智能使用的唯一权威机构,因为人工智能本质上涉及多领域、多行业,其监管机构不应是这个“数据保护”机构的衍生产物。专家同时指出,与关注一般性数据保护方法相比,对于人工智能的规范“似乎需要更加细微的方法”,来确保对其的使用能在合理、正义的轨道上发展,因此,似乎更适合成立一个特定的、独立的人工智能监管机构,以便协调不同领域和部门机构之间的工作,来确保对人工智能监管的有效性和一致性。
  在人权领域,法国关注人工智能应用对基本权利的影响

  虽然人工智能的研究及其实际应用正在不断发展,但在防止可能发生的重大侵犯基本权利行为方面,现行法律规制仍不完善。鉴于欧盟即将通过有关这一主题的条例提案以及欧洲委员会正在开展的工作,法国国家人权咨询委员会(CNCDH)呼吁公共当局在这一领域推动建立一个“雄心勃勃”的法律框架。法国国家人权咨询委员会于1947年在诺贝尔和平奖获得者勒内·卡桑的倡议下成立,是法国保护和促进人权的国家机构,并获得联合国认可。作为一个合议机构,法国国家人权咨询委员会完全独立地确保在人权、法律和人道主义行动领域向政府和议会发挥咨询和建议作用,并尊重给予人权的基本保障。公民行使公共自由的权利,并承担监督法国遵守其在该领域国际承诺的情况的使命。
  2022年4月7日,法国国家人权咨询委员会在全体会议上一致通过了《关于人工智能对基本权利影响的意见》(A-2022-6),对人工智能法律框架的制定提出了近20项建议,现摘要如下。
  1.委员会建议有关机构在交流中应使用比“人工智能”更中立、更客观的术语,如“算法决策支持系统”(ADSS)。
  2.委员会建议欧盟《人工智能法案》应包括更有力的条款,以确保建立一个具有约束力的法律框架,保证切实尊重基本权利。此外,委员会建议在欧洲委员会框架内通过“关于人工智能的108+公约”。
  3.委员会建议在正在进行的改革中考虑以人权为基础的方法,因为这些改革旨在确保尊重基本权利。
  4.委员会建议禁止使用选择界面,因为其目的或效果是利用用户的漏洞来操纵用户,对其造成损害。
  5.委员会禁止主管部门或任何公司(无论是公共还是私营)实施任何类型的社会评分。
  6.委员会建议禁止在公共场所和公众可进入的场所对人员进行远程生物特征识别,但允许在例外情况下使用,条件是这对防止人员生命或安全以及对重要工程、设施和机构的生命或安全构成严重和紧迫威胁是绝对必要、适当和相称的。
  7.委员会建议进一步考虑确定在法律诉讼中使用人工智能的益处和局限性。
  8.委员会建议禁止情绪识别技术,但在旨在加强人们的自主权或更广泛地增强其基本权利的有效性时允许作为例外使用它们。
  9.委员会建议,人工智能系统的用户应评估其使用对基本权利的影响,并在确定风险的情况下,根据风险的可能性和严重性对其进行评估。影响评估至少应包括说明使用人工智能系统的目的,确定可能受该制度影响的基本权利,审查所设想的人工智能系统并在此基础上评估其必要性、适宜性以及相对于预期目标而言对基本权利的侵犯是否相称,制定了哪些程序来监督应用情况以及采取了哪些措施来降低风险。
  10.根据人工智能系统在特定使用环境下对基本权利产生的风险,委员会建议确保在决定使用该系统之前,根据适当的方法与利益相关者进行协商,包括工作人员代表以及更广泛的人工智能系统的目标人群。
  11.委员会建议对人工智能系统进行监督,监督程序可根据影响研究确定的侵犯基本权利的风险而有所不同,以保持用户对系统影响的持续警惕,特别是其歧视性影响。
  12.委员会建议鼓励对培训和信息工具的设计进行公共投资,使尽可能多的人能够获得这些工具。
  13.委员会建议,按照国家伦理咨询委员会组织的“生物伦理国家大会”(Etats généraux de la biothique)的思路,组织国家磋商。
  14.委员会建议法国教育系统为学生提供更多有关人工智能的技术、政治和社会问题的培训,并为此为教师提供教学辅助工具。
  15.委员会建议根据与人工智能系统风险水平相对应的方法,保证人为干预,控制人工智能系统产生的个人决策;通过为参与者提供有关系统特征的适当培训和信息以确保其有效性,并当偏离人工智能系统的建议时不施加任何特定限制;确保公共服务用户系统地保持对人工代理的替代访问。
  16.委员会建议赋予人工智能系统用户参数化标准的权利,特别是在确定所接收内容的选择和呈现方式时,以及在更广泛的人机交互情况下。
  17.委员会建议,当个人接触或将与人工智能系统互动时,应系统性地告知个人;当个人成为决策主体时,应告知个人决策在适用情况下部分或全部基于算法处理。
  18.委员会建议,应保障数据主体有权要求人工审查任何完全或部分基于算法处理的个人决定,如果该决定对他们有重大影响的话。
  19.委员会建议公共机构以可理解的形式提供信息,说明算法的运行方式,以及决策过程中的人为干预。它还建议考虑将这一义务扩大到私营机构。
  总体而言,法国国家人权咨询委员会提出的关于“人工智能”意见的宗旨,主要概括为两个方面,一是建议禁止某些被认为对基本权利过于有害的人工智能用途,如社会评分或在公共场所对人们进行远程生物识别。二是建议对人工智能系统的用户提出能够保证尊重基本权利的要求。此外,法国国家人权咨询委员会呼吁承认算法决策主体的权利,特别是在决策过程中进行人工干预的权利以及配置人工智能系统运行标准的权利。

  在国际层面,法国提议建立网络安全和人工智能治理的常设机制

  2023年7月,联合国安理会第9831次会议首次审查了人工智能对国际和平与安全的影响。秘书长认为,人工智能“具有大规模行善和作恶的巨大潜力”,其创造者自己也看到了“潜在的生存”风险。意识到其中的利害关系,绝大多数安理会成员呼吁在国际层面通过道德和负责任行为的原则及相关建议。在会上,法国代表团对人工智能在虚假信息方面的能力感到震惊,并强调“在竞争日益逼近、混合战争交织的严酷世界中,必须促使人工智能成为服务和平的工具”。
  2023年10月24日,在联合国大会第78届会议上,裁军与国际安全第一委员会就“其他裁军措施和国际安全”进行专题辩论,其中特别包括了与信息技术、信息和通信、网络安全及国际合作的问题。法国代表卡米耶·佩蒂特(Camille Petit)指出,在过去的25年里,各国政府已经认识到数字技术是发展的催化剂,但也可能被用于与维护国际和平与安全不相容的目的。在国家和非国家行为体实施的网络攻击的频率、复杂性和严重性不断增加的背景下,网络安全已成为一个重要议题。
  为此,法国以决议草案的形式提出一项旨在《促进各国在国际安全背景下使用数字服务技术负责任行为的行动计划》,其目标是到2026年底建立一个常设的、包容性的和注重行动的机制,以替代当前的“2021-2025年不限成员名额工作组”机制。该常设机制的使命是加强各国数字能力建设,弥合国家间“数字鸿沟”,实施商定的准则框架,制定具有法律约束力的标准,同时促进非政府行为体——尤其是私营部门的参与。此外,法国强调,该机制的构建应采取一种平衡的方法,机制建设进程也应避免与当前工作组产生职能重叠,确保两者之间平稳过渡。与法国立场类似,东盟等几个国家集团都呼吁避免建立平行和重叠的机制,主张在协商一致建议的基础上开展“单轨”治理进程。

  在区域层面,法国积极主导和参与欧盟人工智能网络犯罪的治理

  互联网的普及运用催生了网络犯罪,人工智能技术的兴起则加速了这些非法活动的趋势,或使其变得更加复杂。据欧盟估计,网络犯罪每年造成的损失高达55000亿欧元。法国和欧盟进一步意识到了互联网发展所带来的潜在危险,并将打击网络犯罪作为其优先事项之一。
  2001年,欧洲委员会《网络犯罪公约》(又称《布达佩斯公约》)的诞生,也是历史上第一个打击网络犯罪活动的国际协定。此后,欧盟继续对网络空间进行监管以限制威胁,并先后颁布了一系列重大措施。2013年,欧盟成立“欧洲网络犯罪中心”(EC3),该中心位于荷兰海牙欧洲警察署所在地,旨在打击欧盟境内的网络犯罪。2016 年,欧盟通过《网络和信息系统安全指令》(SRI),这是欧盟层面采取的第一项立法措施,旨在加强成员国之间在网络安全这一关键问题上的合作。2019年,欧盟理事会通过了《网络安全条例》,设立欧盟网络安全局,帮助成员国、欧盟机构和其他利益攸关方打击网络攻击。同年,欧盟建立了针对网络攻击的自主制裁制度。
  2022年3月,欧洲理事会批准了“战略指南针”计划,这是欧盟第一份关于安全与防御的白皮书,其中包含数项打击网络犯罪的有力措施。2022年,欧盟通过了SRI 2指令,旨在考虑新的数字威胁,尤其是在卫生危机期间出现的威胁。同年,欧盟委员会提出了《欧洲网络复原力法》,目的是在所售产品的整个生命周期,特别是联网物品的整个生命周期,建立网络安全的共同规则。
  2023年3月,欧洲警察署讨论了人工智能的滥用问题。在最新的一份报告中,该组织表示从网络钓鱼到虚假信息和恶意软件,ChatGPT等人工智能的快速发展容易被犯罪分子快速利用。2023年6月,欧洲议会通过了《人工智能法案》,率先展开了规范人工智能问题的立法尝试。当前,欧盟内部正在就如何完善人工智能领域的监管问题进行讨论。此外,欧盟积极建设“欧洲打击犯罪威胁多学科平台”(EMPACT),并将“打击跨国犯罪威胁和网络犯罪”列入EMPACT平台的十大战略优先事项之一。作为欧盟打击网络犯罪和人工智能犯罪的主要力量,法国正在欧洲层面指导与这一事项有关的行动计划。此外,2023年8月28日至9月1日,法国国际安全合作局(DCIS)第三次会议在法国巴黎南泰尔(92省)举行,欧盟委员会内政和移民事务总干事莫尼克-帕里亚特(Monique Pariat)在圆桌讨论会上专门就有关议题进行讨论,并表示将制定战略使欧盟能够应对“数字时代”带来的大规模犯罪威胁。
  最后,欧盟意识到网络安全不能仅在区域层面进行治理。例如,近年来欧盟推动与伙伴国家就打击网络犯罪和人工智能监管等议题进行磋商,特别是许多大型信息服务提供商所在地的美国。又如,在开展打击网络犯罪的多边国际合作中,欧盟似乎寻求突破区域局限,除了继续推动实施其主导制定的《网络犯罪公约》外,还积极参与到了联合国框架下制定的《打击网络犯罪公约》的谈判进程。■
  
  (湖北省教育厅哲学社会科学研究项目21Q217的阶段性研究成果)
  【作者简介】付琴雯,湖北警官学院国际警务系讲师,法学博士。
  (责任编辑:冯苗苗)

  
  





编辑:现代世界警察----石虹   

    站内搜索

关键字
方 式

Copyright 2007 © 中国人民公安大学出版社™ All Rights Reserved
地址:北京市西城区木樨地南里甲一号  邮编:100038    出版社位置地图
出版社电话:010-83905589  010-83903250(兼传真)  购书咨询:010-83901775  010-83903257
E-mail:zbs@cppsup.com   zbs@cppsu.edu.cn
互联网地址:www.cppsup.com.cn  www.phcppsu.com.cn